Publicado originalmente por The Intercept Brasil
Como plataformas de inteligência artificial podem discriminar mulheres, idosos e faculdades populares em processos seletivos.
Reportagens sobre o uso de tecnologia para violações de direitos feitas por repórteres negros. Uma iniciativa do Intercept em parceria com Conectas, Data Privacy Brasil e Data Labe.
A oportunidade na Porto, uma formação para profissionais de tecnologia, parecia interessante. Uma desenvolvedora tirou um tempo e entrou na plataforma de recrutamento Gupy para se inscrever. Fez os testes: lógica, matemática e personalidade. Escreveu uma redação. Quando terminou, ficou com uma pulga atrás da orelha. Pediu à sua irmã que refizesse a aplicação para a vaga. Cadastro, teste e redação. Com um perfil exatamente igual, ela colou um texto genérico no campo da redação e respondeu todas as perguntas assinalando uma mesma alternativa. O resultado: a desenvolvedora foi reprovada. Sua irmã mais nova passou.
“Como um perfil que não preencheu nenhum teste corretamente foi considerado apto? Isso me fez questionar como aconteceu essa seleção”, ela afirmou em um post que viralizou no LinkedIn. “Será que alguém revisa algo? A inteligência artificial usada pela Gupy é tão falha”, reclamou.
A Gupy é uma empresa de HRTech – ou tecnologia aplicada aos recursos humanos. Ela, Solides e Infojobs, entre outras, são focadas no que é conhecido como People Analytics – as tecnologias de inteligência artificial aplicadas em processos como recrutamento e seleção. O caso da desenvolvedora evidenciou como funciona a falta de transparência nas plataformas usadas para fazer recrutamento – e descarte – massivo de pessoas.
O Intercept conversou com seis profissionais de RH em grandes empresas para entender como funcionam essas ferramentas. Sob condição de anonimato por temerem retaliações profissionais, eles afirmaram suspeitar que o algoritmo da Gupy rebaixa as notas de mulheres em comparação a homens que se candidataram para uma mesma vaga de tecnologia, por exemplo. E checar esse processo é quase impossível: pela necessidade de velocidade nas contratações, os candidatos não têm a chance de verificar se houve mesmo discriminação.
Os profissionais relatam também que graduados em universidades com notas mais baixas no MEC ainda hoje recebem pontuação inferior a formados em instituições com notas mais altas. O recorte é discriminatório de classe social, já que a tecnologia exclui muitos candidatos que não tiveram oportunidade de se inscrever em determinadas faculdades.
Em um material de apresentação para clientes ao qual o Intercept teve acesso, a Gupy afirma combinar um conjunto de características dos candidatos para garantir um bom match com a vaga. Entre elas, estão experiência, formação e localização, perfil e cultura e até interesses. Há também os critérios de idade (quanto mais novo o candidato, melhor a nota, segundo ex-funcionários), tempo de formação (quanto mais recente a formatura, maior a sua pontuação) e moradia (quanto mais próximo da sede, maior sua chance).
Segundo a Gupy, são as empresas que definem as regras para contratação, inclusive o peso que se dá às etapas do processo. Em uma live sobre o caso da desenvolvedora, a empresa diz que “provavelmente” o perfil da irmã dela teve um “melhor desempenho”. Também admitiu que não se sabe o motivo da irmã ter sido melhor ranqueada – o que levanta suspeitas sobre a opacidade de seus sistemas.
Ao Intercept, a Gupy afirma que o caso se tratou de um “equívoco” da pessoa recrutadora ao aprovar e reprovar manualmente as pessoas candidatas nas etapas do processo. “Não houve envolvimento da Inteligência Artificial da Gupy em nenhuma parte do processo, pois a nossa tecnologia foi criada para preservar a autonomia humana”, disse a empresa. Segundo a Gupy, qualquer decisão “é de responsabilidade da pessoa responsável pela vaga”.
“O nosso time de engenharia realiza auditorias frequentemente para identificar possíveis vieses de comportamento das empresas para garantir que a tecnologia realmente não aprenda com eles”, diz a Gupy. “Além disso, temos um comitê de ética que discute este tema de maneira recorrente com pessoas de todas as camadas da empresa, principalmente a alta liderança”.
Não basta se preparar profissionalmente para um cargo: é preciso buscar meios de se adequar – ou burlar – os sistemas.
Da perspectiva de um analista de recursos humanos, ter uma ferramenta capaz de filtrar candidatos em processos seletivos que recebem milhares de currículos parece uma boa ideia. As startups que atuam na área afirmam que suas tecnologias reduzem em até 73% o tempo médio de triagem em processos seletivos, em até 78% o tempo de reposição de vagas e asseguram 75% de acerto do algoritmo na escolha de candidatos. Mais: garantem que são capazes de gerar um match perfeito com processos seletivos mais inclusivos.
Às vezes, pode acontecer justamente o contrário. Em uma queixa postada no site Reclame Aqui, um candidato identificado como Thiago afirma que já se cadastrou em mais de 40 vagas pela Gupy. Não passou pela triagem em nenhuma. “Em algumas vagas meu perfil batia 100% com a vaga”, protestou.
Reprovados em série pelos sistemas, candidatos tentam compreender e se apropriar das regras da tecnologia para uma tomada de decisão algorítmica a favor deles. Não basta se preparar profissionalmente para um cargo: é preciso buscar meios de se adequar – ou burlar – os sistemas. Técnicas de SEO e vídeos como “aprenda a agradar a IA [inteligência artificial]” pipocam aos montes com técnicas para conseguir enganar os robôs. Repetir palavras da descrição da vaga e utilizar títulos padrão para os cargos são algumas dicas vendidas para fazer um currículo “algoritmizado”.
Botão contratar
“Eu queria que depois que a IA ranqueasse, tivesse um botão CONTRATAR, e eu nem precisaria ver a pessoa”, disse uma gerente de RH em um evento da área, segundo uma profissional ouvida pelo Intercept. Incorporado largamente por departamentos de recursos humanos, o setor está em franco crescimento no Brasil, com dezenas HRTechs em operação.
Apesar das preocupações sobre os limites éticos das tecnologias, os profissionais de RH não têm habilidades de leitura de dados – por isso, acabam aceitando os resultados dos ranqueamentos de candidatos feitos pela IA como verdades absolutas. Mas, como alerta a pesquisadora Cathy O’Neil em seu livro “Algoritmos da destruição em massa”, os processos automatizados são treinados para procurar padrões históricos de sucesso. “Sugerir que ‘o que levou ao sucesso no passado levará novamente ao sucesso no futuro’ é a lógica de quem constrói e usa [essas tecnologias]”. E esse sucesso é medido por critérios como rapidez, em vez de justiça ou transparência – que não parecem ser levados em consideração –, ela disse em uma entrevista.
No livro “Racismo Algorítmico”, o pesquisador Tarcízio Silva explica que tomadas de decisão com “desenhos preditivos, como ranking de currículos, escores de risco, identificação de características biométricas e assim por diante” frequentemente focam unicamente no “aspecto correlacional dos dados para realizar os cálculos”. Além disso, para ele, práticas de “auditoria algorítmica são desenvolvidas em constante jogo de ‘gato e rato’”, ou seja, tratativas paliativas de “tentativa e erro” que funcionam como uma “cortina de fumaça” para defesa das corporações.
Vários estudos já mostraram que a automação dificultou significativamente a vida e a carreira de alguns grupos de candidatos. O sistema de aprendizado de máquina pode processar automaticamente correlações machistas, racistas e classistas como decisões corretas. Isso porque o sistema armazena o comportamento dos recrutadores e, a partir disso, os replica no reconhecimento dos candidatos que considera perfeitos para as vagas. Ou seja, replicam tradicionais vieses, automatizando e intensificando discriminações e preconceitos.
Além disso, ao replicar o padrão histórico de contratação, esses sistemas reforçam os padrões de seleção num momento em que o mundo corporativo fala tanto em diversidade. Por exemplo: numa empresa que só contrata formados de uma determinada universidade, a aprendizagem de máquina vai entender que aquela instituição de ensino deve pontuar mais nas próximas seleções. Ou, se a empresa contrata mais profissionais com indicação, nas próximas seleções, a IA aprende que candidatos com indicações devem pontuar mais, mesmo não cumprindo tantos requisitos quanto os outros.
Tais aprendizados e quantificações descontextualizadas podem acarretar consequências danosas tanto aos potenciais funcionários quanto às empresas, por potencializar a contratação de pessoas menos preparadas.
Reforçando o viés
Hoje, a líder de mercado no setor é a brasileira Gupy. Em fevereiro de 2022, a empresa captou o maior investimento em HRTech na América Latina – R$ 500 milhões em uma rodada liderada pelos fundos SoftBank Latin America e Riverwood – e adquiriu sua principal concorrente, a Kenoby. A aquisição fez a plataforma ultrapassar a marca de 36 milhões de usuários em busca de novas oportunidades de trabalho.
A empresa tem como clientes como Ambev, Vivo, Kraft Heinz, Cielo, Telefônica, Reserva, Lojas Americanas, Gol e Renner e afirma gerir mais de 3,5 mil inscrições por hora em sua plataforma. Segundo a Gupy, os critérios de avaliação são diferentes em cada vaga e exclusivos de cada cliente.
A Gupy disse ao Intercept que sua tecnologia de inteligência artificial, chamada Gaia, “foi criada para ser ética” e treinada para interpretar “o contexto do currículo”, não apenas palavas-chave. A empresa também diz que “o fator humano é essencial e insubstituível” e que, por isso, sua tecnologia foi criada “para preservar a autonomia humana”.
A Gupy afirma que sua tecnologia consegue revisar “todos os currículos com uma grande redução de vieses, etnia, idade, gênero, orientação sexual, entre outros”, e que são levados em conta 150 critérios na análise, que incluem experiências como “trabalhos voluntários”. A empresa também afirma que produz um “relatório de explicabilidade” para as empresas clientes, que detalham como as tecnologias chegaram a determinados resultados.
Em 2018, especialistas descobriram que, apesar de ser programada para não julgar por gênero, a IA não aprovava mulheres em sua seleção de candidatos.
A Rocketmat, outra empresa da área, presta serviços para contratantes como Fiat, Creditas, Klabin e Albert Einstein. A empresa tem uma metodologia diferente: calcula o “score” do candidato – ou seja, dá a ele uma nota, como acontece com as empresas de crédito.
Segundo a RocketMat, a inteligência artificial utiliza parâmetros como “competências das organizações que você já trabalhou” para calcular o score. Ou seja, se um candidato já trabalhou na empresa X, a IA presume que o profissional possui competências que não foram descritas no CV apenas pelo histórico profissional. A empresa ainda prevê o uso de um software de reconhecimento facial para gerar “insights para as entrevistas de triagem”.
Ao Intercept, a RocketMat diz que seu método de trabalho é “científico”, que não coleta dados sensíveis e um de seus focos é “justamente combater o viés e a discriminação nas seleções”. “Proporcionamos ferramentas para garantir que todos os candidatos sejam analisados pelos profissionais que conduzem um processo seletivo de forma equânime”, disse a empresa, por meio de sua assessoria de imprensa. A Rocketmat também afirma que o score de cada candidato é disponibilizado para as empresas que conduzem o processo seletivo, e que os critérios utilizados na análise só podem ser divulgados aos candidatos se o contratante autorizar.
Por mais que possam se esforçar na tentativa de mitigar risco, por tratar-se de uma tecnologia ainda não compreendida em seu total funcionamento, não é possível impedir o aparecimento de vieses. Discriminação de gênero, localidade, raça, formação educacional e interpretações preconceituosas de características físicas em reconhecimento de imagem e vídeo podem estar acontecendo – e nós não sabemos.
A Amazon, por exemplo, descontinuou a utilização de inteligência artificial na área de seleção de pessoas depois de perceber que seus robôs recrutadores preferiam homens. Em 2015, seus especialistas em machine learning descobriram que, apesar de ser programada para não julgar por gênero, a IA não aprovava mulheres em sua seleção de candidatos. Ou seja, a ferramenta não se comportava de maneira neutra diante de currículos de homens e mulheres. Pelo contrário, penalizava todos os currículos que incluíssem palavras como “feminino/mulher/menina” e, mesmo editando a programação, buscando torná-la neutra a esses termos específicos, a equipe concluiu que não poderia impedir que outras correlações discriminatórias fossem criadas pelas máquinas.
Em setembro de 2021, um estudo da Universidade de Harvard com mais de 8 mil trabalhadores e mais de 2,2 mil executivos dos EUA, Reino Unido e Alemanha mostrou que as tecnologias de inteligência artificial em processos de seleção excluem milhões de trabalhadores qualificados da disputa por vagas, atuando como barreiras para o encontro entre as empresas e trabalhadores que possuem as habilidades de que elas precisam.
A pesquisa afirma que, apesar de mais de 90% dos empregadores pesquisados usarem inteligência artificial para filtrar ou classificar as habilidades dos candidatos, esses sistemas são falhos. Eles são projetados para maximizar a eficiência do processo e baseiam-se em correlações, por vezes, não contextualizadas e preconceituosas. Por exemplo, a maioria usa crenças como “um diploma é sinônimo de habilidades como ética de trabalho e auto-eficácia”. Da mesma maneira, atua baseado em crenças negativas, como excluir um candidato por possuir um “período de tempo sem registro de emprego” em seu CV, independentemente de suas qualificações.
Isso acontece, por exemplo, com pessoas que foram obrigadas a parar a carreira para cuidar de familiares, por licença-maternidade, mudança, demissão por causa da crise ou que já pagaram pena por crimes cometidos no passado. Entre os executivos pesquisados por Harvard, alguns disseram que ainda esperam que a tecnologia possa ser adequada para atendê-los melhor, enquanto outros estão recorrendo a métodos menos automatizados para encontrar as pessoas certas.
A pesquisa evidencia ainda que 88% dos empregadores confessam perceber que candidatos altamente qualificados são excluídos do processo por não descreverem em seus currículos palavras idênticas às que foram utilizadas na descrição da vaga. Esse número é ainda maior – 94% – no caso dos trabalhadores de média qualificação.
Sem controle
Em teoria, desde setembro de 2020, pela Lei Geral de Proteção de Dados, a LGPD, a instituição que captura e controla os dados – neste caso, as HRTechs – têm a obrigação de entregar os critérios de seleção e exclusão de maneira detalhada, compreensível e clara à sociedade. A LGPD garante também o direito de qualquer brasileiro pedir uma explicação sobre os critérios utilizados para uma decisão automatizada que utilizou seus dados pessoais para violar qualquer tipo de interesse.
Isso significa que, você se sentir prejudicado em uma recusa no processo de seleção por meios algorítmicos em que foi impossibilitado de acessar uma oportunidade de trabalho, você tem o direito de solicitar legalmente uma investigação para auditar e compreender se os motivos para isso foram justos ou não. Ou seja: as empresas já são obrigadas a informar os critérios com os quais essas decisões são tomadas.
“Quem utilizar uma ferramenta automatizada de seleção de currículo para a entrega de um resultado positivo ou negativo para o candidato tem obrigação de explicar quais são os critérios de maneira clara”, me disse Luca Belli, professor de Direito da FGV no Rio e coordenador do Centro de Tecnologia e Sociedade da FGV. Mas, segundo ele, isso não está acontecendo. “De um lado, porque pouquíssimas pessoas estão cientes dos seus direitos e, do outro lado, porque temos uma fiscalização muito limitada dessas obrigações”.
Contudo, o professor explica que na prática este é um problema sério de transparência da utilização dessas novas tecnologias. Para todo o Brasil, temos apenas 70 funcionários na composição da ANPD, a Autoridade Nacional de Proteção de Dados, responsável por averiguar o cumprimento da LGPD – o que torna impossível efetivar as (potenciais) milhares de investigações. Além disso, a lei diz que “os órgãos responsáveis PODEM investigar” – não que necessariamente devem atuar para que a HRTech ou as empresas demonstrem que o processo de contratação não é discriminatório.
Há pressão da sociedade e de acadêmicos por mais transparência na forma como algoritmos são programados. Por todo o mundo, já foram mapeadas mais de 80 iniciativas público-privadas descrevendo princípios para orientar o desenvolvimento ético e a governança de inteligência artificial. O Brasil chegou a discutir um projeto de lei para regulamentar o setor, mas a proposta ainda é embrionária – e frágil, com um texto permissivo e pró-indústria. Por exemplo: ela fala apenas em “mitigação” do risco de discriminação. A LGPD, que já está em vigor, é muito mais enfática: fala em “proibição”.
Para piorar, um dos artigos do Marco Legal de Inteligência Artificial, como foi batizado o Projeto de Lei 21/2020, exige que as vítimas das discriminações automatizadas provem que os danos foram causados pela inteligência artificial. Desde o ano passado, uma comissão de especialistas se dedica a discutir o tema. Os legisladores estudaram o assunto, mas têm demorado a aprovar regras para evitar danos.
A Unesco já lançou, neste ano, um documento com recomendações ética na Inteligência Artificial. Elas incluem princípios como transparência, defesa de direitos humanos e promoção da diversidade, além de justiça e não discriminação. Até agora, porém, as propostas estão apenas no campo das ideias – e continuamos sem mecanismos para averiguar, denunciar e corrigir erros de determinações algorítmicas.
