Califórnia admite que IA foi usada para redigir exame da Ordem dos Advogados

Imagine estudar anos para uma prova que pode definir sua carreira, apenas para descobrir que ela foi parcialmente escrita por uma inteligência artificial. E, pior, que a execução foi um desastre. Esse é o enredo digno de um drama jurídico que está abalando a Califórnia, onde o exame da Ordem dos Advogados de fevereiro de 2025, essencial para quem quer atuar como advogado no estado, foi criado com a ajuda de um modelo de linguagem avançado.

A revelação, feita pela Ordem dos Advogados da Califórnia nesta semana, veio acompanhada de uma enxurrada de críticas, relatos de falhas técnicas e questionamentos sobre a credibilidade do processo.

Leia também:

IA já escreve até 30% do código na Microsoft, diz Satya Nadella
Vai dar certo? Rio AI City: o plano que visa transformar o RJ em potência global de inteligência artificial

Um exame cheio de problemas

O exame, que já estava sendo bastante criticado por causa de problemas técnicos, como travamentos na plataforma online, mensagens de erro e até candidatos sendo desconectados aleatoriamente, ganhou um novo capítulo com a admissão do uso de IA.

Das 171 questões de múltipla escolha pontuadas, 23 foram elaboradas pela empresa ACS Ventures, que utilizou inteligência artificial no processo. Outras 48 questões foram recicladas de uma versão antiga de um teste voltado para alunos do primeiro ano de Direito. Para completar, o exame estava cheio de erros de digitação e algumas perguntas foram descritas como “sem sentido” por candidatos e especialistas.

Mary Basick, vice-reitora de habilidades acadêmicas da Faculdade de Direito da UC Irvine, não escondeu sua perplexidade: “É quase inacreditável que questões tenham sido redigidas por não advogados usando IA”. Katie Moran, professora da Universidade de São Francisco, foi ainda mais longe, chamando a situação de “estarrecedora”. Ela destacou um conflito de interesses: a mesma empresa que usou IA para criar as questões foi contratada para revisá-las e aprová-las.

Economia ou erro estratégico?

Por trás dessa decisão controversa, há uma história de cortes de custos que saiu pela culatra. Enfrentando um déficit de US$ 22 milhões no último ano, a Ordem dos Advogados da Califórnia decidiu abandonar o Multistate Bar Examination, um teste padronizado amplamente utilizado, e criar seu próprio exame, adotando um modelo híbrido de aplicação presencial e remota. Para isso, fechou um contrato de US$ 8,25 milhões com a Kaplan Exam Services e terceirizou a administração do teste para a Meazure Learning.

O resultado? Um exame que, segundo especialistas, foi desenvolvido às pressas. Basick e Moran apontaram que a elaboração de questões para um exame desse porte deveria levar anos, mas o processo foi acelerado, resultando em erros gritantes. Um conjunto de 50 questões de prática, liberado semanas antes do exame, já continha falhas que levantaram suspeitas sobre a qualidade do teste final.

Ordem afirma que exame passou por avaliação de especialistas

A Suprema Corte da Califórnia, da qual a Ordem é um braço administrativo, afirmou que só soube do uso de IA nesta semana, apesar de ter orientado, no último outono, que a Ordem explorasse o uso de inteligência artificial para tornar os testes mais confiáveis e econômicos. A justificativa da Ordem é que todas as questões passaram por revisões de painéis de validação e especialistas, mas isso não foi suficiente para acalmar os ânimos.

Candidatos que enfrentaram os problemas técnicos estão processando a Meazure Learning, e a Ordem anunciou que pedirá à Suprema Corte ajustes nas pontuações dos afetados. Uma reunião está marcada para 5 de maio para discutir soluções, mas Alex Chan, presidente do Comitê de Examinadores, já descartou a possibilidade de divulgar as questões ou voltar ao teste anterior.

Fonte: futurism