ChatGPT pode (quase) passar no exame de licenciamento médico dos EUA

May 13, 2023

O ChatGPT pode pontuar em aproximadamente 60% do limite de aprovação para o Exame de Licenciamento Médico dos Estados Unidos (USMLE), com respostas que fazem sentido interno coerente e contêm insights frequentes,De acordo com um estudopublicado em 9 de fevereiro de 2023 na revista de acesso aberto PLOS Digital Health por Tiffany Kung, Victor Tseng e colegas da AnsibleHealth.

O ChatGPT é um novo sistema de inteligência artificial (IA), conhecido como modelo de linguagem grande (LLM), projetado para gerar escrita semelhante à humana, prevendo as próximas sequências de palavras. Ao contrário da maioria dos chatbots, o ChatGPT não pode pesquisar na Internet. Em vez disso, ele gera texto usando relacionamentos de palavras previstos por seus processos internos.

Kung e seus colegas testaram o desempenho do ChatGPT no USMLE, uma série altamente padronizada e regulamentada de três exames (etapas 1, 2CK e 3) necessários para o licenciamento médico nos Estados Unidos. Realizado por estudantes de medicina e médicos em treinamento, o USMLE avalia o conhecimento abrangendo a maioria das disciplinas médicas, desde a bioquímica até o raciocínio diagnóstico e a bioética.

Após a triagem para remover perguntas baseadas em imagens, os autores testaram o software em 350 das 376 perguntas públicas disponíveis na versão USMLE de junho de 2022.

Depois que as respostas indeterminadas foram removidas, o ChatGPT pontuou entre 52,4% e 75,0% nos três exames USMLE. O limite de aprovação a cada ano é de aproximadamente 60%. O ChatGPT também demonstrou 94,6% de concordância em todas as suas respostas e produziu pelo menos um insight significativo (algo que era novo, não óbvio e clinicamente válido) para 88,9% de suas respostas. Notavelmente, o ChatGPT excedeu o desempenho do PubMedGPT, um modelo equivalente treinado exclusivamente na literatura do domínio biomédico, que obteve 50,8% em um conjunto de dados mais antigo de perguntas no estilo USMLE.

Embora o tamanho de entrada relativamente pequeno restrinja a profundidade e o alcance das análises, os autores observam que suas descobertas fornecem um vislumbre do potencial do ChatGPT para aprimorar a educação médica e, eventualmente, a prática clínica. Por exemplo, eles acrescentam, os médicos da AnsibleHealth já usam o ChatGPT para reescrever relatórios com muitos jargões para facilitar a compreensão do paciente.

“Alcançar a nota de aprovação para este exame especializado notoriamente difícil, e fazê-lo sem qualquer reforço humano, marca um marco notável na maturação clínica da IA”, dizem os autores.

A autora, Dra. Tiffany Kung, acrescentou que o papel do ChatGPT nesta pesquisa foi além de ser o objeto do estudo: "O ChatGPT contribuiu substancialmente para a redação do [nosso] manuscrito... Interagimos com o ChatGPT como um colega, pedindo-lhe para sintetizar, simplificar, e oferecer contrapontos aos rascunhos em andamento...Todos os coautores valorizaram a contribuição do ChatGPT."

- Este comunicado de imprensa foi fornecido pela PLOS