AI passa no exame de licenciamento médico dos EUA

— Dois artigos mostram que grandes modelos de linguagem, incluindo ChatGPT, podem passar no USMLE

by Michael DePeau-Wilson, Escritor empresarial e investigativo, MedPage 19 de janeiro de 2023

Dois programas de inteligência artificial (IA) – incluindo o ChatGPT – foram aprovados no US Medical Licensing Examination (USMLE), de acordo com dois artigos recentes.

Os artigos destacaram diferentes abordagens para o uso de grandes modelos de linguagem para fazer o USMLE, que é composto por três exames: Etapa 1, Etapa 2 CK e Etapa 3.

ChatGPTabre em uma nova guia ou janela é uma ferramenta de pesquisa de inteligência artificial (IA) que imita a escrita longa com base em solicitações de usuários humanos. Ele foi desenvolvido pela OpenAI e se tornou popular depois que diversas postagens nas redes sociais mostraram usos potenciais da ferramenta na prática clínica. muitas vezes com resultados mistosabre em uma nova guia ou janela.

O primeiro artigo, publicado em medRxivabre em uma nova guia ou janela em dezembro, investigou o desempenho do ChatGPT no USMLE sem nenhum treinamento especial ou reforço antes dos exames. De acordo com Victor Tseng, MD, da Ansible Health em Mountain View, Califórnia, e colegas, os resultados mostraram “evidências novas e surpreendentes” de que esta ferramenta de IA estava à altura do desafio.

Tseng e sua equipe observaram que o ChatGPT conseguiu um desempenho com precisão superior a 50% em todos os exames e até alcançou 60% na maioria de suas análises. Embora o limite de aprovação no USMLE varie entre os anos, os autores disseram que a aprovação é de aproximadamente 60% na maioria dos anos.

“O ChatGPT teve um desempenho próximo ao limite de aprovação em todos os três exames, sem qualquer treinamento ou reforço especializado”, escreveram eles, observando que a ferramenta foi capaz de demonstrar “um alto nível de concordância e percepção em suas explicações”.

“Esses resultados sugerem que grandes modelos de linguagem podem ter o potencial de auxiliar na educação médica e, potencialmente, na tomada de decisões clínicas”, concluíram.

O segundo papel, publicado em arXivabre em uma nova guia ou janela, também em dezembro, avaliou o desempenho de outro grande modelo de linguagem, Flan-PaLM, no USMLE. A principal diferença entre os dois modelos foi que este modelo foi fortemente modificado para se preparar para os exames, usando uma coleção de bancos de dados de respostas a perguntas médicas chamada MultiMedQA, explicaram Vivek Natarajan, um pesquisador de IA, e colegas.

Flan-PaLM alcançou 67.6% de precisão nas respostas às perguntas do USMLE, cerca de 17 pontos percentuais superior ao melhor desempenho anterior realizado usando o PubMed GPT.

Natarajan e a equipe concluíram que grandes modelos de linguagem “apresentam uma oportunidade significativa para repensar o desenvolvimento da IA ​​médica e torná-la mais fácil, segura e equitativa de usar”.

O ChatGPT, juntamente com outros programas de IA, tem aparecido como tema – e às vezes como coautor – de novos artigos de pesquisa focados em testar a utilidade da tecnologia na medicina.

É claro que os profissionais de saúde também expressaram preocupações com estes desenvolvimentos, especialmente quando ChatGPT está listado como autor em artigos de investigação. Um artigo recente de Naturezaabre em uma nova guia ou janela destacou o desconforto de possíveis colegas e coautores da tecnologia emergente.

Uma objecção à utilização de programas de IA na investigação baseava-se na possibilidade de estes serem verdadeiramente capazes de fazer contribuições académicas significativas para um artigo, enquanto outra objecção enfatizava que as ferramentas de IA não podem consentir em ser co-autoras em primeiro lugar.

O editor de um dos documentos abre em uma nova aba ou janela que listou ChatGPT como autor disse que era um erro que seria corrigido, de acordo com o Natureza artigo. Ainda assim, os investigadores publicaram vários artigos que promovem estes programas de IA como ferramentas úteis na educação médica, na investigação e até na tomada de decisões clínicas.

Natarajan e colegas concluíram no seu artigo que grandes modelos de linguagem poderiam tornar-se uma ferramenta benéfica na medicina, mas a sua primeira esperança era que as suas descobertas “desencadeassem mais conversas e colaborações entre pacientes, consumidores, investigadores de IA, médicos, cientistas sociais, especialistas em ética, decisores políticos”. e outras pessoas interessadas, a fim de traduzir com responsabilidade essas primeiras descobertas de pesquisas para melhorar os cuidados de saúde.”

Michael DePeau-Wilson é repórter da equipe empresarial e investigativa do MedPage Today. Ele cobre psiquiatria, longa cobiça e doenças infecciosas, entre outras notícias clínicas relevantes dos EUA. Siga-nos 

Fonte primária

medRxiv

Referência da fonte: abre em uma nova guia ou janelaKung TH, et al “Desempenho do ChatGPT no USMLE: potencial para educação médica assistida por IA usando grandes modelos de linguagem” medRxiv 2022; DOI: 10.1101/2022.12.19.22283643.

Fonte secundária

arXiv

Referência da fonte: abre em uma nova guia ou janelaSinghal K, et al “Grandes modelos de linguagem codificam conhecimento clínico” arXiv 2022; DOI: 10.48550/arXiv.2212.13138.

<!–

->

<!–
->

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
• Fonte: https://blockchainconsultants.io/ai-passes-u-s-medical-licensing-exam/?utm_source=rss&utm_medium=rss&utm_campaign=ai-passes-u-s-medical-licensing-exam