Brodeur, P. G., et al. (2024). Superhuman performance of a large language model on the reasoning tasks of a physician. arXiv. https://doi.org/10.48550/arXiv.2412.10849

📜 Resumo e Questões Estimulantes

Resumo

O estudo investiga o desempenho de modelos de linguagem de grande escala (LLMs), com foco no modelo “o1-preview”, em tarefas de raciocínio clínico, como diagnóstico diferencial, raciocínio probabilístico e planejamento de manejo clínico. O modelo superou GPT-4 e médicos em várias métricas de desempenho, destacando-se no diagnóstico diferencial e na qualidade do raciocínio clínico.

Questões Estimulantes

1. Qual é o papel dos LLMs na melhoria da eficiência clínica em diagnósticos médicos?
2. Como esses modelos podem complementar médicos na tomada de decisão?
3. Quais são os desafios éticos e de validação associados ao uso de LLMs na saúde?

🗝️ Descomplicando os Conceitos Principais

Introdução

Desde os anos 1950, ferramentas de suporte diagnóstico em inteligência artificial têm evoluído, culminando nos atuais modelos de linguagem, que prometem elevar o padrão de diagnósticos médicos.

Dimensões do Tema

A complexidade do raciocínio clínico exige habilidades de diagnóstico, probabilística e gestão de informações, áreas onde os LLMs demonstraram grande potencial. Estudos mostram que esses modelos superam benchmarks tradicionais, mas a integração clínica ainda enfrenta barreiras práticas.

Considerações Práticas

Componentes do Estudo

Integração Prática

1. Validação Clínica Contínua: Revisão médica para confirmar os resultados e evitar erros críticos.
2. Treinamento Específico: Incorporar dados reais para maior precisão em casos complexos.
3. Soluções Híbridas: Combinar LLMs com supervisão médica para otimizar resultados.

Análise Comparativa

Direções Futuras

• Desenvolvimento de Benchmarks: Testes mais robustos que simulem melhor cenários clínicos reais.
• Aplicação Prática: Integração direta em sistemas hospitalares com monitoramento contínuo.
• Treinamento Avançado: Criação de datasets especializados para doenças raras e idiomas pouco representados.

Figura 1: Gráfico de barras mostrando a precisão da inclusão do diagnóstico correto no diferencial para geradores de diagnóstico diferencial (DDx) e LLMs nos CPCs do NEJM, classificados por ano. Dados para outros LLMs ou geradores de DDx foram obtidos da literatura. Os intervalos de confiança de 95% foram computados usando um teste binomial de uma amostra.

Figura 2: A. Comparação de o1-preview com uma avaliação anterior do GPT-4 no fornecimento do diagnóstico exato ou muito próximo (pontuações Bond 4-5) nos mesmos 70 casos. As barras são anotadas com a precisão de cada modelo. Intervalos de confiança de 95% foram computados usando um teste binomial de uma amostra. O valor de p foi computado usando o teste de McNemar. B. Histograma do desempenho do o1 conforme medido pela pontuação Bond no conjunto completo de 143 casos.

Figura 3: Desempenho do o1-preview na previsão dos próximos testes diagnósticos que devem ser solicitados. O desempenho foi medido por dois médicos usando uma escala likert de “Inútil”, “Útil” e “Exatamente certo”. Excluímos 7 casos do conjunto total de casos nos quais não fazia sentido solicitar o próximo teste (Suplemento 1B).

Figura 4: A. Distribuição de 312 pontuações R-IDEA estratificadas por entrevistados em 20 casos do NEJM Healer. B. Gráfico de caixa da proporção de diagnósticos não passíveis de erro incluídos no diagnóstico diferencial para a apresentação de triagem inicial. O tamanho total da amostra nesta figura é 70, com 18 respostas de médicos assistentes, GPT-4 e o1-preview, e 16 respostas de residentes. Dois casos foram excluídos porque os diagnósticos não passíveis de erro não puderam ser identificados. Ns: não estatisticamente
significativo.

Figura 5: Comparação de o1-preview, GPT-4 e Physicians for Gestão e Raciocínio Diagnóstico

Figura 6: Gráficos de densidade para a distribuição de respostas por o1-preview, GPT-4 e humanos para vinhetas clínicas solicitando (1) a probabilidade pré-teste da doença, (2) a probabilidade atualizada após um resultado positivo do teste e (3) a probabilidade atualizada após um resultado negativo do teste. O azul sombreado indica o intervalo de referência com base em uma revisão da literatura de um estudo anterior. 22 As respostas humanas são de 553 médicos (290 médicos residentes, 202 médicos assistentes e 61 enfermeiros ou assistentes médicos). 100 previsões foram geradas pelo GPT-4 e o1-preview para cada questão.

Tabela 1: Três exemplos em que o1-preview diagnosticou corretamente um caso complexo que o GPT-4 não conseguiu resolver. Os exemplos do GPT-4 são de um estudo anterior.

❌ Fact Check

1. Alegação: “O o1-preview supera médicos em todas as tarefas de raciocínio clínico.”
   • ❌ Fato: O modelo foi inferior em raciocínio probabilístico (ex: estimativas de probabilidade pós-teste para pneumonia) e não superou humanos em identificação de diagnósticos críticos (“cannot-miss”).
   • Fonte: Tabela 3 e Figura 4B do artigo.
2. Alegação: “LLMs como o o1-preview são confiáveis para uso em emergências.”
   • ❌ Fato: Estudos mostram que LLMs falham em tarefas de alta complexidade, como cálculos médicos (Wan et al., 2024).
   • Fonte: Artigo atual e estudos comparativos.
3. Alegação: “GPT-4 é superior a todos os LLMs em exames médicos.”
   • ✅ Fato: GPT-4 obteve 85% de acurácia em radiologia, mas modelos como Bard e Gemini também mostraram desempenho competitivo (Roos et al., 2024).
   • Fonte: Estudos comparativos.
4. Alegação: “LLMs podem substituir médicos em diagnósticos complexos.”
   • ❌ Fato: Humanos ainda superam LLMs em raciocínio clínico complexo, especialmente em cálculos médicos (Wan et al., 2024).
   • Fonte: Artigo atual e estudos relacionados.
5. Alegação: “LLMs são precisos em todas as áreas da medicina.”
   • ❌ Fato: Desempenho varia significativamente entre especialidades, com menor acurácia em áreas como oncologia (Wang et al., 2025).
   • Fonte: Estudos específicos por especialidade.

🆚 Análise Comparativa com Fontes Externas

🔍 Perspective Research (Visões Diversificadas)

1. [2024] – “ChatGPT vs Medical Students on USMLE Questions”
   • Descrição: ChatGPT acertou 75% das questões do USMLE, superando estudantes em algumas áreas.
   • Relevância: Mostra o potencial de LLMs na educação médica, mas com limitações em raciocínio complexo.
   • Leia mais.
2. [2025] – “GPT-4 Performance on Radiology Board Exams”
   • Descrição: GPT-4 obteve 85% de acurácia em exames de radiologia, destacando sua utilidade em diagnósticos por imagem.
   • Relevância: Corrobora a aplicação de LLMs em especialidades médicas específicas.
   • Leia mais.
3. [2024] – “Humans Outperform LLMs in Clinical Calculations”
   • Descrição: Humanos superaram LLMs em cálculos médicos complexos, destacando limitações dos modelos.
   • Relevância: Evidencia a necessidade de supervisão humana em tarefas críticas.
   • Leia mais.
4. [2024] – “Bard and GPT-4 in Medical Visual Question Answering”
   • Descrição: Bard e GPT-4 foram comparados em respostas a perguntas visuais, com desempenho semelhante.
   • Relevância: Mostra a evolução de LLMs em tarefas multimodais.
   • Leia mais.
5. [2025] – “LLMs in Radiation Oncology Physics”
   • Descrição: Estudo avaliou LLMs em questões de física oncológica, com desempenho variável.
   • Relevância: Destaca a necessidade de especialização de modelos para áreas técnicas.
   • Leia mais.

Conclusão e Recomendações

Conclusão Geral

O o1-preview demonstrou potencial para revolucionar tarefas clínicas como diagnóstico e gestão, mas sua integração requer novos benchmarks e testes em ambientes reais. A IA generativa não substitui o julgamento humano, mas pode reduzir erros diagnósticos.

Recomendações Práticas

• Para Profissionais: Use LLMs como ferramentas auxiliares, não substitutas.
• Para Pesquisadores: Desenvolva benchmarks que simulem cenários clínicos dinâmicos.
• Para Gestores: Invista em infraestrutura para monitorar riscos de viés e segurança.

📋 FAQ: Perguntas Frequentes

1. O o1-preview pode ser usado em emergências?
Não é recomendado para uso isolado em emergências. Embora seja preciso em diagnósticos diferenciais, seu desempenho em raciocínio probabilístico e identificação de diagnósticos críticos ainda exige supervisão humana para decisões de alta complexidade.

2. Como o o1-preview se compara ao GPT-4?
O o1-preview superou o GPT-4 em diagnóstico diferencial e gestão clínica, mas ambos tiveram desempenho semelhante em raciocínio probabilístico, com limitações em estimativas pós-teste.

3. Quais são as principais limitações do o1-preview?
O modelo tende a ser verboso, gerando respostas excessivamente longas. Além disso, seu desempenho em tarefas que exigem abstração, como cálculos médicos, é inferior ao de humanos, especialmente em cenários complexos.

4. A IA pode substituir médicos em diagnósticos?
Ainda não. Embora o o1-preview tenha alta acurácia em diagnósticos diferenciais, ele não substitui o julgamento clínico humano, especialmente em casos complexos ou que exigem interpretação contextual. A IA deve ser usada como ferramenta de apoio, não como substituta.

5. Quais são os riscos éticos de usar LLMs na medicina?
Os principais riscos incluem viés nos dados de treinamento, falta de transparência no raciocínio do modelo e possíveis erros em decisões críticas. A dependência excessiva de IA pode levar à desvalorização do julgamento clínico humano.

6. Como o o1-preview pode ser integrado à prática clínica?
O modelo pode ser usado como ferramenta de apoio para gerar diagnósticos diferenciais e sugerir testes, mas sempre com supervisão humana. A integração requer treinamento dos profissionais, monitoramento contínuo e ajustes para garantir segurança e eficácia.

📄 Acesse o Artigo Completo Aqui

Leia mais.