Avaliação comparativa de LLMs com RAG para apoio à informação sobre Vacinação Infantil

Vol 57, 2025 - 341158
Resumo Estendido
Favoritar este trabalho
Como citar esse trabalho?
Resumo

A complexidade do calendário vacinal do Programa Nacional de Imunizações (PNI), com regras que variam por idade, dose, intervalo, histórico e situações especiais, pode dificultar a consulta rápida pelos Agentes Comunitários de Saúde (ACS). Este trabalho avalia uma arquitetura de Retrieval-Augmented Generation (RAG) como ferramenta de apoio informacional baseada em documentos oficiais, comparando cinco Modelos de Linguagem de Grande Escala (LLMs): DeepSeek Chat, Gemini 2.5 Flash, GPT-4o, LLaMA 3.3-70b e Mistral Large. Foram avaliadas 13 perguntas, repetidas 10 vezes por modelo, nas temperaturas 0,1; 0,2; 0,4 e 0,6, com BLEU e BERTScore sendo usados como métricas de avaliação. As diferenças globais de F1 foram pequenas; no entanto, consultas que exigiam combinar regras distinguiram melhor os modelos. O DeepSeek Chat combinou desempenho competitivo e baixo custo.

Compartilhe suas ideias ou dúvidas com os autores!

Sabia que o maior estímulo no desenvolvimento científico e cultural é a curiosidade? Deixe seus questionamentos ou sugestões para o autor!

Faça login para interagir

Tem uma dúvida ou sugestão? Compartilhe seu feedback com os autores!

Instituições
  • 1 Universidade Federal da Paraíba
  • 2 Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio)
Eixo Temático
  • SA – PO na Área de Saúde
Palavras-chave
LLMs
RAG
vacinação infantil