Análise Experimental da Inferência de LLMs em Ambientes de Borda com Recursos Restritos

Vol 57, 2025 - 340032
Resumo Estendido
Favoritar este trabalho
Como citar esse trabalho?
Resumo

A implantação de Modelos de Linguagem de Grande Escala (LLMs) na borda impõe desafios de confiabilidade. Este artigo investiga o desempenho e tolerância a falhas na inferência local do modelo Llama-3.2-1B-Q8 em um Raspberry Pi 4B. Por meio de experimentos variando a concorrência e o tamanho do contexto (SQuAD v2.0), analisamos a saturação de recursos e latência. Os resultados mostram que, embora a RAM permaneça estável via quantização de 8-bits, a CPU sofre saturação precoce. Essa exaustão causa falhas de desempenho, com alta latência e instabilidade sob carga. Revelamos um paradoxo de sobrecarga em requisições curtas (128 tokens) e o colapso da previsibilidade em contextos longos (1024 tokens). O estudo fornece evidências empíricas sobre o comportamento de LLMs em ambientes restritos, subsidiando mecanismos de escalonamento.

Compartilhe suas ideias ou dúvidas com os autores!

Sabia que o maior estímulo no desenvolvimento científico e cultural é a curiosidade? Deixe seus questionamentos ou sugestões para o autor!

Faça login para interagir

Tem uma dúvida ou sugestão? Compartilhe seu feedback com os autores!

Instituições
  • 1 Universidade Federal Rural de Pernambuco
  • 2 Universidade Federal de Alagoas
Eixo Temático
  • PO&IA – Pesquisa Operacional com Inteligência Artificial
Palavras-chave
Computação de Borda
Modelos de Linguagem
Avaliação de Desempenho