O método de Levenberg-Marquardt estocástico aplicado ao treinamento de redes neurais artificiais

Vol 53, 2021 - 139543
Pôster
Favoritar este trabalho
Como citar esse trabalho?
Resumo

O método de Levenberg-Marquardt tem mostrado bons resultados na resolução de problemas de quadrados mínimos não linear, pois alia a convergência do método de Newton utilizando apenas informação de primeira ordem e a boa definição de todos seus iterandos. Sendo assim, uma aplicação natural desta técnica seria utilizá-la para minimização da função custo associado ao treinamento de redes neurais artificiais. Porém, o cálculo da matriz Jacobiana associada ao sistema pode ser muito caro quando o número de instâncias é muito alto, o que torna a otimização muito lenta. Desta forma, neste trabalho é proposto um método do tipo Levenberg-Marquardt estocástico para a minimização de funções custo associadas às redes neurais. O desempenho do algoritmo é comparado com o método de Levenberg-Marquardt clássico, além do método Adam, que é usualmente aplicado neste contexto. Uma versão estendida deste trabalho pode ser encontrada em https://repositorio.unifesp.br/handle/11600/61677.

Compartilhe suas ideias ou dúvidas com os autores!

Sabia que o maior estímulo no desenvolvimento científico e cultural é a curiosidade? Deixe seus questionamentos ou sugestões para o autor!

Faça login para interagir

Tem uma dúvida ou sugestão? Compartilhe seu feedback com os autores!

Instituições
  • 1 Universidade Federal de São Paulo
  • 2 Universidade Federal do Paraná - Curitiba
  • 3 Universidade de São Paulo
Eixo Temático
  • 15 - PM – Programação Matemática
Palavras-chave
Treinamento de redes neurais artificiais
Método de Levenberg-Marquardt
Quadrados mínimos não linear