Teorema da Aproximação Universal para Superposições de Funções Sigmoides

Este trabalho investiga os fundamentos matemáticos das redes neurais, com foco no Teorema da Aproximação Universal aplicado a redes feedforward de uma única camada oculta. O estudo demonstra que essas arquiteturas possuem a capacidade de aproximar funções contínuas, definidas em domínios compactos, com precisão arbitrária. Para comprovar essa propriedade, a pesquisa analisa detalhadamente o comportamento de duas funções de ativação: a ReLU e as funções sigmoides contínuas. O conceito de aproximador universal é estabelecido quando o conjunto de funções geradas pela rede é denso no espaço das funções contínuas, uma demonstração que se apoia em resultados da teoria da medida e na definição matemática de funções discriminatórias.

A partir dessa fundamentação, o trabalho estabelece caminhos de demonstração distintos para cada função de ativação. Conclui-se que toda função sigmoide limitada e mensurável é discriminatória, o que a enquadra automaticamente no teorema e garante a sua universalidade. Já a função ReLU é classificada como 1-discriminatória, garantindo a densidade inicial no caso unidimensional. O estudo, então, estende esse resultado matemático para dimensões arbitrárias , estabelecendo definitivamente que redes baseadas tanto em ativação ReLU quanto em sigmoides contínuas são, de fato, aproximadores universais. Em suma, a pesquisa justifica matematicamente o alto poder expressivo e a capacidade de aproximação dessas redes neurais.