Estudo e Aplicação de Redes Neurais Generativas

Olá, Daniel, tudo bem ? desculpe pela demora, vou tentar responder suas perguntas de forma resumida:

1)A função SELU, diferentemente das outras funções de ativação como a ReLU e LeakyReLU não possui pontos onde a derivada não existe, então se você olhar alguma imagem no GOOGLE comparando essas funções vai perceber que ela tem uma curvatura mais suave. Mas o motivo pelo qual utilizamos essa função foram sugestões em artigos, nos quais é relatado que para aumentar a estabilidade da GAN deveríamos utilizar essa função de ativação, além de outros detalhes como remover toda camada densa da rede geradora (pode perceber que elas apenas foram usadas como uma forma de "reshape" (sem função de ativação). Com relação aos testes, sim, foi realizado testes com outras funções em especial a ReLU e tangente hiperbólica, mas de fato a selu se mostrou mais estável durante o treinamento.

2)O otimizador RSMProp era considerado um dos principais antes do surgimento do Adam, e o princípio de funcionamento dele se baseia em um decaimento exponencial dos últimos gradientes utilizados, então a ideia é direcionar os pesos com base não apenas no último gradiente calculado, mas também nos anteriores (com mais relevância para os mais recentes). A grande questão de termos utilizado o RMSProp tem a ver com a convergência do treinamento, em diversas situações que pude experimentar no Mnist e LSUN:bedroom o Adam não foi muito bom para convergir (os dados gerados ficavam ruins) e tive que usar ou o RMSProp ou o SGD (se quiser entender melhor como esses otimizadores funcionam recomendo fortemente o capítulo 11 do livro "hands on machine learning v2" do Gerón).

3)Com relação às técnicas de regularização, no AAE e VAE foi testado o uso da regularização l1 e l2, com destaque para a l1, mas para uma rede como a GAN (que obteve o melhor desempenho) que recebe como entrada ruídos aleatórios, não faz muito sentido aplicar essas regularizações no ruído, já que o overfitting da rede se dá em um estad o chamado "colapso de modo da rede geradora", onde a rede geradora gera imagens que são todas idênticas (semelhante ao que aconteceu na imagem do AAE que você comentou) e para evitarmos que isso acontecesse usamos técnicas como: remover camadas densas do gerador, utilizar a função selu e a técnica do mini batch discrimination (apenas no lsun:bedroom).

4)O minibatch discrimination foi descrito no artigo "Improved techniques for training GANs" e de forma bem resumida, a ideia é fazer com que a rede discriminadora tenha acesso a várias características ao mesmo tempo, então multiplicamos a entrada da rede discriminadora por um tensor (para misturar as features) e depois se calcula a distância L1 entre as linhas dessa matriz. Nas palavras do autor: "any discriminator model that looks at multiple examples in combination, rather than in isolation, could potentially help avoid collapse of the generator".

5)Diferentemente da GAN, o discriminador do AAE não busca diferenciar se a imagem é real ou falsa (até porque a imagem fictícia não é gerada durante o treinamento, apenas após esse processo ao enviar um vetor de amostras de uma função de probabilidade como a Gaussiana) e sim diferenciar se o vetor de entrada é proveniente do codificador ou se é uma amostra da função escolhida. Em outras palavras, ele deve dizer se esse vetor é de uma amostragem da distribuição real ou se ele foi gerado pelo codificador. Basicamente o treinamento tenta fazer com que o codificador forneça dados que se pareçam muito com a distribuição escolhida.

6)Diferentemente do que acontece com a GAN no colapso de modo, acredito que gerar imagens exatamente iguais aconteceram devido a limitações do modelo por si só, não encontramos nenhum artigo que conseguiu usar um AAE para gerar imagens tão complexas como as do LSUN:bedroom, portanto não acredito que simplesmente mudar um hiperparâmetro resolveria (e tentamos muito). Mas é válido dizer que esse modelo funcionou muito bem para imagens mais simples como os do Mnist.

7)É exatamente como você disse a rede generativa foi apenas usada para expandir o banco de dados de treinamento dos classificadores, mas os dados de teste eram constituidos exclusivamente de dados reais, então de fato houve uma melhoria nos classificadores relativos ao problema final (classificar em 12 Hz ou 15 Hz).

Obrigado pelo interesse, Daniel !!