Utilizando testes estatísticos para comparar a performance de modelos de aprendizado de máquina

O processo de criação de um modelo de aprendizado de máquina é um estudo estatístico por natureza. Com um modelo treinado no conjunto de treino, ao aplica-lo nas bases de dados de validação e teste, estamos estimando a sua performance em novos dados. Porém, contrário a outras metodologias estatísticas, no processo de criação e avaliação de modelos de aprendizado de máquina, não existe o rigor de estudar métricas de variabilidade dos modelos, como a variância e o desvio padrão. Consequentemente, a seleção de um melhor modelo, tanto na indústria como na academia, acaba sendo por aquele que mostra o melhor desempenho em uma medida de avaliação sumarizada em todo o conjunto de dados. Por outro lado, existem metodologias robustas para estimar a performance desses modelos em um contexto onde a variância dos modelos, aplicados aos dados, são levados em consideração. Essas metodologias buscam utilizar de conceitos bem fundamentados na área de aprendizado de máquina, como a validação cruzada e a reamostragem, para formular testes de hipóteses onde o tomador de decisão, de forma implícita, utilizará de mais medidas estatísticas para definir qual o melhor modelo. Assim, o presente trabalho tem como objetivo revisitar essas metodologias, primeiro em um contexto de simulação, para revisitar a robustez de cada método, e após isso explorar casos de usos práticos em conjuntos de dados reais.