Caracterização e identificação de idiomas em textos baseado em Teoria da Informação

Este artigo propõe combinar métricas de Teoria da Informação e modelos de aprendizado para identificar idiomas em textos. As métricas utilizadas são Entropia de Shannon, Complexidade Estatística e Informação de Fisher, extraídas da representação simbólica de Bandt–Pompe sobre a série temporal de códigos UTF-8. Utilizamos 29 mil textos da Wikipedia, distribuídos em 29 idiomas (mil textos por idioma). Inicialmente, reproduzimos o método de Hassanpour et al. [2021], convertendo os textos em séries temporais de codepoints UTF-8, agrupadas em seis clusters com base na média dos códigos. Em seguida, extraímos 32 features de energia por sinal e treinamos uma rede neural multicamada por cluster, em 10 ciclos, com 1, 5, 7 e 12 espaços artificiais após duas palavras consecultivas. Estendemos o pipeline com features informacionais, adicionando aos vetores de entrada os centroides por idioma nos planos Entropia–Complexidade e Shannon–Fisher. obtendo média global de 76,01% e acurácia de 78,18% em 12 espaços.