UMA ANÁLISE DE MÉTODOS DE APRENDIZADO PROFUNDO PARA DEMOSAICO E RECONSTRUÇÃO DE IMAGENS HIPERESPECTRAIS

Imagens hiperespectrais (HSI, do inglês Hyperspectral Imaging) possuem grande importância em aplicações científicas e industriais devido à capacidade de capturar informações espectrais detalhadas de diferentes materiais. Entretanto, a aquisição e processamento dessas imagens apresenta relevantes desafios relacionados ao custo computacional, volume de dados e limitações dos sensores, que demandam o uso e desenvolvimento de técnicas eficientes. Destacamos aqui os processos de reconstrução, em que se busca recuperar o espectro original de a partir de dados comprimidos, e de demosaico, cujo objetivo é estimar os valores espectrais faltantes em cada pixel devido à amostragem dos sensores hiperespectrais. Nesse contexto, métodos de aprendizado profundo vêm apresentando resultados promissores ao explorar relações espaciais e espectrais de maneira mais eficiente que métodos tradicionais. 

Este trabalho apresenta uma análise de métodos de aprendizado profundo aplicados à reconstrução e demosaico de imagens hiperespectrais, com foco na arquitetura MST++ (Multi-stage Spectral-wise Transformer). O estudo investiga especialmente o bloco S-MSA (Spectral-wise Multi-head Self-Attention), responsável pela modelagem das relações espectrais entre bandas da imagem hiperespectral. A análise busca compreender como os mecanismos de atenção influenciam a qualidade da reconstrução e quais modificações podem contribuir para melhorias de desempenho. O trabalho também propõe o estudo de possíveis melhorias no mecanismo S-MSA, como a utilização de mecanismos de atenção cruzada, permitindo a comparação mais efetiva das informações em diferentes

bandas. O objetivo é aprimorar a preservação das informações espectrais sem comprometer a eficiência computacional do modelo.

Para o treinamento e validação dos modelos foram utilizados conjuntos de dados amplamente empregados na literatura, como Manchester-33B e Tokyotech-31B. Esses conjuntos de dados apresentam diferentes características de iluminação, resolução espacial e variabilidade espectral, permitindo avaliar a robustez do modelo em diferentes cenários. As métricas utilizadas incluem PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity Index Measure) e SAM (Spectral Angle Mapper), possibilitando análise tanto espacial quanto espectral da reconstrução.

Os resultados esperados incluem melhor compreensão do funcionamento interno da arquitetura MST++, avaliação comparativa dos conjuntos de dados utilizados e identificação de modificações promissoras para reconstrução e demosaico hiperespectral baseado em transformers.