CRIAÇÃO E APLICAÇÃO DE MÉTODO PARA COMPARAÇÃO DE CONSTRUCTOS DE CLIMA ESCOLAR À LUZ DA TEORIA CRÍTICA

CRIAÇÃO E APLICAÇÃO DE MÉTODO PARA COMPARAÇÃO DE CONSTRUCTOS DE CLIMA ESCOLAR À LUZ DA TEORIA CRÍTICA 1 - Introdução A produção científica internacional vem dedicando esforços para mensurar chamado o Clima Escolar. O amplo interesse pode ser percebido pela quantidade identificados por revisões (GANGI, 2009), e consequente quantidade de estudos empíricos. Wang e Degol (2016) localizaram 327 referências de pesquisas, por exemplo. Este volume tem gerado insumos para o desenvolvimento de meta-análises (DULAY e KARADAĞ, 2017), que majoritariamente apontam para o clima escolar como fator relevante tanto para o aprendizado dos estudantes, quanto para outros fatores do processo de educação escolar. Apesar disso, parte da produção internacional já indica a necessidade de precaução e olhar comparativo. Revisão da literatura, que analisou 113 artigos, por exemplo, aponta que: “Em primeiro lugar, tal fragmentação em termos de instrumentos não oferece aos pesquisadores dispostos a entrar no campo um quadro coerente das medidas nas quais eles poderiam contar para sua coleta de dados, com a consequência de, de alguma forma, legitimar cada autor para construir sua própria medida ou selecionar itens de várias escalas. Em segundo lugar, torna muito difícil, se não impossível, a comparação de resultados de diferentes estudos (GRAZIA; MOLINARI, 2021, p. 17, tradução minha). Neste contexto, esta pesquisa se depara com o seguinte problema: Para superar as limitações dos enunciados dos conceitos e as descrições de suas dimensões, como é possível desenvolver comparações mais profícuas para o entendimento das diferenças, semelhanças e limites dos constructos de Clima Escolar? Para enfrentar o desafio, este trabalho se propõe a olhar a granularidade mais específica dos instrumentos, afunilando a análise para os itens que compõem os questionários. Este movimento é diferente do que tem sido empreendido pelas pesquisas até aqui, que exploram as declarações de conceitos e dimensões. Para isso, desenvolveu protocolo de análise de conteúdo, suportado por Sampaio e Lycarião (2021), que será descrito na seção metodológica. O protocolo foi aplicado nos dois instrumentos mais utilizados pelas produções brasileiras no período entre 2013 e 2023, identificados a partir de revisão bibliográfica. Tal revisão aponta para similaridades da produção nacional com a internacional, como multiplicidade de instrumentos, resultados positivos e fragmentação do campo. Diante dos resultados, foi acrescido ao método a formulação de critérios a partir da Teoria Crítica, para tensionar os constructos e verificar que tipos de induções podem estar sendo provocadas. Assim, esta investigação parte das hipóteses de que os instrumentos apresentam características comuns que ressaltam algumas das qualidades das interações percebidas nas escolas. Porém, ao mesmo tempo, apresentam divergências que poderiam conviver se explicitadas as visões educacionais. Além disso, aceita-se a hipótese de que a ausência de questões essenciais das relações sociais vividas nas escolas fragiliza a capacidade dos instrumentos. Apesar de validados estatisticamente, seus constructos podem limitar a possiblidade de capturarem tensões existentes, contribuindo para a noção de normalidade. 2 - Método e objetos de estudo A Análise de Conteúdo é a técnica para enfrentar o objetivo. Segundo Sampaio e Lycarião (2021), que apresentam incrementos ao tradicional manual de Bardin (1977): Análise de conteúdo é uma técnica de pesquisa científica baseada em procedimentos sistemáticos, intersubjetivamente validados e públicos para criar inferências válidas sobre determinados conteúdos verbais, visuais ou escritos, buscando descrever, quantificar ou interpretar certo (SAMPAIO; LYCARIÃO, 2021, p. 17). Para conseguir garantir seus pontos positivos, precisa ter a capacidade de ser revisada pela comunidade científica no que se refere à consistência entre conceitos e os instrumentos (validade), também em termos da precisão e acurácia dos codificadores (confiabilidade). Por fim, uma terceira característica indicada é o da replicabilidade. “Isso implica que a replicabilidade não garante confiabilidade, nem a validade de uma análise de conteúdo, mas é condição de possibilidade das duas” (SAMPAIO; LYCARIÃO, 2021, p. 39). A partir da devida aplicação, formam-se categorias, compostas por conjuntos de itens codificados. Por sua vez, as categorias são construtos analíticos derivados de teorias ou práticas existentes; experiência ou conhecimento de experts ou pesquisa (KRIPPENDORFF, 2004 apud SAMPAIO; LYCARIÃO, 2021, p. 46). A partir deste referencial, foi desenvolvido protocolo, composto pela seguinte estrutura, conforme apontado no Quadro 1. Quadro 1 - Estrutura geral da codificação de itens Campo de codificação Nome do Campo de categorização I Categoria II Subcategoria III Crítico ou Desempenho padronizado IV Tema estruturante V Ator VI Abordagem Fonte: Elaborado pelo autor. O campo Categoria (I) busca explicitar a natureza do conteúdo que está presente. Discriminado como Estrutura, Processo e Resultado, sua construção se baseou no entendimento que: [...] o clima organizacional resultaria, portanto, da percepção que os membros da organização têm acerca dessas variáveis de estrutura, de processo e de produto. Simultaneamente, essas percepções que os membros da organização fazem da própria organização condicionam o comportamento organizacional de cada um (CARVALHO, 1992, p. 29). Para ajustar a terminologia ao campo dos direitos e da educação, mais especificamente, substituo neste trabalho o termo “produto” por “Resultado”. Como Estrutura, as diferentes abordagens consideram as características relativamente estáveis do “provedor” de serviços, tais como instrumentos, estruturas físicas e organizacionais. O Processo corresponde a todos os procedimentos realizados pelos profissionais, ou atividades realizadas pelos estudantes e comunidade, sejam práticas formalizadas ou não. Por fim, o Resultado é representado por mudanças derivadas ou o ponto de finalização de um processo, sendo passível de ser verificado ou que seja intencionada. Amplas, essas três naturezas têm discricionariedade limitada, sendo necessário uma camada adicional. Foram propostas, assim, Subcategorias (II). Em Processo, propõe-se a divisão em apenas duas: Convivência e Práticas Pedagógicas e organizacionais. A primeira será a codificação de itens que tratam de fatos do âmbito das relações interpessoais, não orientados por regras institucionais; já a categoria “Práticas” trará fatos orientados por regras institucionais. A última dimensão responde de maneira coerente à proposta bidimensional dos Processos: Ensino-Aprendizagem; e de Bem-estar. O campo Desempenho padronizado (III) busca relacionar-se com os conceitos de Sociedade Unidimensional (Marcuse, 1982), Pseudoformação e Experiência Formativa (Adorno, 1995). Os itens são codificados se trouxerem elementos explicitamente deterministas, ahistóricos – sem abertura suficiente para entendimentos diversos sobre determinado fato, desencorajando pensamento crítico e a autorreflexão. Tal expressão, pode indicar itens que apontem para necessidade de aceitação forçada do pensamento da cultura dominante como medida de conformismo e eficiência. Temas contemporâneos, que afetam as relações dentro das escolas, serão trabalhados da categoria Tema Estruturante (IV) (como racismo, discurso de ódio etc.). Por fim, a categoria V apontará o ator que é tratado no item, com Abordagem (VI) positiva ou negativa. 3 - Análise e discussão dos resultados A aplicação do protocolo ocorreu nos dois instrumentos mais utilizados pela academia brasileira em 2013 e 2023, identificados a partir de revisão bibliográfica no portal de teses da Capes. Com o trabalho de Moro (2018), chegou-se ao Manual de orientação para a aplicação dos questionários que avaliam o Clima Escolar (2017), formulado por pesquisadores do Grupo de Estudos e Pesquisas em Educação Moral (GEPEM). Base para 12 defesas, referência mais utilizada no período analisado. Será nomeado como Gepem. A segunda produção mais referenciada foi a escala Delaware School Climate Survey-Student (DSCS-S), com nove pesquisas, que será nomeada nesta tese como Delaware. Os trabalhos foram desenvolvidos após trabalho de mestrado de Holst (2015). Aplicação do protocolo: Visão comparada Como exposto na Tabela 1, certa similaridade de peso pode ser identificada. Em ambos os instrumentos, a categoria Processo concentra a maior parte dos itens, seguida por Resultado e Estrutura. Tabela 1 - Proporção de itens Categoria GEPEM Delaware Processo 0,808 0,724 Resultado 0,115 0,224 Estrutura 0,077 0,053 Fonte: Elaborado pelo autor. Porém, só ao especificar a subcategoria já é possível identificar diferenças relevantes de pesos que cada constructo prioriza. Tabela 2 - Proporção de itens - Processo Categoria Subcategoria GEPEM Delaware Processo Práticas 0,55 0,38 Convivência 0,26 0,34 Fonte: Elaborado pelo autor. Tabela 3 - Proporção de itens - Resultado Categoria Subcategoria GEPEM Delaware Resultado Bem-estar 0,08 0,22 Ensino 0,04 0,01 Fonte: Elaborado pelo autor. Tabela 4 - Proporção de itens - Estrutura Categoria Subcategoria GEPEM Delaware Estrutura Infra 0,06 - Normas 0,02 0,05 Fonte: Elaborado pelo autor. Em Processo, Gepem concentra mais da metade dos itens do instrumento e olha para práticas formais. Já Delaware divide o total de itens de maneira quase idêntica entre práticas formais e aspectos informais. Em Resultado, Gepem divide a atenção entre bem-estar do estudante e ensino. Já Delaware foca quase que exclusivamente no bem-estar do estudante. Em Estrutura, Gepem prioriza infraestrutura, com alguns itens de normas. Delaware só foca em normas. Se a análise caminhar um pouco mais e buscar entender a construção das subcategorias, as diferenças e semelhanças ficam ainda mais nítidas. Em Práticas de Ensino-Aprendizagem e Organizacionais, Gepem divide de maneira próxima os itens com abordagem negativa e positiva, foca nos professores, com peso considerável de itens negativos e considera participação dos estudantes para além das atividades e comportamentos de estudo. Já Delaware prioriza itens positivos. Foca na instituição, não especificando comportamentos negativos dos professores e, ainda, direciona sua atenção para atividades e comportamentos formais dos estudantes com caráter normatizador. Cabe ressaltar que os instrumentos, independentemente das diferenças e prioridades variadas, apresentaram traços denominados como Desempenho Padronizado em relação às Práticas. Delaware valoriza unicamente visão de que aluno precisa se adaptar e se dedicar, alcançando boas notas. Já o instrumento do GEPEM, em diversos momentos, toma pouco cuidado com os diferentes contextos brasileiros, tratando de maneira generalizada os profissionais e estudantes, levando a uma visão limitante do resultado do processo. Já em Convivência, a segunda subcategoria de Processo, Gepem foca nos estudantes, com abordagem negativa, descrevendo muito atos de violência de cunho físico. Já Delaware também foca nos estudantes, com abordagem negativa, porém dedicando espaço para o mundo virtual e ações de difamação, especificando ações em cada item. Passando para a Categoria resultados, prioriza o Bem-estar dos estudantes, traz elementos não desejáveis que interrompem vida escolar. Já Delaware, foca quase que exclusivamente em Bem-Estar dos estudantes de maneira positiva, trazendo multiplicidade de sentimentos de cunho positivo. Todavia, simplifica demais, focando atenção apenas ao bullying. Por fim, ambos dedicam pouco espaço para Estrutura. Gepem prioriza infra e Delaware só aborda normas. Falando em temas contemporâneos, Gepem e Delaware abordam Violência. O instrumento traduzido complementa com itens relacionados a racismo. Porém, questões relacionadas LGBTQIA+fobia, discurso de ódio, intolerância religiosa, nem mesmo correlatos, não foram identificados. Desconsiderá-los é uma escolha difícil de entender e não foi encontrada justificativa sobre os trabalhos relacionados. Aspecto é bastante relevante e pode influenciar consideravelmente os resultados, dificultando que aflore as tensões existentes nos ambientes escolares. 4 - Considerações finais Após o escrutínio, foi possível confirmar as hipóteses formuladas. As conclusões abrem novas reflexões e possibilidades de contribuições o para avanço dos estudos e aferição do constructo. Os instrumentos demonstraram-se sensivelmente diferentes na composição dos seus constructos, se observados a partir dos itens presentes nos questionários. Foi possível identificar como semelhança elementos de composição mais amplos. Apesar disso, foi possível descortinar muitas diferenças de natureza, conteúdo e forma. É possível traduzir tais achados de maneira visual, no gráfico abaixo. Gráfico 1 - Proporção de itens por Subcategoria Fonte: Elaborado pelo autor. Reforça-se, dessa maneira, a necessidade de prudência e melhor identificação das diferenças dos constructos antes de realizar meta-análises que integrem resultados da aplicação dos diversos instrumentos. Além disso, como protocolo desenvolvido possibilitou comparação detalhada dos constructos, sugere-se que possa ser usado em outros instrumentos. - REFERÊNCIAS BIBLIOGRÁFICAS BARDIN, L. Análise de conteúdo. Edição revista e ampliada. São Paulo: Edições 70 Brasil, [1977] 2016. CARVALHO, L.M. Clima de escola e estabilidade dos professores. Lisboa: Educa, 1992 DULAY, S; KARADAG, E. The Effect of School Climate on Student Achievement. The Factors Effecting Student Achievement, [s.l.], p.199-213, 2017. Springer International. GANGI, T.; School climate and faculty relationships: Choosing an effective assessment measures. NY, 2009. GRAZIA, V; MOLINARI, L. School climate multidimensionality and measurement: A systematic literature review. Research Papers in Education, 2021. HOLST, B. Evidências de validade da escala de Clima Escolar Delaware School Climate Survey-student (DSCS-S) no Brasil. Porto Alegre, 2015. MARCUSE, H. A ideologia da sociedade industrial: o homem unidimensional. Tradução de Giasone Rebuá. Rio de Janeiro: Zahar, 1982. MORO, A; VINHA, T; MORAIS, A. Avaliação do Clima Escolar: construção e validação de instrumentos de medida. Cad. Pesqui. [online]. 2019, vol.49, n.172, pp.312-334. MORO, A. A construção e as evidências de validade de instrumentos de medida para avaliar o Clima Escolar. Campinas, 2018. SAMPAIO, R. C.; LYCARIÃO, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. VINHA, T. P.; MORAIS, A.; MORO, A. (Coord.). Manual de orientação para a aplicação dos questionários que avaliam o Clima Escolar. Campinas: Fe/UNICAMP, 2017. WANG, M., & DEGOL, J. L. School climate: A review of the construct, measurement, and impact on student outcomes. Educational Psychology Review, 28(2), 315–352, 2016.