Resumos

1 Introdução

O artigo analisa a experiência inédita de ensino remoto, implantada emergencialmente diante da pandemia de Covid-19, sob a perspectiva dos estudantes universitários da Universidade Federal de São Paulo (Unifesp), calouros e veteranos dos cursos da Escola de Letras, Filosofia e Ciências Humanas da Unifesp, sediada no campus de Guarulhos, a saber: Ciências Sociais, Filosofia, História, História da Arte, Letras e Pedagogia. Como os estudantes avaliaram a aprendizagem no seu 1º semestre letivo neste formato? Quais fatores pedagógicos, socioeconômicos e emocionais explicam as diferenças na avaliação discente? Estas questões nortearam a realização deste estudo.

A escolha do corpus, cursos de ciências humanas, sendo a maioria deles também de formação de professores, justifica-se por não exigirem infraestruturas complexas de laboratórios, como ocorre nos cursos das ciências exatas e biológicas, o que facilitou a implantação do ensino remoto emergencial. A pandemia de Covid-19 obrigou a suspensão das aulas presenciais na Unifesp, a partir de 16/03/2020. Após amplo debate junto à comunidade acadêmica - primeiramente, sobre a pertinência e, em seguida, sobre as condições necessárias à sua implantação - as atividades de graduação foram retomadas em 03/08/2020, de forma totalmente remota, por meio das Atividades Domiciliares Emergenciais (ADE), a fim de mitigar o atraso na integralização dos cursos, com a menor perda possível, do ponto de vista da formação acadêmica.

Buscou-se captar as experiências discentes individuais por meio da aplicação de um estudo transversal (survey). Primeiramente, as avaliações dos estudantes foram mensuradas por indicadores em escala qualitativa (Likert) e quantitativa (notas de 0 a 10). Em segundo, foram coletadas informações que pudessem explicar as diferenças nas avaliações, em função de diferentes atributos agrupados em quatro dimensões: 1) participação e interação durante as aulas; 2) saúde mental; 3) disponibilidade de tempo; 4) condições materiais de estudo.

Além da análise exploratória sobre a avaliação discente da aprendizagem no 1º semestre de atividades remotas, pretende-se explicar as diferenças nas avaliações, com vistas a evidenciar quais fatores ou condições fazem com que esta experiência tenha sido melhor (ou menos ruim) para um grupo do que para outro. Para tanto, foram realizadas análises de regressão simples e múltiplas, tendo como variáveis dependentes, primeiramente, uma avaliação mais qualitativa, baseada na concordância ou não dos estudantes de que o ensino em ADE foi “melhor que o esperado” (regressão logística) e, complementarmente, uma avaliação mais quantitativa, a partir da nota atribuída pelos estudantes (regressão linear).

Quatro hipóteses são levantadas: a) a avaliação discente é fortemente influenciada pelas possibilidades de interação, ou seja, a avaliação é mais positiva entre os estudantes que consideraram as aulas síncronas como boa ou ótimas e que conseguiram participar das aulas, em contato direto (em tempo real) com o professor; b) a avaliação piora entre os estudantes que relataram dificuldades de concentração e aumento de stress com as atividades remotas, em comparação com aqueles que não tiveram a saúde mental afetada; c) a melhor avaliação das ADE seria feita por estudantes trabalhadores, usuários de transporte público ou por aqueles que gastam mais tempo nos trajetos de ida e volta à universidade; d) melhor nível socioeconômico e condições materiais mais adequadas de estudo explicariam avaliações mais positivas em relação aos estudantes economicamente desfavorecidos, sem computador, com conexão à internet e espaço de estudo inadequados.

O artigo está dividido em três seções. Na primeira, discute-se o processo de aprendizagem em formato de educação a distância e as avaliações dos graduandos nesta modalidade educacional, ressaltando as semelhanças e as diferenças em relação às ADE, adotadas em caráter emergencial na Unifesp. Na segunda, são apresentados os resultados da avaliação discente, com base nas respostas às questões opinativas sobre as ADE, em comparação com o ensino presencial e como alternativa disponível ao atraso na integralização dos cursos. A terceira seção realiza o teste das quatro hipóteses levantadas, a partir da construção dos modelos de regressão (logística e linear). A discussão dos resultados é realizada nas considerações finais.

2 O ensino remoto e a situação emergencial imposta pela pandemia

Nesta seção, pretende-se recuperar o processo decisório da Unifesp por retomar as aulas remotamente, adotando o regime das Atividades Domiciliares Emergenciais (ADE), à guisa de demarcar a diferença entre esta proposta e a Educação a Distância (EaD). De início, deve-se alertar que, segundo Charczuk (2020CHARCZUK, Simone B. Sustentar a transferência no ensino remoto: docência em tempos de pandemia. Educação e Realidade, Porto Alegre, v. 45, n. 4, p. 109-145, 2020. Disponível em Disponível em https://www.scielo.br/j/edreal/a/S7dGKjBx7Ch4FxCwVc93pVg/?format=pdf⟨=pt Acesso em: 2 set. 2021.
https://www.scielo.br/j/edreal/a/S7dGKjB... ), a modalidade em si - presencial, a distância ou remoto - não é a variável basilar capaz de garantir uma relação dialógica entre os atores envolvidos, mas sim a proposta didática e os modelos teóricos conceituais que a sustentam.

No contexto educacional brasileiro, a implantação da EaD volta-se hegemonicamente à economia de custo (PESCE, 2007PESCE, Lucila. As contradições da institucionalização da educação a distância, pelo Estado, nas políticas de formação de educadores: resistência e superação. Revista HISTEDBR (UNICAMP), Campinas, v. 1, n. 26, p. 183-208, jun. 2007. Disponível em: Disponível em: https://www.fe.unicamp.br/pf-fe/publicacao/4991/art11_26.pdf . Acesso em: 2 set. 2021.
https://www.fe.unicamp.br/pf-fe/publicac... ). Nesse movimento, a EaD é pensada como modelo educacional em larga escala e com escalonamento das funções inerentes ao ofício docente, expropriando o professor do papel central nos processos educacionais da educação formal. Em meio a tal expropriação, cabe ao professor conteudista (alguém de notório saber na área de conhecimento) pensar os conteúdos de ensino; ao design educacional, pensar em como trabalhá-lo, explorando da melhor maneira possível os recursos da linguagem hipermídia (SANTAELLA, 2014SANTAELLA, Lúcia. Gêneros discursivos híbridos na era da hipermídia. Bakhtiniana: Revista de Estudos do Discurso, São Paulo, v. 9, p. 211-221, 2014. Disponível em: Disponível em: https://www.scielo.br/j/bak/a/Z96vv4RWJy4Qb8hghKmtvCL/?format=pdf⟨=pt . Acesso em: 2 set. 2021.
https://www.scielo.br/j/bak/a/Z96vv4RWJy... ); ao tutor, interagir com os estudantes.

Não raras vezes, o professor conteudista é orientado a apresentar os conteúdos de ensino sem relação com o momento histórico em que ele está sendo criado, para que o material possa ser utilizado ad infinitum. Também é comum o tutor receber uma remuneração mais baixa que a do professor e ter sua atuação limitada por um script de autoria alheia (PESCE, 2007PESCE, Lucila. As contradições da institucionalização da educação a distância, pelo Estado, nas políticas de formação de educadores: resistência e superação. Revista HISTEDBR (UNICAMP), Campinas, v. 1, n. 26, p. 183-208, jun. 2007. Disponível em: Disponível em: https://www.fe.unicamp.br/pf-fe/publicacao/4991/art11_26.pdf . Acesso em: 2 set. 2021.
https://www.fe.unicamp.br/pf-fe/publicac... ). Como se vê, a EaD voltada à economia de custo tem como máximas a “mais valia” e a “alienação” (MARX, 1968MARX, Karl. O Capital: crítica à economia política. Livro I. Rio de Janeiro: Civilização Brasileira, 1968. v. 2.) do professor da totalidade do processo de ensino-aprendizagem. Portanto, apesar de não ser a modalidade educacional quem define uma educação mais próxima da educação bancária ou da educação como prática da liberdade (FREIRE, 2008FREIRE, Paulo. A pedagogia do oprimido. 47. ed. São Paulo: Paz e Terra , 2008.), infelizmente a EaD brasileira tem se prestado a um uso desprovido de uma ‘educação de qualidade social’ (CONAE, 2018), porque cooptada pelo capital.

Todavia, é importante destacar que, a despeito do uso perverso que tem sido feito desta modalidade educacional, a EAD, quando utilizada com qualidade socialmente referenciada (CONAE, 2018), apresenta aspectos positivos. Arkorful e Ghana (2015ARKORFUL, Valentina; GHANA, Nelly Abaidoo. The role of e-learning, advantages and disadvantages of its adoption in higher education. International Journal of Instructional Technology and Distance Learning, United States of America, v. 12, n. 1, p. 29-43, 2015. Disponível em: https://www.itdl.org/Journal/Jan_15/Jan15.pdf#page=33 Acesso em: 2 set. 2021.) apontam que o e-learning tem causado forte impacto no ensino superior, por motivar a interação dos estudantes, favorecer o respeito a diferentes pontos de vista, ampliar o acesso à informação, promover um rico ambiente para a colaboração discente, de modo a melhorar os padrões educacionais.

Com propósito distinto ao hegemônico uso perverso da EaD e à guisa de reduzir ao máximo os danos aos estudantes devido ao atraso na integralização dos cursos, a Unifesp retomou a oferta das aulas em regime de ADE. Nele, as aulas presenciais passaram a ser virtuais, com encontros síncronos. Além disso, as disciplinas também passaram a fazer uso extensivo dos ambientes virtuais de apoio à aprendizagem, que cumprem o papel de repositórios e de ambientes de trocas assíncronas. Cabe dizer que o ambiente Moodle tem sido ofertado há anos na Unifesp, como apoio às aulas presenciais; entretanto, nem todas as disciplinas o utilizavam. A partir da implantação do regime de ADE, a utilização destas plataformas passa a ser basilar para a interação entre professores e estudantes, incluindo o envio de materiais e outras comunicações.

No regime de ADE, o professor não é expropriado do seu ofício; ao contrário, continua a exercê-lo, assumindo a centralidade do processo de ensino-aprendizagem junto a seus estudantes. As “salas de aula” continuam com o mesmo número de estudantes da oferta presencial, o que não restringe, de partida, uma interação dialógica (FREIRE, 2006FREIRE, Paulo. Extensão ou comunicação? 13. ed. São Paulo: Paz e Terra, 2006. ) entre os estudantes e entre estes e os professores. Portanto, a preservação da integralidade da função docente e a quantidade de estudantes por turma, de modo semelhante à oferta presencial, são considerados os pontos fortes do regime de ADE, em comparação à maioria dos cursos regulares ofertados em EaD.

Todavia há alguns desafios a serem enfrentados. Com o amparo de Gusso et al. (2020GUSSO, Heder L. et al. Ensino superior em tempos de pandemia: diretrizes à gestão universitária. Educação e Sociedade, Campinas, v. 41, p. 1-27, 2020. Disponível em: Disponível em: https://www.scielo.br/j/es/a/pBY83877ZkLxLM84gtk4r3f/?lang=pt&format=pdf Acesso em: 2 set. 2021.
https://www.scielo.br/j/es/a/pBY83877ZkL... ), observa-se que, neste momento pandêmico, a oferta de aulas por meio digital acaba por gerar algumas questões problemáticas, tais como: falta de planejamento de atividades específicas para serem desenvolvidas nos ambientes digitais; sobrecarga de trabalho docente; ausência de formação adequada para atuar em ambientes digitais, pois não houve tempo hábil para tal; baixa qualidade de acesso de boa parte dos estudantes à conexão e aos dispositivos digitais.

Ainda com base em Gusso et al. (2020GUSSO, Heder L. et al. Ensino superior em tempos de pandemia: diretrizes à gestão universitária. Educação e Sociedade, Campinas, v. 41, p. 1-27, 2020. Disponível em: Disponível em: https://www.scielo.br/j/es/a/pBY83877ZkLxLM84gtk4r3f/?lang=pt&format=pdf Acesso em: 2 set. 2021.
https://www.scielo.br/j/es/a/pBY83877ZkL... ), reitera-se que a EaD se situa como modalidade educacional que demanda planejamento e uso de estratégias específicas, o que requer estrutura informacional adequada, suporte técnico a professores e estudantes, elaboração de materiais didáticos que explorem as potencialidades da linguagem hipermídia (SANTAELLA, 2014SANTAELLA, Lúcia. Gêneros discursivos híbridos na era da hipermídia. Bakhtiniana: Revista de Estudos do Discurso, São Paulo, v. 9, p. 211-221, 2014. Disponível em: Disponível em: https://www.scielo.br/j/bak/a/Z96vv4RWJy4Qb8hghKmtvCL/?format=pdf⟨=pt . Acesso em: 2 set. 2021.
https://www.scielo.br/j/bak/a/Z96vv4RWJy... ), bem como formação docente voltada a esse fim.

Apesar de o ensino remoto ter se mostrado um forte aliado na luta contra a disruptura das ações educacionais, em função do contexto pandêmico (HOQ, 2020HOQ, Mohammad Ziaul. E-Learning During the Period of Pandemic (COVID-19) in the Kingdom of Saudi Arabia: an empirical study. American Journal of Educational Research, United States of America, v. 8, n. 7, p. 457-464, 2020. Disponível em: Disponível em: http://article.scieducationalresearch.com/pdf/education-8-7-2.pdf Acesso em: 2 set. 2021.
http://article.scieducationalresearch.co... ), a premência do tempo dificultou que as universidades conseguissem se organizar a contento para ofertarem aulas remotamente. Uma das principais ações, conforme indicado por Hoq (2020HOQ, Mohammad Ziaul. E-Learning During the Period of Pandemic (COVID-19) in the Kingdom of Saudi Arabia: an empirical study. American Journal of Educational Research, United States of America, v. 8, n. 7, p. 457-464, 2020. Disponível em: Disponível em: http://article.scieducationalresearch.com/pdf/education-8-7-2.pdf Acesso em: 2 set. 2021.
http://article.scieducationalresearch.co... ) e por Rodriguez et al. (2020RODRIGUEZ, Maria Barron et al. Remote learning during the global school lockdown: multi-country lessons. International Bank for Reconstruction and Development. Washington: World Bank Group, 2020. Disponível em: Disponível em: https://documents1.worldbank.org/curated/en/668741627975171644/pdf/Remote-Learning-During-the-Global-School-Lockdown-Multi-Country-Lessons.pdf . Acesso em: 2 set. 2021.
https://documents1.worldbank.org/curated... ), é a oferta de ações de formação docente para utilizar com destreza as mídias digitais no contexto do ensino remoto emergencial. Nesse sentido, a Unifesp ofertou diversos cursos desta natureza, além de promover encontros virtuais semanais entre os docentes, para troca de experiências exitosas e discussão dos enfrentamentos que se lhes apresentavam no exercício docente em ADE. Os encontros eram gravados e disponibilizados na sala virtual intitulada “Rede de Apoio Docente”. Entretanto, em função da premência do tempo, tais ações eram ofertadas simultaneamente à atuação remota dos docentes.

Outra ação foi pensar em ajustes curriculares, como recomendam Rodriguez et al. (2020RODRIGUEZ, Maria Barron et al. Remote learning during the global school lockdown: multi-country lessons. International Bank for Reconstruction and Development. Washington: World Bank Group, 2020. Disponível em: Disponível em: https://documents1.worldbank.org/curated/en/668741627975171644/pdf/Remote-Learning-During-the-Global-School-Lockdown-Multi-Country-Lessons.pdf . Acesso em: 2 set. 2021.
https://documents1.worldbank.org/curated... ), para melhor atender os estudantes, no contexto pandêmico. Um exemplo emblemático foi a decisão institucional da Unifesp de trocar a aferição de notas por conceitos (cumprido ou não cumprido), “[...] para minimizar o possível ônus aos estudantes, já que a classificação discente para obtenção de bolsas (institucionais e das agências de fomento) [...] baseia-se na aferição de notas” (PESCE; HESSEL, 2021PESCE, Lucila; HESSEL, Ana Mari Di Grado. Ensino superior no contexto da pandemia da COVID-19: um relato analítico. Dossiê temático: Educação e cultura digital na COVID-19. Práxis Educacional, Vitória da Conquista, v. 17. n. 45, 2021. p. 1-19. Disponível em: Disponível em: https://periodicos2.uesb.br/index.php/praxis/article/view/8323 / . Acesso em: 2 set. 2021.
https://periodicos2.uesb.br/index.php/pr... . p. 8).

Na análise das contradições, de um lado, observa-se a falta de recursos didáticos ofertados (comuns à modalidade EaD) e certo improviso da ADE, sobretudo no primeiro semestre desta oferta, com professores sendo formados enquanto já deviam atuar remotamente, mas que fizeram o possível, dentro das condições que se lhes apresentavam. De outro, as aulas síncronas e o ensino não massivo permitem maior interação e preservam o contato direto entre professor e estudantes. Considerando estas diferenças, buscou-se saber a avaliação dos estudantes sobre o processo de ensino-aprendizagem nos cursos, no final do 1º semestre de oferta das ADE.

3 Avaliação discente sobre o ensino remoto emergencial: resultados do survey com estudantes dos cursos de ciências humanas da Unifesp

A avaliação discente foi obtida pela realização de uma pesquisa de opinião (tipo survey), aplicada por meio de questionário autoaplicável, respondido diretamente pelos estudantes dos cursos de Ciências Sociais, Filosofia, História, História da Arte, Letras e Pedagogia, ofertados pela Universidade Federal de São Paulo - Unifesp, no campus de Guarulhos. O questionário foi enviado para todos(as) estudantes regularmente matriculados via lista institucional de e-mails, com o apoio da Secretaria Acadêmica do campus.

O universo é de 3285 estudantes regularmente matriculados (UNIFESP, 2020UNIFESP - Universidade Federal de São Paulo. Dados graduação. São Paulo, 2020. Disponível em: Disponível em: https://www.unifesp.br/reitoria/indicadores/graduacao . Acesso em: 2 set. 2021
https://www.unifesp.br/reitoria/indicado... ). Foram obtidas 474 respostas, sendo 468 casos válidos, o que corresponde a 14,25% do total da população analisada. Trata-se de uma amostra não-probabilística, cujas respostas foram obtidas pela participação voluntária dos estudantes, sem identificação dos respondentes e não houve nenhuma condicionalidade ou incentivo oferecidos para a adesão à pesquisa. Na amostra, há respostas de estudantes de todos os cursos analisados, em proporção semelhante ao número de matrículas em cada um deles. Apesar do tamanho adequado para as análises estatísticas realizadas e da boa diversidade na amostra, é importante frisar que a pesquisa tem carácter exploratório, sem a intenção de extrapolar os dados para todo universo.

Os dados foram coletados de forma online, com a utilização do Google Forms, entre os dias 28 de setembro e 03 de outubro de 2020, período que corresponde ao final do primeiro semestre letivo de 2020, após a retomada das atividades letivas em formato ADE (ocorrida em 03/08/2020). O questionário autoaplicável reuniu 27 perguntas fechadas, formuladas de forma direta e não houve relatos de dificuldades no preenchimento. No pré-teste realizado, os participantes levaram em média 15 minutos para responder todas as perguntas. O Termo de Consentimento Livre e Esclarecido (TCLE) foi apresentado antes do preenchimento do questionário e a pesquisa seguiu as exigências estabelecidas pela Resolução nº 510/2016, do Conselho Nacional de Saúde (BRASIL, 2016BRASILConselho Nacional de Saúde. Resolução 510/2016. Apresenta um marco normativo para as atividades de pesquisa em ciências humanas e sociais. Brasília, 2016. Disponível em: Disponível em: http://conselho.saude.gov.br/resolucoes/2016/Reso510.pdf Acesso em: 2 set. 2021.
http://conselho.saude.gov.br/resolucoes/... ).

Para verificar a avaliação discente sobre a aprendizagem no ensino remoto, solicitou-se primeiramente que os estudantes atribuíssem uma nota de 0 a 10 à qualidade geral do curso em formato remoto e presencial. Como os calouros tiveram apenas uma ou duas semanas de aulas em março de 2020 antes da suspensão das atividades presenciais, não é possível incluí-los nesta análise. Assim, optou-se por analisar a nota dada pelos calouros separadamente e apenas para a oferta em ADE. Considerando apenas os veteranos, o coeficiente de Pearson (r) entre as duas avaliações é de 0,119 (p = 0,02), o que revela praticamente a inexistência de associação entre as notas dadas para o curso presencial e no formato remoto. Em outros termos, quem avaliava o curso presencial com nota elevada não tende a fazer uma avaliação semelhante em relação ao ensino remoto.

Na Tabela 1, observa-se as distribuições de frequências das notas dadas pelos estudantes para a qualidade geral dos seus cursos em ambas as ofertas.

As notas atribuídas pelos veteranos aos cursos presenciais se concentraram em 9 (38%) e 10 (33%). Com o ensino remoto, as notas mais frequentes caíram para 6 (19%) e 7 (21%). A análise descritiva comparada mostra uma nota média de 8,9, com mediana em 9,0 e desvio padrão de 1,17 para a oferta presencial anterior à pandemia, enquanto esses valores para a oferta em ADE foram de 5,79, 6,0 e 2,13, respectivamente. Ou seja, a avaliação dos(as) veteranos(as) dos cursos com as ADE piorou e a dispersão nas notas atribuídas aumentou.

Em uma análise complementar, dos 125 estudantes (um terço do total) que avaliaram a qualidade geral dos seus cursos com nota 10 na oferta presencial, apenas 11 (9%) mantiveram essa avaliação, enquanto 22% deles reduziram suas notas para abaixo de 5, 34% deram notas 5 a 7 e 22% reduziram um pouco menos (para 8 ou 9) suas notas.

Por sua vez, a nota média dos calouros para a oferta em ADE foi 0,5 ponto maior (6,3), com menor desvio padrão (1,75) e a mesma mediana (6,0) em relação à avaliação dos veteranos. Não se observa, a priori, diferenças significativas entre calouros e veteranos em relação à qualidade dos cursos em ADE. Como as demais variáveis possuem foco exclusivo no ensino remoto, a análise será agregada para o conjunto dos estudantes, sem a perspectiva comparada entre veteranos e calouros.

Para complementar a avaliação com as notas, optou-se por variáveis qualitativas, mensuradas pela concordância dos respondentes com as seguintes afirmações: “a experiência com ADE foi melhor que o esperado”; “considero que me adaptei muito bem às atividades remotas” e “mesmo com as dificuldades, foi melhor retomar com as ADE do que perder o ano”. Utilizou-se uma escala Likert de 4 categorias, sem a opção intermediária, com o intuito de obter um posicionamento de concordância ou discordância, parcial ou total.

O Gráfico 1 mostra as porcentagens das respostas dadas em cada uma delas pelo conjunto da amostra. Nota-se que a discordância, total e parcial, aumenta na medida em que as afirmações estabelecem um padrão mais elevado. Quando questionados se a retomada em ADE foi melhor do que perder o ano, maioria dos estudantes concordaram total (32%) ou parcialmente (33%), enquanto 35% discordaram. Em relação à experiência em ADE ter sido melhor que o esperado, há uma divisão entre os estudantes: 55% discordaram, total (28%) ou parcialmente (27%), e 45% concordaram, parcial (34%) e totalmente (11%). Um percentual ainda menor (38%) concordou que se adaptou muito bem às atividades remotas, já 62% discordaram, total (34%) ou parcialmente (28%).

Gráfico 1
Avaliação discente dos cursos em ADE, por meio de variáveis qualitativas, estudantes dos cursos de ciências humanas da Unifesp, 2020 (N = 468

Tais dados evidenciam que as ADE são consideradas pelos estudantes como uma redução de danos, diante da impossibilidade das aulas presenciais e da ameaça de um atraso grande na integralização dos cursos. Todavia, as ADE não atenderam às expectativas da maioria e um grupo ainda menor considera que a adaptação tenha sido muito boa.

As demais informações obtidas no survey foram coletadas para tentar identificar os fatores pedagógicos, socioeconômicos e emocionais que podem explicar as diferenças na avaliação discente do ensino remoto. A Tabela 2 mostra a distribuição desses atributos na amostra, agrupados em quatro dimensões: 1) participação e interação durante as aulas; 2) saúde mental e capacidade de concentração; 3) disponibilidade de tempo; 4) condições materiais de estudo. Estão colocados os números de casos válidos, os percentuais válidos e as estatísticas descritivas para três variáveis quantitativas.

Na primeira dimensão, a autoavaliação dos estudantes indica que 40% consideraram boa ou ótima sua participação e 36% disseram que sempre sentem vergonha de participar das aulas. A interação com o professor foi considerada satisfatória por 55% e insatisfatória por 45%, dividindo bem as opiniões neste quesito. Esses fatores revelam algumas barreiras em relação ao ensino remoto; ainda assim, as aulas síncronas tiveram sua qualidade avaliada como boa ou ótima por mais de dois terços dos estudantes. Considerando que são esses encontros que proporcionam maior interação e participação no ensino remoto, a hipótese aqui a ser testada é que os estudantes que avaliaram positivamente a qualidade das aulas síncronas tiveram boa participação nas aulas, sentiram menos vergonha e interagiram satisfatoriamente com os professores fizeram uma avaliação melhor do que os estudantes em situação oposta. Segundo Martins e Ribeiro (2019MARTINS, Letícia M.; RIBEIRO, José Luiz D. Proposta de um modelo de avaliação do nível de engajamento do estudante da modalidade a distância. Avaliação, Campinas; Sorocaba, v. 24, n. 1, p. 8-25, mar. 2019. Disponível em: Disponível em: https://www.scielo.br/j/aval/a/h6BHwjD6qsHyjpKcsnsMSCj/?format=pdf⟨=pt Acesso em: 2 set. 2021.
https://www.scielo.br/j/aval/a/h6BHwjD6q... ), o engajamento está associado positivamente à satisfação com o curso, o desempenho e as chances de conclusão do curso, “particularmente na EAD essa interação é a essência da modalidade” (p. 10).

A dimensão da saúde mental é bastante crítica, pois a maioria dos estudantes relatou dificuldade de concentração (88%), aumento de stress (86%) e falta do convívio com colegas (87%). Portanto, a segunda hipótese é que a condição emocional seja um fator relevante para explicar as diferenças na avaliação discente das atividades remotas.

Outro problema está relacionado à disponibilidade de tempo. Cerca da metade dos estudantes trabalha. A adequação do conteúdo ao tempo de estudo foi considerada boa ou ótima por apenas 30% dos estudantes e o tempo médio dispendido com a realização das ADE superou 4 horas diárias. Em contrapartida, os estudantes economizaram o tempo de deslocamento até a universidade, pois o campus está localizado na periferia do município de Guarulhos e os problemas de trânsito e da qualidade do transporte público são bastante graves na região metropolitana de São Paulo. Cerca de 80% dependem do transporte público e o tempo médio de deslocamento é de aproximadamente 3 horas, somados os trajetos de ida e volta da universidade. A terceira hipótese a ser testada é que os estudantes trabalhadores, usuários de transporte público e que gastam mais tempo se deslocando até o campus tendem a ter uma avaliação melhor das atividades remotas que aqueles que só estudam ou que vivem próximo ao campus.

A última dimensão avalia as condições materiais de estudo: 81,4% revelaram que possuíam uma conexão à internet adequada, 65% tinham um computador de uso exclusivo e 62% disseram ter um espaço de estudo adequado em casa. Todos estes fatores estão relacionados com a renda familiar dos estudantes - em média, de R$ 1.346 per capita, mas com desigualdade significativa entre eles. Vale ressaltar que a Unifesp emprestou computadores e ofertou um auxílio para contratação de internet, além dos programas regulares de assistência estudantil, com o intuito de fornecer condições mais adequadas de estudo aos estudantes socialmente mais vulneráveis. Tais ações visam a dirimir o recrudescimento da disparidade social. Conforme apontado por Goudeau et al. (2021GOUDEAU, Sébastien et al. Why lockdown and distance learning during the COVID-19 pandemic are likely to increase the social class achievement gap. Nature Human Behaviour, United Kingdom, v. 5, 1273-281, 2021. Disponível em: Disponível em: https://www.nature.com/articles/s41562-021-01212-7.pdf . Acesso em: 2 set. 2021.
https://www.nature.com/articles/s41562-0... ), as práticas educacionais erguidas em meio ao uso das mídias digitais, em função do isolamento social no contexto pandêmico, têm aumentado a clivagem social, no que diz respeito ao acesso à internet e aos dispositivos e interfaces digitais, dentre outros fatores. A última hipótese é se melhores condições econômicas e materiais de estudo elevam a avaliação discente sobre o ensino remoto emergencial.

As quatro hipóteses serão testadas na seção seguinte. Até aqui, constatou-se queda na avaliação dos cursos no formato remoto, em relação à oferta presencial. Embora haja o reconhecimento de que o ensino remoto tenha sido a alternativa possível no contexto pandêmico, como forma de evitar maiores atrasos na formação dos estudantes, a maioria deles considerou que as ADE não atenderam às expectativas e relatou dificuldades de adaptação.

4 Análise dos modelos de regressão: quais fatores explicam diferentes avaliações sobre o ensino remoto emergencial?

Para analisar os determinantes da avaliação discente, foram construídos dois modelos distintos de regressão múltipla. De acordo com Lattin, Carroll e Green (2011LATTIN, James; CARROLL, J. Douglas; GREEN, Paul E. Análise de dados multivariados. São Paulo: Cengage Learning, 2011.), a análise de regressão é utilizada para explorar a relação entre um conjunto de variáveis independentes e uma única variável dependente, que será diferente em cada modelo.

No primeiro, utilizou-se a nota atribuída às ADE pelos estudantes, na escala de 0 a 10, correspondendo a um modelo de regressão linear. O segundo modelo é uma regressão logística, tendo como variável dependente a avaliação se “a experiência com ADE foi melhor que o esperado”, a qual foi transformada em uma variável dicotômica, separando, em dois grupos, aqueles que concordaram (total ou parcialmente) e dos que discordaram (parcial ou totalmente). A escolha por essa última variável é explicada por sua posição intermediária em relação às outras duas variáveis qualitativas, já que seu grau de concordância foi maior que a observada no item “considero que me adaptei muito bem às atividades remotas” e menor do que em relação à afirmação de que “mesmo com as dificuldades, foi melhor retomar com as ADE do que perder o ano”, conforme observado no Gráfico 1.

Primeiramente, foram realizadas regressões simples, com todas as variáveis independentes separadamente, as mesmas que constam na Tabela 2, a fim de verificar o efeito isolado de cada uma delas na avaliação discente sobre as ADE. Não obstante a análise comparada tenha revelado que não há diferença grande na avaliação de veteranos e calouros (Tabela 1), optou-se por incluir uma variável independente que identifique estes dois grupos nos dois modelos de regressão, com o intuito de verificar se o fato de ser ingressante em 2020 é estatisticamente significante para explicar as diferenças nas avaliações discentes.

Em seguida, foram construídos os dois modelos de regressão múltipla, os quais consideram a influência das variáveis independentes concomitantemente, com o objetivo de verificar os fatores determinantes da avaliação dos estudantes, quando esses estão controlados pelas demais covariáveis. Nestas análises multivariadas, todas as variáveis de interesse foram incluídas nos modelos múltiplos de regressão linear e logística. Optou-se pelo método de exclusão de variáveis não significativas através de stepwise backward, no qual apenas as variáveis significativas a 5% permanecem no modelo final. Para verificação de ajuste dos modelos foi utilizado o VIF (variance inflation factor), de modo a garantir que não houvesse multicolinearidade, complementada pela análise gráfica e numérica dos resíduos. Foi utilizado o software SPSS Versão 21.0 para a realização destas análises.

A Tabela 3 mostra os resultados das análises univariada e multivariada, cuja variável dependente é a nota atribuída pelos estudantes para a qualidade geral do curso em ADE.

Na análise univariada, nota-se que todas as variáveis relacionadas à interação e à participação, à saúde mental e às condições de estudo foram significativas (p<0,05), considerando o efeito isolado de cada uma na nota atribuída. A participação do estudante, sua capacidade de concentração, a interação satisfatória com o professor e a qualidade das aulas síncronas (espaço de maior interação e participação) são dimensões que influenciaram positivamente na avaliação discente. A vergonha, o aumento do stress e a falta da convivência com os colegas são fatores que reduzem a nota atribuída.

As variáveis da dimensão condições de estudo também foram significativas em seu efeito isolado, indicando que ter um computador para uso pessoal, conexão à internet e espaço adequados elevam a nota dada, enquanto a renda domiciliar per capita apresenta-se apenas como tendência (p<0,1), também positivamente. Na dimensão referente à disponibilidade de tempo, apenas a adequação do conteúdo está associada positivamente à nota atribuída. Deve-se considerar que esse fator também envolve aspectos pedagógicos - de planejamento de conteúdo, por exemplo - e não apenas fatores exógenos ao processo de ensino-aprendizagem. Em contraposição, trabalho, uso do transporte público, tempo de deslocamento e quantidade de horas dedicadas às ADE são fatores que não são capazes de explicar as diferenças entre as notas, nem quando são observados os efeitos destas variáveis isoladamente.

A análise multivariada, por sua vez, ressalta a relevância da interação nas aulas, da participação dos estudantes e da saúde mental como fatores determinantes da nota dada pelo estudante à qualidade do ensino remoto emergencial. O modelo final de regressão linear múltipla é estatisticamente significativo e pode ser descrito da seguinte forma: F (6, 433) = 55,26; p < 0,001; R² = 0,434. Isso significa que as variáveis independentes presentes no modelo são capazes de explicar 43,4% da variação nas notas atribuídas, com uma probabilidade menor que 1% de que as relações encontradas não sejam verdadeiras.

Considerando o efeito conjunto das variáveis, a qualidade das aulas síncronas é a variável com maior capacidade explicativa, contribuindo para um aumento médio de (β) 0,91 ponto na nota a cada nível a mais de satisfação, tendo como referência o menor valor. Outro previsor é a interação satisfatória com o professor, com aumento de (β) 0,69 ponto em comparação à avaliação de quem não conseguiu interagir adequadamente. Os estudantes que conseguem se concentrar bem nas aulas síncronas (sempre ou às vezes) atribuíram nota mais alta - em média, (β) 0,54 a mais - do que aqueles que disseram que nunca conseguem se concentrar, sendo o terceiro fator mais relevante. Em seguida, surge a participação nas aulas que aumenta a nota dada em (β) 0,29 ponto a cada nível maior de participação, enquanto a falta dos colegas e o aumento do stress são fatores que reduzem, em média, cerca de 0,5 ponto a avaliação discente da qualidade do curso em ADE, cujos coeficientes β são de -0,58 e -0,49, respectivamente. O valor da constante na equação é de 2,26.

Por sua vez, as condições materiais perderam sua significância quando seus efeitos estão controlados pelas demais variáveis. Isso significa que, mesmo com um computador exclusivo, espaço adequado e boa conexão à internet, a avaliação do curso não será melhor se o estudante não conseguir participar e interagir ou se ele não estiver concentrado ou com condições emocionais para seguir os estudos durante a pandemia. Por fim, conforme já indicado na análise univariada, nenhuma variável da dimensão disponibilidade de tempo foi capaz de influenciar na nota atribuída pelos estudantes.

Para confirmar essas evidências, utilizou-se também uma análise de regressão logística, cuja variável dependente é a avaliação de que a experiência com ADE foi melhor que o esperado ou não (dummy). Cerca de 45% concordaram e 55% discordaram (total ou parcialmente), dividindo a avaliação do corpo discente dos cursos analisados, conforme Gráfico 1. Trata-se de uma avaliação mais qualitativa e relativa à expectativa prévia que se tinha. Assim, quais fatores poderiam tornar essa experiência melhor que o esperado? Tais fatores estavam mais ausentes entre aqueles que não tiveram a mesma avaliação?

Para tornar a análise mais sofisticada e garantir melhor ajuste do modelo, optou-se por categorizar as cinco variáveis ordinais não-dicotômicas (participação nas aulas, qualidade das aulas síncronas, adequação do conteúdo ao tempo disponível, concentração nas e vergonha em participar), tendo como referência os menores valores das respectivas escalas. A Tabela 4 apresenta os resultados das análises univariada e multivariada deste segundo modelo, que serão interpretados pelos cálculos da razão de chances (OR, sigla em inglês de Odds Ratio).

Na análise univariada, todas as variáveis da dimensão participação e interação foram estatisticamente significativas (p<0,05), considerando as diferentes categorias. Apenas a vergonha em participar está associada negativamente, ou seja, quanto mais vergonha, menor a avaliação. Melhor avaliação das aulas síncronas, mais participação e interação satisfatória com o professor são fatores que aumentam as chances de uma avaliação mais positiva da experiência em ADE. Quanto às variáveis relacionadas à saúde mental, todas são estatisticamente significantes isoladamente. O aumento de stress, a falta da convivência com colegas e a dificuldade de concentração nas aulas são fatores que impedem uma avaliação melhor que a esperada.

Em relação à disponibilidade de tempo, apenas a adequação do conteúdo ao tempo disponível para as ADE foi significativa. Novamente, deve-se frisar que esta variável também guarda relação com o planejamento didático-pedagógico do ensino remoto. As demais variáveis desta dimensão são totalmente exógenas ao processo de ensino. Assim como no modelo anterior, elas não foram capazes de explicar as diferenças nas avaliações dos estudantes. Por fim, todas as variáveis das condições de estudo foram significativas nas análises univariadas, o que indica que as condições de estudo afetam a avaliação dos estudantes e ajudam a compreender as diferenças entre os que consideraram essa experiência melhor que a esperada ou não. Novamente, o fato de ser calouro não afetou essa avaliação.

Na análise multivariada, o modelo final de regressão logística múltipla foi bastante significativo (X² (8) = 178,65; p<0,00; R² Nagelkerke = 0,446), revelando uma capacidade explicativa bastante semelhante ao modelo analisado anteriormente. A qualidade das aulas síncronas é novamente a variável mais relevante. Se a avaliação foi boa neste item, a chance de a experiência ter sido melhor que o esperado é quase 9 vezes maior (OR = 8,99) do que quando a avaliação é ruim. Se a avaliação for ótima, esta chance passa a ser, em média, quase 25 maior (OR = 24,93).

Não houve diferença significativa entre aqueles que avaliaram a qualidade das aulas síncronas como ruim e regular. Considerar a interação com o professor satisfatória eleva mais de 3 vezes (OR = 3,35) a chance da experiência em ADE ter sido melhor que a esperada, em relação a um estudante que não conseguiu a mesma interação. Ter um computador de uso exclusivo elevou a chance média de avaliação da experiência ADE como melhor que a esperada em 167% (OR = 1,67). Por outro lado, o aumento do nível de stress reduz em quase 95% a chance desta experiência ter sido positiva (OR = 0,06). Esta chance aumenta cerca de 4 vezes se ao estudante consegue se concentrar bem, às vezes (OR = 4,43) ou sempre (OR = 3,96), em comparação com quem nunca se concentra bem na aula.

Assim como aconteceu no modelo anterior, algumas variáveis perderam significância estatística, quando controlada pelas demais na análise multivariada, a saber: autoavaliação da participação nas aulas, vergonha em participar dos encontros síncronos, sentir falta dos colegas, adequação do conteúdo ao tempo disponível, renda per capita, conexão e espaço adequados. Nenhuma variável da dimensão disponibilidade de tempo foi previsora no modelo de regressão logística múltipla, assim como ocorreu no modelo linear referente à nota atribuída ao curso em ADE.

Por fim, vale ressaltar que as semelhanças entre os dois modelos - tanto nos previsores significativos, como nas capacidades explicativas dos modelos - reforçam a consistência dos resultados obtidos nesta pesquisa.

Considerações finais

Com o objetivo de analisar a experiência discente no primeiro semestre letivo ofertado em ensino remoto emergencial (em decorrência da pandemia de Covid-19) nos cursos de ciências humanas da Unifesp, o presente estudo buscou responder as seguintes questões norteadoras: Como os estudantes avaliaram a aprendizagem neste formato? Quais fatores pedagógicos, socioeconômicos e emocionais explicam as diferenças na avaliação discente?

Os achados desta pesquisa sugerem que os cursos perderam qualidade no formato ADE (Atividades Domiciliares Emergenciais) em relação à oferta de ensino presencial, na avaliação dos estudantes. Em média, a nota atribuída pelos veteranos à qualidade geral do curso caiu de 8,9 para 5,8. A nota dos calouros para a oferta em ADE foi de 6,3. O ensino remoto foi considerado mais como uma redução de danos diante da impossibilidade das aulas presenciais e do risco de um atraso grande na integralização dos cursos (para 66%, o ensino remoto foi melhor do que perder o ano). Contudo, a oferta em ADE não atendeu às expectativas da maioria (55%) e menos estudantes ainda avaliaram que se adaptaram muito bem (apenas 34%), considerando aqueles que concordaram total ou parcialmente com essas afirmações.

O artigo procurou avançar nesta discussão, ao buscar compreender as diferenças na avaliação discente. Tendo como variáveis dependentes as notas atribuídas pelos estudantes (Modelo 1) e a avaliação de que ensino em ADE foi “melhor que o esperado” (Modelo 2), quais são os fatores determinantes para um melhor aproveitamento do ensino remoto emergencial, sob a ótica dos estudantes?

Das quatro hipóteses prévias testadas, duas foram confirmadas. A primeira é que a avaliação discente sobre a experiência em ADE é fortemente influência pelas possibilidades de participação e interação nas aulas. De fato, a avaliação foi mais positiva entre os estudantes que consideraram as aulas síncronas como boas ou ótimas e que conseguiram interagir satisfatoriamente com o professor. Esses foram os previsores mais importantes nos dois modelos. Complementarmente, a autoavaliação da participação dos estudantes nas aulas também teve associação positiva com as notas atribuídas no modelo 1. Tendo essa dimensão como a mais determinante da avaliação discente, é possível compreender melhor a forte queda da satisfação com os cursos, uma vez que as aulas presenciais proporcionam, sem dúvida, um ambiente de maior participação e interação, por facilitar o estabelecimento da interação dialógica ressaltada por Paulo Freire (2006FREIRE, Paulo. Extensão ou comunicação? 13. ed. São Paulo: Paz e Terra, 2006. ).

As aulas síncronas são as que mais se aproximam de uma sala de aula presencial, o que explica sua centralidade, em relação às interações assíncronas. Portanto, entende-se que tais atividades devem ser preservadas, sem redução dos encontros em tempo real, ainda que possa haver um ajuste na duração das aulas. Outros mecanismos podem ser mais bem explorados - como os fóruns de discussão, por exemplos - com o uso de ambientes virtuais de aprendizagem, a fim de “proporcionar uma interação mútua” entre estudantes e docentes, desde que haja engajamento e que a relação seja construída “de forma negociada e interdependente” (NUNES; PEREIRA; BRASILEIRO, 2018NUNES, Enedina B. L. L. P.; PEREIRA, Isabel C. A.; BRASILEIRO, Tânia S. A. A interação como indicador de qualidade na avaliação da educação a distância: um estudo de caso com docentes, tutores e discentes. Avaliação, Campinas, v. 23, n. 3, p. 869-887, nov. 2018. Disponível em: Disponível em: https://www.scielo.br/j/aval/a/4LVRSwQZwC9xqMczZ7gJh9j/?lang=pt&format=pdf . Acesso em: 2 set. 2021.
https://www.scielo.br/j/aval/a/4LVRSwQZw... ).

Sem dúvida, uma vantagem das ADE é a interação em tempo real com o professor responsável pela disciplina, sem a mediação de tutores, como ocorre nos cursos EAD, levando-se em consideração que a ausência do professor ensinando e guiando diretamente o aprendizado é, segundo Arieira et al. (2009ARIEIRA, Jailson de Oliveira et al. Avaliação do aprendizado via educação a distância: a visão dos discentes. Ensaio, Rio de Janeiro, v. 17, n. 63, p. 313-340, jun. 2009. Disponível em: Disponível em: https://www.scielo.br/j/ensaio/a/8C6fw53wJg7mggDSW775Tyd/?lang=pt&format=pdf Acesso em: 2 set. 2021.
https://www.scielo.br/j/ensaio/a/8C6fw53... ), a principal crítica dos estudantes desta modalidade. Por outro lado, a maior desvantagem é a frágil utilização dos recursos audiovisuais característicos da linguagem hipermídia (SANTAELLA, 2014SANTAELLA, Lúcia. Gêneros discursivos híbridos na era da hipermídia. Bakhtiniana: Revista de Estudos do Discurso, São Paulo, v. 9, p. 211-221, 2014. Disponível em: Disponível em: https://www.scielo.br/j/bak/a/Z96vv4RWJy4Qb8hghKmtvCL/?format=pdf⟨=pt . Acesso em: 2 set. 2021.
https://www.scielo.br/j/bak/a/Z96vv4RWJy... ), pois as aulas não contam com recursos de estúdio ou edição, que poderiam introduzir simulações e outros elementos gráficos ilustrativos, por exemplo. Qualquer eventual iniciativa neste sentido ficou exclusivamente a cargo do professor.

A segunda hipótese, referente à relação direta entre a saúde mental dos estudantes e a avaliação positiva dos cursos, também foi confirmada. Dificuldades de concentração e aumento de stress foram variáveis significativas nos dois modelos, afetando negativamente a avaliação discente dos cursos. Sentir falta dos colegas também reduziu a nota atribuída pelos estudantes (modelo 1). Sob o contexto da pandemia, salvaguardar a saúde mental é, sem dúvida, um enorme desafio, conforme revelam Faro et al. (2020FARO, André et al. COVID-19 e saúde mental: a emergência do cuidado. Estudos da Psicologia, Campinas, v. 37, p. 1-14, 2020. Disponível em: Disponível em: https://www.scielo.br/j/estpsi/a/dkxZ6QwHRPhZLsR3z8m7hvF/?lang=pt&format=pdf Acesso em: 2 set. 2021.
https://www.scielo.br/j/estpsi/a/dkxZ6Qw... ) e Vazquez et al. (2021VAZQUEZ, Daniel A. et al. Vida sem Escola e a saúde mental dos estudantes de escolas públicas durante a pandemia de Covid-19. Scielo Preprints, São Paulo, maio, 2021 Disponível em: Disponível em: https://preprints.scielo.org/index.php/scielo/preprint/view/2329/version/2467 Acesso em: 2 set. 2021.
https://preprints.scielo.org/index.php/s... ). Ampliar os serviços de apoio à saúde mental do estudante tornou-se imperativo, com efeitos positivos também no aproveitamento acadêmico e na avaliação discente sobre a qualidade geral dos cursos.

No tocante à terceira hipótese, esperava-se que a melhor avaliação das ADE fosse feita por estudantes trabalhadores, usuários de transporte público ou por aqueles que gastam mais tempo nos trajetos de ida e volta à universidade. Ou seja, o ônus do deslocamento tornaria estes estudantes mais receptivos ao ensino remoto. Contudo, tal hipótese deve ser rejeitada, pois todas estas variáveis não foram significantes estatisticamente, nem mesmo nas análises univariadas. Na dimensão disponibilidade de tempo, apenas a adequação do conteúdo ao tempo de estudo disponível teve relevância nos dois modelos simples de regressão, mas perderam significância quando controlada por outras variáveis independentes nas duas análises multivariadas.

Por fim, a quarta hipótese foi apenas parcialmente confirmada. O nível de renda per capita e as condições materiais mais adequadas de estudo foram relevantes para explicar as diferenças nas avaliações discentes apenas quando analisadas isoladamente, ambas com associação positiva. Quando outras variáveis estão atuando, essa dimensão perde sua significância nas duas análises multivariadas, exceto o uso exclusivo do computador, que aumenta a chance de que a experiência em ADE tenha sido melhor que a esperada (modelo 2), ainda que com um peso bastante inferior às variáveis relacionadas à interação e à saúde mental. Em resumo, as condições materiais adequadas de estudo parecem mais um pré-requisito do que um fator determinante da avaliação discente, sendo condição necessária, mas não suficiente para um melhor aprendizado com o ensino remoto.

Vale ressaltar que o survey foi aplicado no final do primeiro semestre letivo no formato ADE, após quase 5 meses de suspensão das aulas presenciais, antes do fechamento das notas semestrais, a fim de que o foco da avaliação discente fosse exclusivamente sobre o processo de ensino-aprendizagem, eliminando a influência do desempenho acadêmico nesse período. A depender da taxa de aprovação obtida, da adaptação após mais três semestres em ADE e de um eventual aperfeiçoamento metodológico da oferta de ensino remoto, esta primeira impressão permanecerá ou será alterada? Em um futuro próximo, pretende-se realizar um levantamento retrospectivo sobre a avaliação da experiência do ensino remoto emergencial, após o retorno às aulas presenciais, quando novas bases de comparação serão estabelecidas.

Por enquanto, espera-se que os resultados apresentados neste artigo contribuam para reforçar alguns aspectos, a saber: a) a importância da interação nas aulas (presenciais ou remotas); b) a centralidade da relação professor-aluno no processo de ensino e aprendizagem; c) a pertinência da convivência entre os colegas no processo educativo, ainda que remotamente; d) a necessidade de promoção da saúde mental dos estudantes, durante e após a pandemia; e) a relevância capital de se garantir condições materiais adequadas de estudo como pré-requisito, para que o ensino remoto emergencial possa se consubstanciar como um fator contribuinte à “educação de qualidade social” (CONAE, 2018CONAE - Conferência Nacional de Educação. Documento referência. Brasília, DF: MEC, 2018. Disponível em: Disponível em: http://conae.mec.gov.br/images/pdf/doc_referencia_conae_2018.pdf Acesso em: 2 set. 2021.
http://conae.mec.gov.br/images/pdf/doc_r... ).

Referências

Datas de Publicação

Histórico