As informações e opiniões formadas neste blog são de responsabilidade única do autor.

Avaliação, Autoavaliação, Credenciamento, Acreditação e Rankings

Roberto Lobo

10 de janeiro de 2020 | 16h43

Avaliação, Autoavaliação, Credenciamento, Acreditação E Rankings 

Roberto Lobo                                            10 de janeiro de 2020

 

“If you cannot measure it, you cannot improve it”, William Thomson, Lord Kelvin (1824-1907)

Quando vamos iniciar um trabalho em uma Instituição de Ensino Superior – IES, quando atuamos em consultorias institucionais, costumamos brincar com os gestores dizendo que quando os visitávamos, encontrávamos dois documentos belamente encapados em sua estante: um de capa vermelha onde se lia: “Autoavaliação Institucional” e outro encapado em azul, o “Planejamento Estratégico Institucional”. Ambos cobertos de poeira e sem nenhuma anotação – nunca foram utilizados para orientar ações concretas.

Essa cena, embora irreal, simbolizava o que pretendíamos ressaltar, o fato de que ambos os documentos mencionados consumiram tempo e recursos das IES, mas não são, quase nunca, utilizados pelos gestores como um guia para definir prioridades, embora para isso devessem ser concebidos.

Esses dois documentos são, no entanto, essenciais para uma boa gestão não só de instituições de ensino, mas em qualquer organização. Com as mudanças rápidas características de nossos tempos atuais, esses textos precisam incorporar mais flexibilidade e uma adequação permanente à realidade mutante para serem efetivamente úteis, mas ainda que as avaliações tenham necessariamente que seguir uma nova dinâmica, elas ainda são importantes guias de ações porque indicam sucessos e insucessos institucionais e mostram onde agir, gerando novas estratégias, que devem ser também e necessariamente flexíveis.

Mesmo as ágeis startups exigem análises de crescimento baseadas em métricas, mensuração do sucesso de cada etapa de crescimento e uma avaliação realista para definir o caminho escolhido e, como consequência, definir se a empresa segue na mesma direção ou se usa o patrimônio do conhecimento adquirido para fazer um “pivot”, como dizem os estudiosos deste setor, para “dar a volta por cima” e investir em uma nova linha de atuação.

Avaliações que incorporem cenários externos podem indicar novas estratégias para a introdução das inovações necessárias para a rápida transformação das organizações e a ocupação de espaços inimagináveis em passado recente.

Autoavaliação e planejamento estratégico andam juntos: a primeira alimentando o segundo que, por sua vez, serve de balizamento para uma retomada da avaliação que vai procurar identificar que resultados desejados no planejamento foram alcançados, ou não e por quê. Ambos são documentos internos de uma organização e devem ser públicos, com restrições, se algumas das ações propostas chegarem a detalhes cujo conhecimento por outras instituições pode prejudicar o alcance das mesmas.

A autoavaliação ou avaliação interna pode ser realizada com a colaboração de especialistas externos, mas sendo a iniciativa interna e que será utilizada internamente pela IES ela não pode ser considerada uma avaliação externa. Ela é um documento crítico, embora construtivo e serve de base para a atuação futura da IES.

Já a avaliação externa tem outro propósito. Ela geralmente é utilizada por agências ou organismos externos de controle, ou financiamento. Neste contexto está o conceito de acreditação, ou de credenciamento.

Enquanto as avaliações internas devem se basear em confrontar resultados obtidos com os resultados esperados, constantes dos planejamentos institucionais, as avaliações externas se baseiam em parâmetros externos definidos pela organização avaliadora.

Diferentemente dos rankings, as avaliações externas para fins de credenciamento ou acreditação são essencialmente análises de suficiência. Há uma resposta do tipo sim ou não e, talvez, alguns aconselhamentos, mas o objetivo é saber se a instituição está entregando o que promete e se o que promete é compatível com o que se espera dela.

Há um universo de diferenças entre os dois formatos, ainda que, em muitas metodologias de avaliação, a avaliação externa utilize-se da autoavaliação e do planejamento institucional como subsídios para suas análises.

Entretanto, quando a avaliação externa tem seus próprios indicadores e parâmetros ela tende a forçar uma uniformização de comportamentos (o uso do cachimbo entorta a boca), retirando do sistema um importante incentivo à criatividade e à busca de novos espaços de atuação.  Mais do que isso, avaliações padronizada e comparativa não contempla o que seria o portfolio institucional.

É também o caso dos rankings onde as universidades são classificadas com base em porcentagens do que são considerados os indicadores mais importantes da atividade acadêmica.

Para dar um exemplo simples vamos imaginar que um ranking ou avaliação externa atribua 40% do conceito da IES para a produção científica relevante, 20% para o desempenho dos alunos em exames nacionais, 20% para empregabilidade, 10% para patentes/impacto tecnológico e 10% para atividades de extensão. Pode ser também incluído o número de professores premiados, número de trabalhos com colaboração internacional, número de professores doutores em tempo integral, teses orientadas, ações comunitárias, etc.

A questão a ser respondida é: por que esses indicadores e essas porcentagens? Nos casos dos rankings tipo Xangai eles querem definir o que seria uma aproximação, segundo eles, ao conceito de universidades de nível mundial, onde a pesquisa e a qualidade científica do corpo docente prevalecem.

As universidades que habitam o ideário da maioria dos rankings (e mesmo dos processos avaliativos governamentais no Brasil) são sempre acompanhadas de um fluxo elevado de recursos indisponível para a maioria das IES fora dos países mais desenvolvidos.  Ainda assim, servem de parâmetro para a finalidade específica para a qual foram criados e talvez sejam esses parâmetros que permitem mais facilmente comparações internacionais. Os pesos dos indicadores são retirados do que se conhece das universidades que já eram consideradas líderes e, naturalmente, ao final do trabalho de classificação são elas mesmas a ocupar as primeiras posições. Nenhuma surpresa aí.

No entanto para a definição das políticas nacionais ou regionais de ensino superior esta forma de avaliar as instituições não tem maior validade. Nenhum sistema de Ensino superior vive somente de universidades de classe mundial, nem de universidades cuja pesquisa seja seu primeiro e primordial objetivo.

A riqueza dos diferentes campos de atuação de um sistema universitário de nível nacional se opõe a uma avaliação tipo ranking. Pior ainda se os critérios de avaliação misturam e somam insumos com resultados, como ocorre, por exemplo, no CPC do INEP, e em outros rankings organizados pela imprensa.

Como aperfeiçoar a avaliação externa baseada em rankings? Como utilizar a avaliação externa, baseada em indicadores para construir uma métrica que possa valorizar as qualidades das IES e verificar se elas estão efetivamente cumprindo o que elas propuseram em suas metas aprovadas em conjunto com os órgãos superiores: ministérios, secretarias de educação, mantenedoras, etc.

Uma forma mais interessante de avaliar atividades complexas, como a universitária, é atuar sobre portfólios, como descrito no livro “Developing a Compreensive Faculty Evaluation System”, de R. Arreola, onde o autor, entre outras propostas, sugere a utilização de portfólios para avaliar docentes universitários.

Para explicar o sistema resumidamente, o modelo de avaliação propõe que o docente periodicamente decida, juntamente com o departamento, seu portfolio, isto é, em que atividades ele se julga mais útil e competente e chega a um acordo com a chefia sobre os pesos relativos, dentro de limites estabelecidos pelo departamento (e no planejamento superior para o conjunto da IES), que estas atividades terão em sua avaliação.

Um exemplo simples seria um departamento que estabelecesse os seguintes limites:

– Para o ensino: 30% a 50%

– Para a pesquisa: 20% a 60%

– Para a extensão: 5% a 40%

– Para a administração, participação em colegiados, etc: 5% a 10%.

O total tem que somar 100%.

Um professor dedicado ao ensino e confiante no seu desempenho como professor e nem tanto na pesquisa, poderia escolher:

– Para o ensino: 50%

– Para a pesquisa: 30%

– Para a extensão: 15%

– Outras atividades: 5%.

Este professor se bem avaliado no ensino poderia ter uma avaliação global semelhante a um professor que priorizasse a pesquisa e fosse bem avaliado neste campo (por exemplo: 30%, 60%, 5%, 5%).

Ao mesmo tempo, não só se define os pesos de cada atividade, mas o valor mínimo esperado na avaliação desta mesma atividade. Um professor não pode ter uma avaliação demasiadamente baixa nas atividades consideradas importantes pela IES, ou pelo departamento. Há um mínimo de suficiência por item e outro no global ponderado. Comparando com o ensino fundamental, é aprovar cada disciplina com nota 5 e exigir uma média global 7.

A mesma sistemática poderia ser adotada para avaliar externamente as IES (e também ser utilizada na construção da autoavaliação) para efeito de credenciamento ou acreditação. Isso certamente aproximaria os conceitos obtidos das missões diferenciadas que obviamente as IES abraçam quando são criadas e ao longo de seu desenvolvimento.

Nessa proposta de atuação, a IES procura se situar dentro dos indicadores gerais oferecidos pelo órgão de credenciamento, acreditação, ou de financiamento da IES, que ao concordar passa avaliar a IES segundo a ponderação combinada.

A partir de um valor mínimo global é que se estabelece o conceito da IES, seu credenciamento ou necessidades de reformulações. (Testei esta metodologia com universidades brasileiras, com indicadores de desempenho na graduação, produção científica por doutor, dissertações e teses orientadas por doutor e impacto tecnológico das pesquisas realizadas. Otimizei as ponderações da forma mais favorável possível para cada IES entre os quatro indicadores dentro de faixas como as sugeridas acima, com resultados interessantes que estou desenvolvendo).

Um problema a ser enfrentado no Brasil é o fato de que o mesmo órgão que cria e sustenta as instituições públicas é o mesmo que as avalia ou credencia.

Segundo o que foi apresentado aqui, nem a autoavaliação nem os rankings servem para credenciamento ou acreditação, pois esses, como já disse, não estabelecem critérios de suficiência.

As avaliações externas brasileiras atuais padecem de falta do portfólio (ou do respeito às diferentes missões institucionais) e pelo fato dos critérios de suficiência serem atualmente basicamente relativos.

Apenas para não deixar de tocar no assunto, acredito que o mesmo deveria ser feito em relação à avaliação dos estudantes: a existência de critérios de suficiência nos exames governamentais.

Não acho conveniente que o governo seja ele próprio o acreditador do sistema público, pois não é saudável que seja o único avaliador das suas instituições, da mesma forma que não pode ser delegado aos mantenedores das instituições privadas o direito de acreditá-las sem uma visão externa altamente qualificada que atenda aos índices de suficiência estabelecidos pelos órgãos reguladores.

Além disso, órgãos de acreditação devem ser altamente técnicos e independentes, para não sofrerem pressões políticas ou empresariais de interessados diretos.

O ideal seria que os órgãos governamentais e as associações de mantenedores confiassem em uma organização de alto nível e isenta para ajudar o Brasil a racionalizar mais os investimentos e as regulações referentes ao ensino superior.

 

Comentários

Os comentários são exclusivos para assinantes do Estadão.

Tendências: