KPIs de aprendizagem que importam: quando instituições medem o treinamento pelo que é mais fácil, e não pelo que revela aprendizagem

Há indicadores que tranquilizam. E há indicadores que explicam.

Taxa de conclusão de módulos, nota média em avaliações somativas, índice de satisfação dos participantes e tempo médio de permanência em plataformas educacionais são dados úteis. Eles ajudam a acompanhar adesão, organização do percurso e percepção imediata dos participantes. O problema começa quando esses dados passam a ocupar o lugar da pergunta mais importante: a aprendizagem produzida pelo programa alterou a prática do aprendiz?

Essa pergunta é especialmente relevante em programas corporativos, formações de educadores e iniciativas vinculadas a políticas públicas. Nesses contextos, formar não significa apenas oferecer conteúdo, registrar presença ou emitir certificado. Significa criar condições para que o aprendiz compreenda, aplique, transfira e sustente novas formas de atuação.

A literatura sobre avaliação de treinamento discute essa distinção há décadas. Donald Kirkpatrick, em textos publicados originalmente no fim dos anos 1950 e posteriormente sistematizados em obra de referência, propôs um modelo de quatro níveis para avaliar programas de treinamento. A contribuição do modelo não está apenas em organizar indicadores. Está em mostrar que satisfação, aprendizagem imediata, mudança de comportamento e resultado institucional são dimensões diferentes, embora frequentemente apareçam misturadas nos relatórios.

O modelo de quatro níveis de Kirkpatrick

O modelo de Kirkpatrick organiza a avaliação de programas de treinamento em quatro níveis hierarquicamente distintos.

Nível 1 — Reação. Mede como o participante avaliou subjetivamente a experiência: se considerou o conteúdo relevante, se percebeu o instrutor como preparado, se achou a plataforma adequada, se sentiu que o programa valeu o tempo investido. É um indicador importante, sobretudo para ajustes de experiência, mas não comprova aprendizagem.

Nível 2 — Aprendizagem. Mede o que o participante compreendeu, reteve ou demonstrou ao final do programa. Pode envolver testes, atividades práticas, produções orientadas, estudos de caso ou avaliações pré e pós-formação. Esse nível aproxima a avaliação do campo da aprendizagem, mas ainda não responde, sozinho, se o conhecimento aprendido será usado em situação real.

Nível 3 — Comportamento. Mede a transferência da aprendizagem para a prática profissional. Aqui, a pergunta deixa de ser “o participante sabe?” e passa a ser “o participante faz de modo diferente em seu contexto de atuação?”. Esse deslocamento muda a natureza da avaliação, porque exige observar prática, rotina, tomada de decisão e persistência do comportamento ao longo do tempo.

Nível 4 — Resultado. Mede o impacto da mudança de prática nos resultados organizacionais ou educacionais. Em uma empresa, isso pode aparecer na redução de erros, melhoria de produtividade, aumento de qualidade ou diminuição de incidentes. Na formação de professores, pode envolver indicadores vinculados à prática pedagógica e, quando metodologicamente possível, evidências de melhoria na aprendizagem dos estudantes.

Os níveis 1 e 2 não são irrelevantes. Eles apenas não devem ser tratados como prova final de efetividade. Um programa pode ser bem avaliado pelos participantes e ainda assim não produzir mudança sustentada na prática. Também pode gerar bons resultados em testes imediatos sem que esse desempenho se converta em transferência para o trabalho, fenômeno amplamente discutido na literatura de transferência de treinamento, especialmente a partir de Baldwin e Ford (1988).

Por que tantas avaliações param cedo demais

A concentração da avaliação nos níveis mais imediatos costuma ter razões práticas. Reação e aprendizagem imediata são mais simples de medir, exigem menos tempo de acompanhamento e cabem com facilidade em painéis executivos. Além disso, produzem respostas rápidas para instituições que precisam prestar contas sobre alcance, participação e satisfação.

Essa facilidade, porém, tem um custo metodológico. Quando a instituição mede apenas aquilo que é mais simples de coletar, corre o risco de aprovar, repetir e ampliar programas sem saber se eles modificaram a prática dos participantes.

Em formação corporativa, isso pode significar colaboradores certificados que continuam operando da mesma maneira. Em formação continuada de educadores, pode significar professores que completam horas de curso, avaliam positivamente a experiência, mas não incorporam novas estratégias ao planejamento, à mediação em sala ou à análise das dificuldades dos estudantes.

Essa constatação não desqualifica os profissionais, os formadores ou as instituições. Ao contrário: permite melhorar o projeto educacional com mais honestidade. Sem indicadores de transferência, uma organização pode até saber que o curso aconteceu. Dificilmente saberá se a formação cumpriu sua função.

O critério da transcendência como referência avaliativa

A obra de Reuven Feuerstein oferece uma contribuição importante para esse debate por meio do critério de transcendência, um dos elementos centrais da Experiência de Aprendizagem Mediada. Em termos educacionais, a transcendência indica que uma aprendizagem não deve permanecer presa à situação exata em que foi ensinada. Ela precisa ser mobilizada em novas situações, com variações, exigências e problemas não idênticos aos trabalhados no percurso formativo.

Esse critério é particularmente útil para pensar avaliação. Se o aprendiz só consegue aplicar o conteúdo em exercícios muito semelhantes aos exemplos apresentados, há indício de aprendizagem localizada. Quando consegue reconhecer a lógica aprendida em outro contexto, adaptar o procedimento e justificar sua decisão, temos uma evidência mais forte de aprendizagem transferível.

Nesse ponto, a transcendência dialoga diretamente com o nível 3 de Kirkpatrick. Ambos deslocam a avaliação da exposição ao conteúdo para a mudança observável de atuação. A diferença é que Feuerstein permite qualificar melhor o tipo de transferência desejada: não apenas repetir o aprendido, mas ampliar seu uso em situações novas.

Uma arquitetura de KPIs orientada à aprendizagem aplicada

Uma avaliação mais rigorosa não precisa ser complexa a ponto de se tornar inviável. Precisa ser desenhada desde o início do programa. Indicadores definidos apenas ao final tendem a medir o que sobrou disponível, não necessariamente o que deveria ter sido produzido.

Uma arquitetura consistente de KPIs pode ser organizada em cinco frentes.

Definição de indicadores antes da concepção do programa. Antes de desenhar conteúdos, atividades e trilhas, a instituição precisa responder: qual mudança de prática esperamos observar? Em qual prazo? Por quais evidências? Essa definição orienta o desenho instrucional e evita que a avaliação apareça como etapa burocrática ao final da formação.

Diagnóstico do ponto de partida. Avaliar aprendizagem exige saber de onde o aprendiz partiu. Esse diagnóstico não deve se limitar ao conhecimento declarativo sobre o tema. Em programas de formação profissional, importa observar como o participante atua atualmente diante de situações reais: que decisões toma, que erros se repetem, que critérios utiliza e que dificuldades aparecem em sua prática.

Avaliação imediata de aprendizagem. Ao final do percurso, é necessário verificar se o participante compreendeu os conceitos, procedimentos e critérios trabalhados. Essa avaliação pode usar testes, estudos de caso, produções aplicadas, simulações ou resolução de problemas. O ponto central é evitar que a nota se reduza à memorização de conteúdo sem relação com a atuação profissional.

Avaliação de transferência em momentos posteriores. A aprendizagem aplicada precisa ser observada depois que o participante retorna ao seu contexto real. Acompanhamentos em 30, 60 ou 90 dias podem revelar se houve mudança de prática, se ela persistiu e se apareceu em situações diferentes daquelas trabalhadas na formação. Esse é um dos pontos em que a avaliação se aproxima de fato da efetividade.

Avaliação de impacto institucional. Em horizonte mais amplo, a instituição deve investigar se a mudança de prática produziu efeito sobre indicadores estratégicos. Em empresas, isso pode envolver qualidade, produtividade, segurança, atendimento ou redução de retrabalho. Em formação de educadores, pode envolver evidências de mudança didática, melhoria no acompanhamento dos estudantes e indicadores de aprendizagem, sempre com o cuidado metodológico necessário para não atribuir ao curso efeitos que dependem de múltiplas variáveis.

Aplicação em contextos corporativos, educacionais e públicos

A arquitetura de KPIs precisa respeitar o contexto. O princípio é o mesmo, mas os indicadores variam.

Em programas corporativos, indicadores de transferência podem envolver aplicação correta de procedimentos, redução de erros operacionais, melhoria na tomada de decisão, uso adequado de ferramentas, qualidade na execução de processos ou evidências observáveis de autonomia profissional. Indicadores de impacto podem envolver redução de custos, produtividade, qualidade, segurança ou satisfação de clientes, desde que haja relação plausível entre o programa formativo e o indicador analisado.

Na formação continuada de educadores, os indicadores de transferência exigem uma leitura mais cuidadosa. Podem envolver mudança no planejamento de aula, ampliação do repertório didático, uso de estratégias de mediação, adaptação de atividades para diferentes perfis de estudantes, qualidade das intervenções pedagógicas e capacidade de analisar evidências de aprendizagem. Indicadores de impacto podem incluir resultados dos estudantes, mas sempre considerando que a aprendizagem escolar depende de muitos fatores além da formação docente.

Em políticas públicas educacionais, como iniciativas vinculadas ao Compromisso Nacional Criança Alfabetizada, a avaliação precisa combinar escala e profundidade. Não basta contar participantes formados. É necessário acompanhar se a formação altera práticas nas redes, se chega à sala de aula, se produz melhoria observável na gestão pedagógica e se contribui para o direito à alfabetização, finalidade expressa no próprio desenho da política pública.

Plataformas educacionais e avaliação rigorosa

Plataformas educacionais bem desenhadas podem contribuir de modo importante para uma avaliação mais robusta. Para isso, precisam ser concebidas como ambientes de aprendizagem e de coleta de evidências, não apenas como repositórios de conteúdo.

Quando uma plataforma registra apenas conclusão, tempo de acesso e nota em questionários, ela oferece informações úteis, mas limitadas. Esses dados mostram participação e desempenho imediato. Não mostram, por si mesmos, mudança de prática.

Uma plataforma educacional orientada à aprendizagem aplicada pode integrar atividades de resolução de problemas, registros reflexivos, projetos aplicados, evidências de implementação, devolutivas de tutores, observação por pares, autoavaliação estruturada e acompanhamento posterior. Esses instrumentos aproximam a avaliação dos níveis 3 e 4 de Kirkpatrick, especialmente quando articulados a indicadores institucionais previamente definidos.

Essa é uma diferença importante. Uma plataforma que apenas organiza conteúdo ajuda a administrar oferta formativa. Uma plataforma que coleta evidências de aplicação ajuda a gerir aprendizagem.

O cuidado ético na leitura dos dados

Avaliar melhor não significa responsabilizar individualmente o aprendiz por todo resultado que não aparece. A ausência de transferência pode indicar muitos problemas: desenho instrucional frágil, baixa aderência ao contexto, falta de apoio da liderança, ausência de tempo para aplicar o que foi aprendido, cultura institucional pouco favorável à mudança ou instrumentos avaliativos mal definidos.

Por isso, KPIs de aprendizagem não devem funcionar como mecanismo de punição. Devem orientar decisão. Um bom indicador não serve apenas para provar sucesso; serve também para revelar onde o programa precisa ser redesenhado.

Essa distinção importa. Em educação corporativa e em políticas públicas, há uma tendência de transformar números em justificativa. O uso mais maduro dos dados é outro: compreender, ajustar e sustentar aprendizagem real.

Conclusão: medir para aprender sobre a própria formação

A pergunta que deveria orientar a avaliação de um programa formativo não é apenas quantas pessoas concluíram, quantas gostaram ou quantas acertaram uma prova. Essas informações têm valor, mas ocupam apenas uma parte do quadro.

A pergunta mais exigente é: o que mudou na prática do aprendiz depois da formação?

Quando essa pergunta entra no centro da avaliação, os KPIs deixam de ser ornamento de relatório e passam a orientar o próprio desenho do programa. Conteúdo, atividades, mediação, plataforma e acompanhamento posterior começam a responder ao mesmo critério: produzir aprendizagem aplicável, transferível e sustentável.

Essa é a arquitetura avaliativa defendida pelo Instituto Olam em seus projetos de tecnologia educacional, formação corporativa e formação de educadores. A avaliação não aparece ao final como prestação de contas. Ela nasce junto com o desenho da aprendizagem.

---

Referências

BALDWIN, T. T.; FORD, J. K. Transfer of training: a review and directions for future research. Personnel Psychology, v. 41, n. 1, p. 63-105, 1988. DOI: 10.1111/j.1744-6570.1988.tb00632.x.

KIRKPATRICK, D. L. Techniques for evaluating training programs: Part 1 — Reaction. Journal of the American Society of Training Directors, v. 13, n. 11, p. 3-9, 1959.

KIRKPATRICK, D. L.; KIRKPATRICK, J. D. Evaluating Training Programs: The Four Levels. 3. ed. San Francisco: Berrett-Koehler, 2006.

FEUERSTEIN, R.; FEUERSTEIN, R. S.; FALIK, L. H. Beyond Smarter: Mediated Learning and the Brain's Capacity for Change. New York: Teachers College Press, 2010.

PHILLIPS, J. J.; PHILLIPS, P. P. Handbook of Training Evaluation and Measurement Methods. 4. ed. London: Routledge, 2016. DOI: 10.4324/9781315757230.

GUSKEY, T. R. Evaluating Professional Development. Thousand Oaks: Corwin Press, 2000.

BRASIL. Presidência da República. Decreto nº 11.556, de 12 de junho de 2023. Institui o Compromisso Nacional Criança Alfabetizada. Brasília, 2023.

---

Olam Review é a publicação editorial do Instituto Olam de Tecnologia Educacional. Artigos com fundamentação científica para gestores de T&D, profissionais da educação corporativa, formadores de educadores e líderes que tomam decisões baseadas em evidências.