Différentes données sont collectées lors des évaluations de formation. C’est souvent une problématique évoquée par nos clients : faire des évaluations est une nécessité et un besoin, mais certaines entreprises sont réticentes à l’idée de devoir traiter une quantité importante de données et de pouvoir les exploiter. A juste titre car il est vrai que l’objectif n’est pas de faire des évaluations mais de traiter les données issues de ces évaluation de formation, les interpréter et de prendre des décisions (« actions correctives » dans les systèmes qualité). Les évaluations de formation sont destinées à améliorer votre système de formation et prouver à vos commanditaires l’impact des formations sur votre organisation ou celle de vos clients. Pour cela, même si des outils comme Formaeva traitent automatiquement vos données, il faut savoir d’une part quels éléments sont collectés lors des évaluations de formation et d’autre part comment les exploiter. C’est ce que nous allons voir dans cet article.
Quelles sont les données recueillies lors de l’évaluation ?
La présence
Même si cette donnée n’est pas officielle, la recueillir va vous permettre d’avoir une autre source que la feuille de présence. De plus à l’aide d’un outil comme Formaeva, quand une personne se déclare absente, non seulement elle sort des envois et relances des questionnaires mais elle doit également remplir un formulaire spécifique lui demandant de donner la raison de son absence. Une source riche d’enseignement pour les universités d’entreprises et pour les clients des organismes de formations. En effet, parfois l’absence traduit un manque d’information du stagiaire, un problème de pertinence ou encore de management. Une absence non prévue est systématiquement à explorer pour en comprendre les raisons.
Le taux de retour
Ah le fameux taux de retour… un indicateur qui fait couler beaucoup d’encre. Mais est-il vraiment important ?
A mon avis le taux de retour n’est pas un indicateur, c’est un moyen. Il ne vous permettra jamais de mesurer la formation au niveau qualité ou efficacité. En revanche c’est un outil important au service de votre analyse statistique, il va influer sur le degré de confiance.
Un taux de retour est donc nécessaire pour interpréter les résultats, mais il ne faut pas oublier que nous recherchons en évaluation de formation des retours de qualité au-delà de la quantité. Obliger ou presque les participants à répondre ne vous rendra certainement pas service. Et, nous le voyons dans les sondages, la taille de l’échantillon peut être faible pour malgré tout obtenir des résultats proches de la réalité. Si nous voulions valider toutes les évaluations de formation, il faudrait faire un test statistique à chaque fois et ce test dépend du nombre de personnes interrogées. Seulement en évaluation de formation, une non réponse est une réponse en soit : si le stagiaire n’a pas répondu c’est qu’il trouve que ce n’est pas utile de le faire…
De plus, vous n’êtes pas démunis face aux taux de retour, il existe des outils et des méthodes pour obtenir des taux suffisants pour interpréter au mieux vous résultats et vous conforter dans l’analyse et la prise de décision. Nous sommes à votre disposition pour en parler.
Les scores par question
Il existe 2 types de questions dans les formulaires d’évaluation de formation, les questions fermées et les questions ouvertes. Nous reviendrons sur les questions ouvertes un peu plus loin dans cet article. Pour les questions fermées, afin de les analyser au mieux, il faut utiliser des questions à échelles. Ces questions permettent d’avoir un choix quantifié donc de traduire les réponses en score, car chaque réponse correspond à un chiffre, avec tous les traitements statistiques qui y sont liés.
Avec Formaeva nous utilisons la méthodologie de Kirkpatrick, grâce aux questions scorées, vous pouvez établir des notes par question mais aussi par niveau. Et pour compléter cette analyse, nous donnons aussi la possibilité à nos clients de définir des sous niveaux.
Voici en exemple un extrait de rapport :
Grace aux questions à échelle scorées, l’analyse peut donc s’automatiser. A ce sujet, n’hésitez pas à utiliser des questions à échelles impaires, c’est-à-dire avec un score neutre. Nous en avons fait l’étude, le score neutre n’est pas le plus choisi et cela évite de pousser le stagiaire à choisir entre une réponse positive ou négative même s’il est neutre.
Les verbatims
Que ce soit sur des réponses ouvertes ou sur des commentaires, vos stagiaires, surtout avec un outil d’évaluation, vous font des retours écrits, ouverts qui sont toujours riches d’enseignement. Si vous avez de la volumétrie, une analyse sémantique avec IA est réalisable. En tout cas, les commentaires sont un puissant éclairage sur un score et vous devriez les analyser notamment quand un indicateur qualité est dépassé.
L’exploitation des résultats
Si on compte 10 stagiaires par session et un protocole d’évaluation complet (pré-formation, à chaud, à froid, stagiaire, formateur, manager) ce sont 7 questionnaires qui sont envoyés soit environ 70 questions répondues par session…. A multiplier par le nombre de sessions. Autant dire que vous devez prévoir un outil d’analyse 😉.
Vous avez, bien entendu, la possibilité de traiter tout ça sur Excel, de faire des tableaux croisés dynamiques et de trier les données pour les représenter sous forme de graphique. Non, sérieusement, il faut un autre traitement des données.
Les outils d’évaluation vous le proposent systématiquement. Chez Formaeva, nous optimisons le traitement des données de 3 façons :
- Éditions automatiques de rapports de sessions.
- Envoie des rapports aux destinataires paramétrés.
- Analyse intégrée aux rapports avec les données par niveau, sous-niveaux et questions ainsi que les axes de progrès et les points forts.
L’analyse des données vous arrive tout droit dans votre boite mail le lendemain de la clôture des évaluations.
Au-delà des rapports et si votre temps est compté, un système d’alerte doit être mis en place pour vous informer du dépassement de certains critères. Ces critères doivent correspondre à votre système d’évaluation des formations et aux normes qualité que vous appliquez.
Si les rapports de sessions sont en soi une source suffisante d’analyse de données, vous pouvez aller encore plus loin avec l’analyse décisionnelle. Cela consiste à traiter les données d’évaluation en multidimensionnel pour vous délivrer des tableaux de bord dont les données sont filtrables et s’affichent en temps réels. Idéal pour croiser TOUTES les données que vous recueillez.
Voici quelques exemples :
Conclusion
Toutes les données sont importantes lors d’une évaluation : taux de retour, scores, absences…. Et doivent être interprétées et analysées. Sans l’analyse, l’évaluation est inutile et nous l’avons vu, les données sont variées et peuvent rapidement être conséquentes obligeant l’usage d’outils d’analyse. Au-delà de l’analyse, il faut prendre des décisions qui vont vous permettre de modifier certaines actions de formations pour, au final, avoir des actions de formations efficientes.
