Évaluer le niveau 1 : utiliser uniquement des échelles de réponse avec un nombre impair de choix

Pour le cinquième article portant sur les bonnes pratiques de construction d'un bon questionnaire d'évaluation de niveau 1, nous allons revenir sur une vieille croyance en évaluation de la formation. Nous avons trop souvent entendu qu'il fallait utiliser des échelles de réponse avec un nombre pair de choix (à 4 niveaux, par exemple) pour éviter que les répondants cochent une réponse centrale (3 sur 5, par exemple). Cette croyance, persistante, est erronée : il est au contraire conseiller d'utiliser uniquement des échelles de réponse avec un nombre impair de choix (5, 7, 9...).

SelectIl est préférable d'utiliser au maximum un même type d'échelle de réponse dans un questionnaire, plutôt que de multiplier les échelles, ce pour différentes raisons :

  • le questionnaire est moins long à compléter ;
  • les données recueillies sont plus fiables (moins de risques de confusion) ;
  • les comparaisons entre les réponses sont plus aisées.

Lorsqu'il n'est pas possible d'utiliser une échelle unique, il convient de limiter au maximum le nombre d'échelles différentes et de regrouper les questions ayant la même échelle.

Par ailleurs, les échelles de réponse doivent proposer un nombre impair de choix (5, 7, 9...) pour les raisons suivantes :

  • cela permet de prévoir une réponse "neutre" (intermédiaire) qui est une réponse parfaitement valide (tout du moins, aussi valide que les réponses plus "positives" ou "négatives") ;
  • cela permet de mieux répartir les réponses possibles et d'éviter des choix par défaut des répondants. Par exemple, si l'échelle ne propose que 4 choix de réponse, le répondant souhaitant donner une réponse intermédiaire choisira 2 ou 3, biaisant le résultat final (négativement ou positivement). Le résultat de l'évaluation sera donc plus proche de la vérité si le questionnaire prévoit cette réponse neutre.

Malgré ces arguments, nous entendons parfois des souhaits contraires de la part de responsables formation : "Je les connais, j'ai déjà fait le test : ils vont tous cocher 3 !"

Vraiment ? Alors vérifions cela à l'aide de quelques statistiques...

Nous avons sélectionné de façon aléatoire un échantillon de réponses extraites de la base de données de Formaeva pour l'année 2011. Nous avons ainsi recueilli 49 518 réponses possibles pour des questions utilisant uniquement des échelles impaires sur 5 (de 1 : "Totalement en désaccord" à 5 : "Totalement en accord"). La répartition des réponses est la suivante :

  • 1 sur 5 ("Totalement en désaccord") : 1 468 réponses sur 49 518
  • 2 sur 5 ("Plutôt en désaccord") : 2 538 réponses sur 49 518
  • 3 sur 5 ("Ni en accord, ni en désaccord") : 9 444 réponses sur 49 518
  • 4 sur 5 ("Plutôt en accord") : 19 412 réponses sur 49 518
  • 5 sur 5 ("Totalement en accord") : 16 656 réponses sur 49 518

Ainsi, il apparaît que le choix de réponse intermédiaire (3 sur 5) ne représente que 19,07 % du total des réponses possibles. La probabilité que l'on coche la réponse 3 sur 5 est donc inférieure à 20 %. Le bon sens et les chiffres plaident donc pour l'adoption d'échelles impaires afin d'évaluer plus justement l'efficacité de vos formations.

Aussi, il est à noter que les réponses plus positives (4 et 5 sur 5) sont majoritaires. Quelle peut en être la cause ? J'avance une hypothèse (à vérifier empiriquement) : les évaluations portent ici sur des formations... évaluées, donc des formations qui sont susceptibles d'être améliorées en permanence. Il est donc logique que les répondants évaluent plus positivement des formations qui ne font que s'améliorer au fil du temps. Preuve est aussi faite que nos clients sont pragmatiques et exploitent habilement les données produites par la solution Formaeva !

N'hésitez pas à partager cet article ;-)