Remplacer la correction des erreurs comme méthode d'amélioration par un "réglage standard" ne rend pas les examens à choix multiples plus équitables, ont calculé le doctorant Thomas Demoor et le professeur Joris Walraevens de l'Université de Gand sur le site Web d'Eos.
Remplacer la correction par supposition comme méthode d'amélioration par le "réglage standard" - où vous ne perdez plus de points en répondant mal - ne rend pas les examens à choix multiples plus équitables. Le doctorant Thomas Demoor et le professeur Joris Walraevens de l'Université de Gand l'ont calculé. Ils fournissent du texte et des explications.
À partir de la prochaine année universitaire, l'Université de Gand supprimera la correction par supposition comme méthode d'amélioration des questions à choix multiples. Avec les questions à choix multiples, il y a toujours le risque que les élèves répondent correctement à une question en devinant. Jusqu'à présent, cela était corrigé par devinettes, où une partie des points était déduite pour chaque mauvaise réponse. À partir de l'automne prochain, l'Université de Gand remplacera cela par le principe de « standardisation », selon lequel les étudiants ne perdent plus de points s'ils répondent incorrectement à une question à choix multiple, mais doivent répondre correctement à plus de la moitié des questions pour réussir l'examen. La nouvelle méthode d'amélioration devrait rendre les examens avec des questions à choix multiples plus équitables. Après tout, l'établissement de normes élimine le désavantage que subissent les étudiants averses au risque lorsqu'ils corrigent des suppositions parce qu'ils n'osent pas jouer même s'ils connaissent la réponse presque à coup sûr. Mais cette méthode d'amélioration contient aussi des aspects injustes.
La normalisation oblige tous les élèves à parier sur des questions dont ils ne connaissent pas la réponse (laisser des questions blanches après tout n'a plus de sens) et les évalue en tenant compte des points supplémentaires que ce jeu s'attend à rapporter. Mais dans le jeu, le profit réel peut bien sûr différer considérablement du profit attendu. Nos calculs, issus du département Télécommunications et Informatique de l'Université de Gand, montrent que l'établissement de normes conduit à une variabilité accrue (arbitraire) entre les élèves ayant des résultats équivalents parce que leurs notes finales peuvent être très éloignées. Pour un examen avec réglage standard, 20 questions et 4 options par question, plus de la moitié (53%) des étudiants qui connaissaient 10 questions avec certitude et ont ensuite deviné 10 n'ont pas réussi parce qu'ils ont deviné moins des 10 questions restantes. nécessaire 3 coups chanceux ainsi que 30% des élèves sûrs de 11 questions et même 10% des élèves sûrs de 12. La correction d'erreurs peut être désavantageuse pour l'élève peu enclin à prendre des risques, mais l'établissement de normes désavantage arbitrairement un élève.
Le bonheur influence le résultat
L'un des avantages de la normalisation est qu'elle est relativement facile à expliquer. Les points ne sont plus déduits pour les réponses incorrectes comme pour la correction des suppositions, mais les étudiants doivent répondre correctement à plus de questions (appelées la note limite) pour réussir et obtenir une note d'examen de 10/20 ou plus. Par exemple, pour un examen avec 20 questions à choix multiples avec 5 options de réponse chacune, l'étudiant doit répondre correctement à 12 des 20 questions pour réussir. L'étudiant obtient alors la note d'examen 10/20. Les autres notes d'examen sont calculées proportionnellement. Le point limite est déterminé de telle sorte que la probabilité qu'un élève réussisse à deviner complètement est la même avec la correction de supposition qu'avec le réglage standard.
La décision du Conseil d'administration de l'Université de Gand a été renforcée par les propres simulations des taux de réussite des statisticiens. Dans ces simulations, cependant, on a supposé qu'en corrigeant les suppositions, l'étudiant répondait à toutes les questions (et pariait donc sur toutes les questions dont il n'était pas sûr de la réponse). Dans cet article, nous voulons montrer que l'abandon de cette hypothèse "irréaliste" expose certains inconvénients de l'établissement de normes.
Le gros problème avec l'établissement de normes est qu'il oblige l'étudiant à jouer au lieu de lui donner la possibilité de ne pas répondre aux questions. En pratique, dans un QCM avec conjectures correctives, l'élève va d'abord répondre à toutes les questions dont il est sûr puis faire le point sur la situation pour jouer si nécessaire. Cependant, l'étudiant peut choisir de laisser les questions en blanc, alors qu'avec le réglage standard, il doit parier sur toutes les questions restantes et doit ensuite collecter le nombre de points qui peut être attendu en moyenne. Cela peut être décevant.
Vous avez connu correctement la moitié (ou plus) des réponses, mais vous avez quand même échoué ?
Nous entrons dans la notation suivante :le nombre de questions N, le nombre d'options n, le seuil c. De plus, avec z on nomme les certitudes correctes (questions pour lesquelles l'élève connaît la bonne réponse) et le nombre final de points obtenus (avant remise à l'échelle) avec p.
Pour rendre les choses un peu plus concrètes, concentrons-nous d'abord sur le cas où les étudiants ont réussi la correction de devinettes s'ils ne parient pas sur les questions restantes mais ont encore une chance d'échouer au réglage standard parce qu'ils sont malchanceux au pari obligatoire. Par conséquent, considérez un élève qui connaît z réponses avec certitude, mais malheureusement, ce nombre est inférieur à la limite (donc z
Le tableau 1 montre cette probabilité pour N=20 questions. Nous arrondissons à deux décimales. Les lignes correspondent à des valeurs différentes pour le nombre d'options n et les colonnes au nombre de garanties correctes z. Le point limite est indiqué à gauche et un * indique que l'étudiant ne peut plus échouer car z est supérieur ou égal à c. En corrigeant une supposition et en laissant les questions restantes en blanc, l'élève est passé de 10, c'est-à-dire à droite de la double ligne verticale.
Avec un réglage standard pour n =5 et z =11, il y a 13% de chances que l'étudiant soit malchanceux sur les 9 paris et ne passe donc pas le seuil. Parmi les étudiants avec z=10, 38% n'ont pas réussi. Ces valeurs ne sont clairement pas négligeables. Parmi les élèves qui n'ont pu réussir le système de correction par supposition qu'en devinant, vous avez pour z=9 que 62 % échouent parce qu'ils ont deviné correctement moins de 3 fois sur les 11 questions restantes (38 % ont de la chance avec la supposition ), pour z =8 c'est 79% et pour z=7 c'est 90%.
Avec moins d'options par question, les choses s'améliorent (pour l'étudiant) parce que la probabilité qu'il devine mal est bien sûr plus faible, mais aussi pire parce que la note de passage augmente. Le cas n =4 est encore plus malheureux si le point limite est arrondi (ce que nous supposons ici). Le cut-off sera alors fixé à 13. Pour un examen avec N=20 questions et n=4 options, plus de la moitié (53 %) des étudiants avec z=10 ont échoué parce qu'ils avaient moins que les 3 coups de chance requis parmi les 10 questions restantes lors des paris, ainsi que 30 % de ceux avec z=11 et même 10 % de ceux avec z=12.
Le tableau 2 décrit la situation similaire pour N=40 questions. Les conclusions que nous pouvons en tirer vont dans le même sens que pour N=20. Avec n=5 options, les étudiants avec z=23 certitudes ont 2% de chances d'être toujours malchanceux sur leurs 17 paris restants et donc de ne pas atteindre le seuil c=24. Pour l'élève qui ne connaît que la moitié des questions, la probabilité de deviner correctement moins de 4 fois parmi les 20 questions restantes est de 41 %. À n=3 et z=22, environ un sur quatre n'atteint pas le seuil requis c=27.
En résumé, dans la correction de suppositions, l'élève qui connaît avec certitude au moins la moitié des questions (mais moins que la note limite) et ne devine plus, peut certainement avoir réussi. Dans un cadre standard, où l'étudiant est obligé de parier sur les questions restantes, il peut espérer réussir, mais c'est loin d'être certain.
L'ordre relatif est également renversé pour les scores les plus élevés.
Il y a un impact non seulement pour le succès ou l'échec. Prenons deux étudiants qui, à N=20, n=5, sont sûrs de z=13 réponses (plus que le seuil c=12). Ils jouent tous les deux au jeu des devinettes avec les 7 questions restantes où on s'attend à ce qu'ils marquent tous les deux une moyenne de 1,4 points supplémentaires. Non seulement il s'agit d'un score inatteignable (pas un nombre entier), mais l'étudiant 1 peut également deviner correctement quatre fois et l'étudiant 2 une seule fois, ce qui signifie que leurs scores finaux diffèrent considérablement.
Mais cela pourrait tout aussi bien être l'inverse, de sorte que l'élève 2 se trouve soudainement "clairement" meilleur. S'ils étaient corrigés pour les suppositions, ces élèves ne devineraient probablement pas toutes les 7 questions restantes et obtiendraient ainsi des totaux beaucoup plus similaires. Parce qu'il y a beaucoup plus de paris avec la mise standard qu'avec la correction de supposition (tout le monde parie obligatoirement), le classement des étudiants sera également plus aléatoire.
Une note relative
Une autre hypothèse dans les simulations réalisées pour le compte de l'Université de Gand, qui est également faite ici, est que l'étudiant joue de manière complètement aléatoire entre les n options. En pratique, il est très difficile d'établir un examen pour lequel cela s'applique. En tenir compte réduira l'arbitraire associé au réglage standard (grosso modo, vous pouvez regarder une ligne plus haut dans les tableaux pour chaque option qui peut être exclue, à condition que vous vous adaptiez au seuil modifié). Mais l'arbitraire demeure. Soit dit en passant, avec une correction pour deviner, pouvoir exclure des options est également bénéfique car le jeu produit alors un bénéfice attendu positif.
L'établissement de normes vise à protéger de lui-même l'élève peu enclin au risque, qui connaît presque certainement la réponse mais a peur de répondre à cause de la correction par supposition. Cette approche est couronnée de succès car l'étudiant n'a plus intérêt à laisser des questions vides sur lesquelles il n'est pas sûr. Un effet secondaire de cela est que le jeu devient la règle, alors que dans la correction des suppositions, c'était une possibilité. Il en résulte une variabilité accrue (arbitraire) entre les élèves qui obtiennent des performances équivalentes. La correction d'erreurs peut désavantager l'élève réfractaire au risque, mais l'établissement de normes désavantage aléatoirement un élève. Le problème est inhérent à toute forme d'examens à choix multiples, vous pouvez simplement parier sur un tel examen. Le réglage standard ne résout pas ce problème et, en raison de l'arbitraire accru, ce n'est pas que des roses et des lunes.
Cet article est également paru dans Eos Weekblad. Chaque vendredi nous vous proposons un hebdomadaire d'actualités, ponctué d'images et de sons. L'application Eos est téléchargeable gratuitement (iOS et Android). Avec cette application, vous obtenez gratuitement les numéros hebdomadaires et vous pouvez également acheter Eos Magazine, Psyche&Brain et Eos Memo. 
[]
