Peut-on mesurer mathématiquement et objectivement les compétences des élèves ?

Avec Alfred Binet vers 1905, le concept psychométrique de QI a permis d’évaluer l’âge mental par rapport à l’âge mental moyen scolaire, afin de détecter des retards du développement. Le QI, à la base, ne mesure pas l’intelligence…

Sur un principe similaire (la courbe de Gauss), peut-on évaluer objectivement et mathématiquement les élèves d’une classe ? Je pense que oui, même si actuellement la notation par les profs est souvent subjective…

Comme exemple, je vais me baser sur le concept de QCM, un questionnaire basé sur 30 questions dont chaque question a une seule bonne réponse possible parmi 4 réponses proposées. Bref, un QCM rempli par un élève aura alors entre 0 bonne réponse (devoir noté 0/20) et 30 bonnes réponses (devoir noté 20/20).

Mais doit-on noter le QCM de façon proportionnelle, tel que le nombre de bonnes réponses est proportionnel à la notation sur 20 ? Non, et je vais expliquer pourquoi.

En fait, la conversion du nombre de bonnes réponses en note sur 20 est une loi logarithmique. En effet, à chacune des questions du QCM, il existe une probabilité de 1 chance sur 4 d’avoir une bonne réponse par question. Par conséquent, si un élève répond au hasard complètement au QCM, il aura en moyenne 7 bonnes réponses sur 30, dans ce cas on ne pourra pas lui attribuer une note de 7 sur 30, c’est-à-dire 4,66 sur 20. Obtenir un gain après avoir répondu au hasard, ce n’est pas légitime. Il faut donc prouver que l’on peut réaliser un score meilleur que le pur hasard, pour se démarquer de façon statistiquement significative. D’où une échelle logarithmique de conversion.

 

  • Entre 0 et 7 bonnes réponses sur 30, la note sera de 0/20. Dans cet intervalle, un élève connaît forcément les bonnes réponses mais aura choisi délibérément de mettre des réponses fausses. Même si c’est rare que ça arrive de faire zéro bonne réponse au hasard, sauf si l’élève ne répond pas du tout aux questions, c’est éliminatoire.
  • Avec 7 bonnes réponses, c’est le score le plus fréquent obtenu en moyenne par le hasard. Aucun point n’est attribué : 0/20. La note devient supérieure à zéro sur 20 au-delà de 7 bonnes réponses au QCM. C’est logique.
  • À partir de 12 points sur 30, la différence devient significative statistiquement (p-value = 0,05, distanciation de 2 écarts-types, et d’après la loi binomiale), auquel cas la note sera la moyenne : 10/20. L’écart-type est égal à 2,37.
  • À partir de 14 ou 15 points sur 30,  une nouvelle significativité (p-value = 0,01, distanciation de 3 écarts-types, et selon la loi binomiale), auquel cas la note sera de 12/20.
  • Enfin, avec 30 points sur 30, la note sera évidemment de 20/20. Mais la fonction dans son ensemble dans l’intervalle [7 ; 30] est logarithmique.
  • Équation approximative : note sur 20 = 13,51 * ln (0,1561 * bonnes réponses).
  • Il est possible d’ajuster autrement la notation : on pourrait par exemple attribuer 8/20 pour 12 points sur 30, mais cela ne changera que peu la courbe. Reste à définir correctement ce seuil. Le but de l’évaluation ici, c’est de voir l’effort fourni par rapport au hasard.

 

Voila ce que ça donne graphiquement, en première approximation :

 

L’intérêt d’un QCM correctement calibré est de mesurer le plus fiablement possible la quantité d’effort intellectuel par rapport à ce qu’on obtiendrait au hasard

Tu joues au hasard ? Donc tu n’as fait aucun effort, alors zéro pointé… Un peu d’effort afin de s’éloigner du hasard ? Tu gagnes alors des points. Mais plus l’effort sera important, plus ça devient dur d’essayer d’atteindre 30 bonnes réponses aux 30 questions du QCM (croissance logarithmique). C’est simple. Quel meilleur arbitre existe t-il de mieux que le hasard et de se mesurer contre lui ? C’est mieux que la subjectivité des profs dont les notes données à un élève varient sensiblement d’un prof à l’autre, même quand l’élève ne change pas sa méthode de travail (pour une même matière, aucun prof ne note pareil qu’un autre prof). Le travail ne se mesure que par le seul mérite, par l’effort de l’élève. Établir des quotas arbitraires et aveugles pour favoriser les élèves à avoir le Bac, de façon à ce qu’un maximum d’élèves aient le Baccalauréat, ce n’est pas une évaluation objective, ça ne veut rien dire. Il faut évaluer les compétences des élèves pour ce qu’elles valent réellement. Les mauvaises notes ne servent ni à juger ni à punir, mais à inciter à progresser grâce à des efforts réguliers (cela s’apprend, et peut ainsi devenir une bonne habitude). La réussite ça ne fonctionne pas autrement.

Publicités

Détection mathématique de triche dans une classe d’école

Je propose un exercice inédit que j’ai inventé.

On suppose que la distribution des notes dans une classe de N élèves est une courbe gaussienne normale centrée sur une moyenne. Ces notes forment une courbe gaussienne classique qui reste habituelle, sans changements de notes majeurs.

Je pose m=intégrale de x=a à x=b de (1/(k*(2*pi)^0.5)) * e^(-(x-µ)²/(2*k²)).

m est ici une valeur entre 0 et 1, c’est la proportion d’élèves ayant une note comprise entre a et b, selon un écart-type k.

Il peut arriver que les élèves se mettent à travailler mieux afin d’améliorer leur note, ce qui modifierait du coup la courbe gaussienne. L’intérêt est d’évaluer la variation par rapport à la courbe habituelle.

Supposons un cas où la moyenne de la classe est µ = 14,01 (sur 20), lors du dernier trimestre par exemple. Son écart-type est de k = 3,76. On obtient alors une courbe gaussienne particulière, véritable signature instantanée de la classe.

On va ensuite exposer une problématique. Lors du trimestre suivant : parmi une classe de N élèves, x élèves obtiennent chacun une note supérieure ou égale à 18. La question : y a t-il eu triche ?

Probabilité pour que x élèves aient plus de 18 sur 20 : on calcule T = l’intégrale de x=18 à x=20 de (1/(3,76*(2*pi)^0.5)) * e^(-(x-14,01)²/(2*3,76²)) avec un écart-type k = 3,76.

La probabilité devient P = (N! / ((N-x)!*x!)) * T^x * (1-T)^(N-x).

Si la probabilité est inférieure à 0,05, on peut légitimement soupçonner une fraude. Dans notre exemple ci-dessus, si x est supérieur ou égal à 5, on peut avoir des doutes. Parmi ceux qui ont eu plus de 18/20, il y a des fraudeurs mais il peut y avoir aussi ceux qui ont mérité leur note. On peut détecter la fraude mais on ne peut pas identifier les tricheurs, le meilleur choix est de coller un zéro à tout le monde, comme sanction, on est sûr alors d’avoir atteint les tricheurs, même si on fait des victimes collatérales…

  • Voici un autre débat : la suppression des notes à l’école.

Certains pédagogues ont l’idée saugrenue de supprimer la notation des élèves… Supprimer les notes, c’est tromper les élèves. Et surtout, comment ferait-on pour détecter la probabilité de triche lors d’un examen de mathématiques par exemple ?

Le but des mauvaises notes quand on en reçoit, c’est d’identifier ses propres erreurs, de se remettre en question dans le but de s’améliorer. Je n’ai pas toujours été bon en maths autrefois (il y a bien longtemps), et une mauvaise notation contraint à redoubler d’efforts pour progresser. Quand on veut comprendre, on finit toujours par y arriver, on le peut. Les efforts réguliers produisent toujours une progression. Se dire « Je suis nul en maths » c’est en fait un effet nocebo (contraire du placebo), une méthode Coué avec des effets délétères et fatalistes. Si on ne note plus les élèves, on ne fera que masquer et nier un problème de plus. L’école est nivelée par le bas, et bientôt il ne finira par ne plus rien rester du tout !

  • La notation sur 10 ou sur 20 offre une évaluation fiable : elle est le meilleur critère pour évaluer le travail de l’élève et permet aux parents de savoir où en est leur enfant. La note est la mesure d’une compétence. Elle n’a pas pour seule vocation de « juger » un élève ni même de les comparer entre eux. Elle a aussi pour avantage d’être simple, en comparaison des autres systèmes d’évaluation par « acquisition de compétences » avec des codes de couleurs (rouge, orange, jaune, vert), de lettres (ABCD) ou de chiffres (de 1 à 4). Avec ces systèmes alternatifs, il serait plus complexe pour les enseignants de mesurer ce qui est acquis et ce qui ne l’est pas. Il y aurait aussi un risque que ces barèmes aboutissent à trop de laxisme. Les notes sur 10 ou sur 20 peuvent inciter les élèves à travailler pour progresser, à condition que les professeurs précisent ce qu’il faut améliorer et encouragent les élèves. A l’école, la sélection est naturelle, elle ne dépend que des efforts des élèves, un prof ne donne pas des mauvaises notes par injustice ni par sadisme. Moi je le dis clairement : niveler l’école selon les désirs des élèves ou celui de leurs parents, pour leur faire plaisir, ça ne les aide absolument pas ! Le progrès scolaire n’est possible qu’avec une contrainte ou une difficulté, une bonne note ça doit se mériter. Le remède contre l’échec scolaire ne tient qu’en un seul mot : le travail, aussi bien de la part des profs que celle de leurs élèves. La question à se poser : le problème est-il la notation elle-même ou les échecs qu’elle révèle ?

 

L’étudiant

Voici une fable intéressante.

 

Voici l’histoire d’un professeur à propos d’un étudiant. Il estimait qu’il devait lui donner un zéro à une question de physique, alors que l’étudiant réclamait un 20. Le professeur et l’étudiant se mirent d’accord pour choisir un arbitre impartial et je fus choisi. Je lus la question de l’examen : “Montrez comment il est possible de déterminer la hauteur d’un building à l’aide d’un baromètre”. L’étudiant avait répondu: “On prend le baromètre en haut du building, on lui attache une corde, on le fait glisser jusqu’au sol, ensuite on le remonte et on calcule la longueur de la corde. La longueur de la corde donne la hauteur du building.” L’étudiant avait raison vu qu’il avait répondu juste et complètement à la question. D’un autre côté, je ne pouvais pas lui mettre ses points : dans ce cas, il aurait reçu son grade de physique alors qu’il ne m’avait pas montré de connaissances en physique. J’ai proposé de donner une autre chance à l’étudiant en lui donnant six minutes pour répondre à la question avec l’avertissement que pour la réponse il devait utiliser ses connaissances en physique. Après cinq minutes, il n’avait encore rien écrit. Je lui ai demandé s’il voulait abandonner mais il répondit qu’il avait beaucoup de réponses pour ce problème et qu’il cherchait la meilleure d’entre elles. Je me suis excusé de l’avoir interrompu et lui ai demandé de continuer. Dans la minute qui suivit, il se hâta pour me répondre: “On place le baromètre à la hauteur du toit. On le laisse tomber en calculant son temps de chute avec un chronomètre. Ensuite en utilisant la bonne formule connue par tous, on trouve la hauteur du building”. A ce moment, j’ai demandé à mon collègue s’il voulait abandonner. Il me répondit par l’affirmative et donna presque 20 à l’étudiant. En quittant son bureau, j’ai rappelé l’étudiant car il avait dit qu’il avait plusieurs solutions à ce problème. “Hé bien, dit-il, il y a plusieurs façon de calculer la hauteur d’un building avec un baromètre. Par exemple, on le place dehors lorsqu’il y a du soleil. On calcule la hauteur du baromètre, la longueur de son ombre et la longueur de l’ombre du building. Ensuite, avec un simple calcul de proportion, on trouve la hauteur du building.” Bien, lui répondis-je, et les autres ? À quoi l’élève répondit: “Il y a une méthode assez basique que vous allez apprécier. On monte les étages avec un baromètre et en même temps on marque la longueur du baromètre sur le mur. En comptant le nombre de trait, on a la hauteur du building en longueur de baromètre. C’est une méthode très directe. Bien sûr, si vous voulez une méthode plus sophistiquée, vous pouvez prendre le baromètre à une corde, le faire balancer comme un pendule et déterminer la valeur de g au niveau de la rue et au niveau de toit. À partir de la différence de g la hauteur de building peut être calculée. De la même façon, on l’attache à une grande corde et en étant sur le toit, on le laisse descendre jusqu’à peu près le niveau de la rue. On le fait balancer comme un pendule et on calcule la hauteur du building à partir de sa période de balancement.” Finalement, l’élève conclut: “Il y a encore d’autres façons de résoudre ce problème.
Probablement la meilleure est d’aller au sous-sol, frapper à la porte du concierge et lui dire: “J’ai pour vous un superbe baromètre si vous me dites quelle est la hauteur du building.” »
J’ai ensuite demandé à l’étudiant s’il connaissait la réponse que j’attendais. Il a admis que oui mais qu’il en avait marre du collège et des professeurs qui essayaient de lui apprendre comment il devait penser. Pour l’anecdote, l’étudiant était Niels Bohr (prix Nobel de Physique en 1923) et l’arbitre Ernest Rutherford (prix Nobel de Chimie en 1908).