Vers une évaluation automatisée des examens

La Fondation William et Flora Hewlett s'est engagée en début d'année à offrir une récompense de 100 000 $ aux concepteurs de logiciel capable d'automatiser de manière fiable l'évaluation et la notation de compositions d'examens. Les lauréats du concours — Automated Student Assessment Prize (ASSAP) — seront connus le 30 avril 2012.

Cette compétition s'inscrit dans une démarche gouvernementale (américaine) d'uniformisation des procédures d'évaluation. Dans le cadre de ce projet, deux consortia ont été sélectionnés pour bénéficier d'une enveloppe de 330 millions de dollars dédiée au développement d'une solution. À terme, cette solution devrait permettre de juger les étudiants sur un pied d'égalité quelle que soit leur école ou leur état d'origine, et bien sûr de réduire les coûts de l'éducation.

C'est ainsi, en lien avec ces deux consortia, que la Fondation organise ce concours qui se déroule en deux phases : une première phase fermée destinée aux concepteurs de logiciels déjà engagés dans le développement de ce type de solution, et une deuxième ouverte au grand public rémunérant les participants se montrant à la hauteur de l'enjeu.

Évidemment le développement de tels outils est sujet à controverse. Les arguments mis en avant par la Fondation sont le retour aux fondamentaux de l'enseignement en favorisant le développement et l'évaluation des compétences rédactionnelles et d'analyse critique. En effet, face aux coûts en termes d'effectifs et de temps, de nombreux établissements optent pour des questionnaires à choix multiple inadaptés à ce type d'observation ; une procédure d'évaluation automatisée pallierait donc ce problème. Il peut néanmoins paraitre paradoxal de défendre les vertus de l'analyse critique traditionnelle tout en œuvrant pour son uniformisation.

Notons bien qu'il ne s'agit pas ici d'apporter une réponse purement logicielle au projet global, mais seulement de stimuler l'innovation technologique sur certaines de ses exigences.

Pour aller plus loin

Voir le descriptif du concours sur le site de la Fondation William et Flora Hewlett :
www.hewlett.org/newsroom/press-release/hewlett-foundation-sponsors-prize-improve-automated-scoring-student-essays

Le partie ouverte au public est hébergée par la platefome kaagle :
www.kaggle.com/c/asap-aes
 

Pierre-Éric DEVIE