Si les tests adaptatifs apportent une amélioration notable aux tests QCM, ils n’en remettent cependant pas en cause le principe et la méthode. Et cette méthode n’est pas sans inconvénients, car outre la durée du test, les tests QCMs ont d’autres défauts.
S’ils sont plutôt efficaces pour évaluer des compétences binaires, comme les mathématiques par exemple, ils ne permettent pas d’évaluer des compétences complexes, comme la capacité à structurer ou argumenter un discours.
Hors dans le cadre des tests de langue ce sont pourtant des compétences essentielles. On évalue une compétence en langue sans mesurer la capacité à parler ou à écrire. Ce sont pourtant des compétences indispensable à la maîtrise d’une langue ! Ces tests restent donc très partiels car ils n’évaluent que la moitié des compétences nécessaires. Pour trouver mieux il faut changer de méthode et aller voir du côté des tests qualitatifs.