Les étudiants répondent-ils aux incitations financières ?
Telle était la question posée par un article vu hier en séminaire. L'article repose sur une expérience très intéressante, qui montre qu'il y a moyen de bien faire en ce domaine.
L'expérience de base est très bien cadrée. Aux Pays-Bas, 17% d'une classe d'âge accède à l'Université. Or, il y a un taux d'échec très importants, puisque 80% des étudiants ne réussissent pas à obtenir leur première année en un an. Le problème est d'autant plus important pour les universités que leur budget dépend du nombre d'étudiants passant en année supérieure, et que pour des raisons de réputation, elles ne peuvent évidemment pas baisser leurs exigences. Plusieurs réformes des enseignements n'ont ainsi pas donné d'effets tangibles. D'où l'idée de voir si les étudiants seraient motivés par un gain monétaire.
Les frais de scolarité sont modestes (1300 euros par an), et il n'y a pas de sélection à l'entrée.
L'expérience porte ainsi sur 254 étudiants en première année d'économie et gestion. La scolarité de première année est très encadrée : tous suivent les mêmes cours, les examens sont des questions à choix multiples (donc pas de biais de correction) dont le résultat est donné par le taux absolu de bonnes réponses de chaque candidat (il faut avoir 60% de bonnes réponses), et indépendant du résultat des autres candidats. Le cadre parfait donc.
Les 254 étudiants ont donc reçu, un mois après le début des cours, la proposition de participer à une expérience qui leur permettrait de recevoir une somme d'argent s'ils obtenaient leur année. L'expérience excluait les redoublants et ceux ne venant pas directement du secondaire. Ils savaient que ceux qui accepteraient seraient répartis en trois groupes : un euros groupe sans gratification (dit groupe de contrôle), un groupe gagnant une récompense de 227 euros (groupe F) et un troisième gagnant une récompense de 681 euros (groupe H). 249 étudiants ont accepté de participer, et ils ont alors appris dans quel groupe ils se trouvaient (les groupes, naturellement, étaient tirés aléatoirement). Aucun n'étudiant n'ayant quitté en cours d'année, le panel de données est donc très bon, d'autant plus qu'on dispose maintenant des résultats de ces étudiants au bout de trois ans.
Est-ce que cela a fonctionné ? En fait, pas beaucoup. Les étudiants du groupe de contrôle ont été 19% à passer, contre 20% pour le groupe L et 24% pour le groupe H, avec peu de différences sur le nombre total de crédits obtenus par étudiant dans chaque groupe. Après trois ans, on n'observe plus de différence entre les trois groupes.
Pourquoi ces résultats un peu décevants ? D'abord, les explications à exclure : les groupe de contrôle ayant obtenu des résultats en ligne avec les années précédentes, on peut penser que les examens n'étaient pas plus difficiles, et qu'il n'y a pas eu d'effet de pairs lissant les différences entre groupes. Ensuite, il n'y a pas eu de compensation de l'expérience par les familles. Dans les trois groupes, les familles offraient en moyenne 650 euros aux étudiants qui réussissaient leur année (autant dire qu'elles se sont alignées sur les récompenses du groupe H). En revanche, en divisant chaque groupe en sous-groupes en fonction de leur niveau en mathématiques au lycée, les auteurs se sont rendus compte que l'effet incitatif était beaucoup plus net et positif pour les bons élèves du groupe H, et légèrement significatif et négatif pour les mauvais élèves du même groupe. L'effet positif pour les bons est encore présent, et significatif, sur leur résultats trois ans après.
On peut avancer une explication de ce phénomène. Les questionnaires remplis par les étudiants leur demandaient, en dehors de contrôles habituels (profession et revenu des parents) les chances qu'ils pensaient avoir de réussir leur année. Or, tous sur-estimaient largement leurs chances, pensant avoir près de 50% de chances de passer (je rappelle que le bon chiffre était 20%). De ce fait, si l'incitation renforce les bons dans leur confiance, elle a pu donner aux moins bons une information de meilleure qualité sur leurs chances : s'il y a besoin d'une incitation, c'est que beaucoup de réussissent pas, et que, sachant leur niveau en maths, ils sont particulièrement concernés, entraînant une forme de découragement. Les auteurs interrogent de plus les risques de substitution entre une motivation rationnelle (je me forme pour avoir un meilleur revenu durablement) et une motivation myope (je fais le minimum pour avoir mon année et toucher la prime).
Que peut-on tirer de plus de cette étude ? D'une part, il faut souligner la qualité de la méthode, même si les résultats sont moins tranchés qu'on aimerait (ça marche, mais un tout petit peu). D'autre part, on peut remarquer que si les résultats sont faibles, c'est que les récompenses le sont aussi. Imaginons un élèves soumis à une forte contrainte de revenus : ce ne sont pas 700 euros possibles qui vont lui permettre de se loger plus près de l'université ou de payer ses repas. Il faut donc se garder de la tentation de faire de cette expérience une critique (dans un sens ou l'autre) des bourses au mérite : on a là un problème d'échelle certain.
Enfin, je pense qu'on peut reprendre deux chiffres qui seront utiles tant aux étudiants qu'aux enseignants : d'une part la sur-estimation par les étudiants de leurs chances de réussite. Ce constat doit appeler les enseignants à bien informer leurs étudiants des vrais taux de réussite, afin que ceux-ci révisent leur estimation de la quantité de travail nécessaire. D'autre part, et de manière liée, les étudiants ont déclaré leur temps d'études moyen par semaine, cours et TD compris. La moyenne est de 25 heures.
Publié le mercredi, décembre 6 2006, par Mathieu P. dans la catégorie : General - Lien permanent
Commentaires
mercredi, décembre 6 2006
16:00
Même quand ca ne fonctionne pas, les expérimentations économiques sont toujours intéressantes (tiens ce pourrait être un point d'accord de tous les économistes..).
— OlyvierIl y a néanmoins un élément qui mérite discussion: l'estimation par les étudiants des chances d'obtenir le passage en deuxième année. Peut-on dire " (...) tous sur-estimaient largement leurs chances, pensant avoir près de 50% de chances de passer. Il serait intéressant de connaitre l'écart type, et la variance autour de ce 50 %, car si dans l'ensemble on constate une sur-estimation, il y a également une partie des étudiants qui se sous-estiment (notamment ceux d'un "bon niveau"). Il serait intéressant de comparer les estimations aux résultats effectifs, on pourrait peut être de cette manière absorber une partie de l'explication avec deux cas polaire: Je suis bon et je sais que je vais avoir mon année, qu'importe ce que je vais gagner je ne ferai pas plus d'efforts (ou alors je suis bon parce que je fais des efforts) donc pas d'effets incitatifs de la prime ou effets d'aubaine. Je suis mauvais et je sais que j'ai peu de chance d'avoir mon année (cf. estimation), qu'importe le gain je sais que je ne gagnerai rien. Il faufrait donc pouvoir découper en sous-groupe en fonction des estimations, et retenir les profils de ceux se situant proche de 50% (entre 40 et 60) par exemple pour mesurer les effets incitatifs de la prime...
mercredi, décembre 6 2006
17:18
L'information la plus pertinente me semble la dernière. Vingt cinq heures de travail par semaine TTC cela me parait 50% environ (on n'est quand même pas en Prépa) de ce qu'il faudrait ce qui explique que seuls les vraiment bons réussisent et que l'expérience ait eté un échec. Il n'est pas rationnel de faire 25 h de plus par semaine pour 650€ de plus par an.
— Adam S.jeudi, décembre 7 2006
00:33
C'est marrant ça, j'ai assisté hier à une conférence de Philippe Oreopoulos qui présentait une étude assez similaire sur des données canadiennes. Le papier s'appelle "Lead them to Water and Pay them to Drink: An Experiment with Services and Incentives for College Achievement" mais n'est apparemment pas encore disponible en téléchargement.
— TimPour résumer les différences :
- Les compensations financières étaient plus importantes et dépendaient du niveau de l'élève (évalué suivant le quartile où il se trouvait l'année d'avant dans la distribution des notes). C'est-à -dire qu'on demandait une note moins élevée à un mauvais élève (par exemple un B pour un élève dont on s'attend à ce qu'il reçoive un C, mais un A pour un élève dont on attend un B). En gros les élèves traités recevaient 1000 dollars quoi qu'il arrive, 2500 dollars s'ils avaient une note un peu supérieure à leur niveau normal, et 5000 dollars s'ils s'amélioraient beaucoup.
- Il y avait deux programmes expérimentés en parallèle : le programme ci-dessus, purement financier, et un autre programme qui donnait accès à un tuteur personnalisé et à des installations sympa pour étudier, etc. Certains élèves avaient accès aux deux programmes en même temps, d'autres à un seul, et d'autres à aucun. Les groupes sont sélectionnés au hasard. Les auteurs ont aussi systématiquement écarté le quartile des meilleurs élèves (je me souviens plus trop pourquoi, sans doute parce qu'ils n'y avait pas tellement de marge pour over-performer pour eux).
Au niveau des résultats, la réaction aux incitations était, comme ici, plutôt décevante. De mémoire, chez les garçons il y avait un effet positifs plus important pour les filles que pour les garçons ; et un effet plus important aussi pour ceux qui ont bénéficié des deux programmes (récompense + tutorat) que ceux qui n'ont eu que la récompense.
Selon Oreopoulos il y avait sans doute un peu matière à s'inquiéter de ce que pas mal d'élèves qui ont signé leur participation au programme financier seul ne l'ont pas pris tellement au sérieux et ont plus ou moins oublié son existence au cours de l'année (ce qui était moins possible bien sûr pour ceux qui ont aussi bénéficié du tutorat).. Mais c'est évidemment difficile à dire exactement.
jeudi, décembre 7 2006
00:40
Au passage - le papier dont je parle dans mon commentaire précédent est coécrit par Angrist (ainsi que Daniel Lang que je ne connais pas).
— Timjeudi, décembre 7 2006
13:20
Peut être cela veut il dire que la plupart des étudiants ne vont pas a l'université pour travailler et poursuivre des études? Est ce si étonnant?
— Adam S.jeudi, décembre 7 2006
14:14
Dans le cas des Pays-Bas, c'est effectivement assez étonnant : il n'y a pas de grandes Ecoles (donc pas de substituts à l'université), et seulement 17% d'une classe d'âge accède à l'université.
— leconomistevendredi, décembre 8 2006
13:05
Probleme d'orientation peut etre? les étudiants decouvrent soudainement que Economie et Gestion sont soit (a) difficile (b) ne mene nulle part (c) les filles y sont moins attractives qu'en Droit (d) les horaires ne sont pas compatible avec les nuits de bringue ou (e) un melange approprie des causes ci-dessus.
— Adam S.Le probleme de l'economie c'est que le nombre de variables pertinentes est beaucoup plus grand que l'on ne croit generalement. A t on interviewe ces etudiants sur les causes de leur echec? Je sais on frole la socio et alors la c'est du n'importe quoi.
vendredi, décembre 8 2006
13:43
@ Adam S. Si vous ne voulez pas me croire sur parole, allez lire le papier, qui est en ligne. En peu de mots : le taux d'accès à l'université étant faible, les étudiants qui y vont dans le pays en question sont raisonnablement bien renseignés sur le programme des différentes filières. Je crains que vous ne transposiez un peu vite la situation française à un cadre où les problèmes sont différents.
— leconomistevendredi, décembre 8 2006
16:17
Pardonnez moi Seigneur parce que j'ai péché......
— Adam S.dimanche, décembre 10 2006
00:38
Hum... cela m'étonne que personne n'ait soulevé la chose. Sûrement que je dis des conneries, mais...
— AJC* On s'étonne des "17% de jeunes allant à l'université".
Les frais de scolarité de 1300 euros par an, qui sont "faibles", n'auraient pas une incidence là -dedans ?
C'est seulement deux (Voire trois, ou quatre.) mois de revenu étudiant mensuel pour une majorité des étudiants que je connais, en France ! :oD
Je ne suis pas sûr qu'en plaçant les frais de scolarité à 1300€/an pour TOUTES les facultés, cela n'aurait aucune incidence sur le nombre de jeunes se dirigeant vers la fac...
J'imagine qu'à l'ENS tu as pu rencontrer peu d'étudiants cherchant à bouffer en fin de mois, galérant constamment avec le fric ou vivant perpétuellement avec un découvert, voire bossant à côté pour payer leurs études... mais malheureusement, une majorité des étudiants Français ne sont pas spécialement aisés.
* Pour Adam S. :
Hum... me semble que dans la faculté d'économie de Poitiers, les Masters de finance ont déjà amené des taux d'embauche à la sortie supérieurs à 80%... (Minimum.)
Pour l'intégralité de la France, cela pourrait être sympa que tu zieutes cet article :
obouba.over-blog.com/cate...
L'utilité des études... hum. :o)
* Le fait que les étudiants sachent à l'avance qu'ils participent à une expérience n'aurait pas justement faussé les résultats ?
* Adam S. a sûrement raison sur un point : travailler 25h de plus par semaine pour toucher une somme qui sera au maximum la moitié de ce qu'ont payé les étudiants pour entrer en fac... mouais... je suis pas sûr que cette "motivation financière" soit si intéressante.
* Aucune info concernant l'origine sociale des étudiants ?
Si l'entrée à la fac est limité par de tels frais de scolarité, et si -imaginons- qu'une majorité d'entre eux proviennent de milieux aisés, qu'est-ce qu'ils peuvent en avoir à foutre, de quelques centaines d'euros en plus ou en moins ? Le but recherché est ici, plutôt, d'avoir ou non son année, tout court. Le fric sympathiquement offert à la fin dans le cadre de l'expérience pouvant représenter un "bonus"...
200€, lorsque les parents peuvent -apparemment- vous offrir une année en fac supplémentaire et lorsque les frais d'inscriptions sont de 1300€... c'est bas-de-gamme comme récompense.
On constate une augmentation entre les "non-récompensés" et les "récompensés" du taux de réussite. Pourquoi ne pas récompenser de manière plus intéressante ceux réussissant, histoire de voir s'il y a une véritable différence ? (Honnêtement, proposez à un type de passer de 25h/semaine de boulot à 50h/semaine de boulot pour... 600€ sur douze mois de boulot. Vous verrez son amusante réaction : je pense que s'il se met à réellement travailler, ça sera pour une autre raison.)
Il serait également intéressant de regarder du côté de leurs origines sociales afin de voir si ceux provenant de milieux modestes ou pauvres ne sont pas plus motivés par une telle expérience.
Amicalement,
AJC
dimanche, décembre 10 2006
00:45
Au sujet de la faculté et des études supérieures en général.
— AJCVoici, pour la France, un petit article concernant l'origine sociale des étudiants.
www.inegalites.fr/spip.ph...
Peut-être que cela pourrait être intéressant afin de savoir si cette récompense est réellement attractive et s'il ne faudrait pas éviter de poser trop rapidement des conclusions... :o)
dimanche, décembre 10 2006
02:37
Juste une remarque sur le temps de travail des élèves : petite expérience simple de sociologie : regarder un élève travailler (à son insu, sinon, naturellement, le résultat sera faussé). Après quelques minutes, on s'aperçoit que l'élève va passer très longtemps à travailler, parce qu'il est peu productif. Le problème me semble-t-il est beaucoup plus là que dans le temps de travail (bien sûr, passer plus de temps sur ces études ne fait pas de mal, quoique compte tenu de la productivité décroissante du travail et de sa désutilité croissante, il vaut mieux travailler vite et bien si l'on veut abattre une grande quantité de travail sans être déprimé).
— Socionomedimanche, décembre 10 2006
10:42
@ACJ : Je reconnais que nous sommes implicitement dans un cadre de comparaisons internationales. Pr, 1300€ par ans, c'est très, très faible comme frais de scolarité, si on compare aux universités américaines.
Par rapport à la France, 17% d'étudiants, c'est peu. Cependant, les auteurs du papier ont quand même pensé à demander la catégorie socio-professionnelle des étudiants. Elle est certainement biaisée vers le haut par rapport à la population d'ensemble, mais pas au point de venir, même en majorité, de milieux aisés. De fait, séparer l'échantillon selon les origines sociales plutôt que selon les résultats dans le secondaire donne des résultats encore plus mauvais qu'avec l'ensemble de l'échantillon. Donc pour le coup, l'origine sociale n'est pas très déterminante.
Par ailleurs, je n'ai certes pas vu beaucoup d'étudiants faire face à des contraintes de crédit à l'ÉNS, mais j'en ai vu dans les TD que je donne. Dans ces TDs, près de la moitié des étudiants ont un travail à temps partiel. Chose intéressante, dans mon échantillon - non représentatif - les élèves les moins sérieux n'étaient pas ceux qui bossaient pour leurs études, mais ceux vivant chez leurs parents, et dont les revenus de leur petit boulot était du pur argent de poche.
J'ai soulevé dans le billet l'idée que la récompense était trop faible. Mais les budgets de recherche sont ce qu'ils sont...
Enfin, le groupe de contrôle est là pour vérifier l'effet de la seule existence de l'expérience. Or, le groupe à qui on n'a rien promis de plus a obtenu les mêmes résultats que les étudiants des années précédentes et suivantes. Donc, pas d'effet de l'existence de la seule expérience.
— leconomistedimanche, décembre 10 2006
12:35
"De fait, séparer l'échantillon selon les origines sociales plutôt que selon les résultats dans le secondaire donne des résultats encore plus mauvais qu'avec l'ensemble de l'échantillon."
— AJCC'est à dire...?
L'interêt ne serait-il pas de vérifier si les étudiants provenant de ménages plus modestes réagissent de manière plus intéressante que les étudiants provenant de ménages les plus aisés... ne serait-ce que pour garder en tête que l'importance de 200€ ou 600€, c'est très relatif.
Ou que, tout simplement, les étudiants provenant de ménages pauvres se foutent totalement d'une prime ou non : ce qu'ils veulent à la fin c'est leur année.
Concernant les étudiants provenant de milieux aisés, ils s'en foutent, mais encore plus : non seulement leurs parents pourront leur payer d'autres années d'étude mais 200€ ou 600€ ne représentent rien pour eux.
Encore une fois, il me semble que la récompense est bien trop faible par rapport aux frais de scolarité qui forment déjà une barrière à l'entrée de la fac.
Qu'est ce que tu appelles "mauvais", pour des résultats statistiques ?...
"Dans ces TDs, près de la moitié des étudiants ont un travail à temps partiel. Chose intéressante, dans mon échantillon - non représentatif - les élèves les moins sérieux n'étaient pas ceux qui bossaient pour leurs études, mais ceux vivant chez leurs parents, et dont les revenus de leur petit boulot était du pur argent de poche."
Il me semble qu'à mon niveau -non représentatif non plus, mais bon...- ce sont également ceux qui auraient le plus d'ennuis financiers s'ils rataient leur année qui bossent le plus.
Et je ne dis pas "qui ont les meilleures notes" : lorsqu'on a des difficultés pour vivre en raison de problèmes financiers graves ou que l'on exerce un travail à côté, on est pas nécessairement avantagé par rapport à ceux qui proviennent de milieux aisés et/ou intellectuels à la base.
L'incitation financière pourrait se trouver là , d'ailleurs, non ? ;o)
Dans le nombre d'heures travaillées "en sup'" de la moyenne des étudiants, dans les efforts fournis réellement, et non dans les résultats...
Faut bien être un économiste pour croire que le résultat de l'incitation se lira uniquement sur le taux de réussite ! :oD
"J'ai soulevé dans le billet l'idée que la récompense était trop faible. Mais les budgets de recherche sont ce qu'ils sont..."
Cela ne biaise justement pas les résultats ? :oD
C'est bien joli de signaler que les budgets de recherche sont ce qu'ils sont. C'est compréhensible.
Mais si ce budget ne permet pas de dégager une incitation financière suffisamment intéressante pour que l'on réagisse de manière "importante", ne vaut-il mieux pas éviter de conclure sur la sensibilité des étudiants aux incitations financières ? :o)
(Parce qu'il y a une différence, hein... très très très légère, mais visible. Il faudrait réitérer l'expérience avec 1300€ et 2000€... :oD)
A côté de cela, des étudiants en économie sont-ils réellement représentatifs de leurs collègues étudiants en sociologie, sciences "dures", histoire, etc ?
Au début je trouvais cette expérience intéressante mais au final j'ai plus l'impression que des économistes ont fait mumuse avec quelques milliers d'€ ne permettant pas de prouver ou d'arriver à grand' chose. ("Présentons une récompense à des étudiants pour voir s'ils réagissent. Tant pis si c'est peu représentatif, 254 étudiants sur l'ensemble des étudiants du pays, tant pis si on a pas le fric pour constituer une récompense intéressante...")
Bref, les conclusions et le raisonnement présenté me semblent plus simplistes qu'autre chose... quant à la méthode... bah... je crois que je vais essayer de me procurer l'article. Histoire de me faire une idée plus sympa de l'expérience.
Je vais zieuter un peu sur le site que tu nous as filé en lien. J'ai l'impression qu'il faut s'inscrire... et tout... hum... vais voir ça durant ma journée de révision. :o)
Amicalement,
AJC
PS : truc bête et méchant...
Cela n'existe pas des économistes qui font appels à des psys histoire de leur demander conseil sur la bonne tenue d'une expérience scientifique ? :o)