formation – Mathieu Nebra

Comment les diplômés d’OpenClassrooms sont validés

Je reçois souvent des questions sur la façon dont on valide les compétences des étudiants sur OpenClassrooms. Quand on n’est pas habitué à notre façon de former en ligne, on a de quoi être sceptique :

Qu’est-ce qui prouve que l’étudiant a bien suivi les cours ?
Qu’est-ce qui prouve que l’étudiant n’a pas triché à ses examens avec des antisèches ?
Et d’ailleurs, qu’est-ce qui prouve que c’était bien lui et pas un ami qui répondait aux questions ?

Pour certains, l’examen en salle (comme au Bac) reste le plus sûr. Un surveillant passe dans les rangs, les portables sont interdits et les calculatrices ne doivent surtout pas être trop puissantes. Vous noterez que tout cela n’a jamais vraiment complètement empêché la triche (il faut dire que les étudiants peuvent être inventifs !).

Spoiler alert : la triche existe partout, y compris sur OpenClassrooms. Mais nous avons développé avec le temps un système solide que je vais vous présenter ici.

Un contrôle continu par projets

Nous avons opté pour un contrôle continu strict plutôt qu’un méga examen final. Cela nous paraît bien plus adapté.

Il faut savoir que chaque formation diplômante est articulée autour de projets à réaliser, une dizaine environ. De nombreux cours sont disponibles pour aider à compléter ces projets, mais leur lecture n’est pas obligatoire.
C’est d’ailleurs une des décisions les plus contre-intuitives et les plus importantes que j’aie eu à prendre. La lecture des cours ne prouve en effet pas grand chose, mais réaliser un projet prouve en revanche qu’on sait mettre en oeuvre des compétences.

Les multiples niveaux de validation

La validation suit plusieurs étapes. A chacune d’elles correspond une validation supplémentaire :

L’étudiant est accompagné par son mentor chaque semaine en visioconférence. Le mentor est un expert du métier. Il voit l’étudiant progresser petit à petit sur le projet, le conseille, l’encourage. Il prend des notes sur ses progrès, alerte quand l’étudiant risque de décrocher.
Lorsque le mentor estime que le projet est terminé, il passe la main à un évaluateur, un autre expert choisi aléatoirement.
L’évaluateur interroge l’étudiant sur son projet en visioconférence en direct. La vidéo est enregistrée et ajoutée au dossier de l’étudiant. On lui demande comment il a fait, on lui pose des questions pour vérifier qu’il maîtrise son projet. Souvent, cela prend la forme d’un jeu de rôle.
Si l’évaluateur considère que l’étudiant n’a pas entièrement acquis les compétences, il l’invite à améliorer son projet. Cela arrive à la plupart des étudiants et n’est absolument pas considéré comme un échec.
Dès que le projet est validé, l’étudiant passe au projet suivant avec son mentor. Les étapes 1 et 2 sont donc répétées jusqu’à ce que tous les projets soient validés.
En parallèle, des évaluateurs sont invités à regarder des vidéos de soutenance aléatoires et à donner leur avis : auraient-ils validé ce projet-là ou non ? Ils ne savent pas ce que l’autre évaluateur a décidé, ce qui nous permet de repérer des écarts.
A tout moment, en cas de suspicion de fraude, on peut nous alerter via un système de signalement (whistleblowing). Nous enquêtons le plus souvent pour des suspicions de plagiat (qui ne sont pas toujours avérées).
Ce n’est pas fini ! Une fois tous les projets validés, le dossier de l’étudiant passe entre les mains du jury du diplôme. Le jury est composé d’experts du métier, de recruteurs et de l’équipe pédagogique d’OpenClassrooms avec un mentor. Ce jury regarde les documents à sa disposition :
- Les notes hebdomadaires du mentor sur le progrès de l’étudiant
- Les documents et projets réalisés par l’étudiant
- Les vidéos des sessions de validation
Si le jury rend un verdict positif sur son travail, l’étudiant se voit délivrer son diplôme. Ouf !
En cas de doute, le jury demandera à l’étudiant de réaliser un projet supplémentaire et à le rencontrer si nécessaire. Cela arrive rarement (moins de 5% des cas en moyenne) car le système de validation continu est rigoureux, mais cela arrive.

La validation multi-niveaux d’OpenClassrooms

Un système solide… qui ne peut être 100% parfait

Comme vous le voyez, le système de validation multi-niveaux d’OpenClassrooms est assez unique en son genre. Il est exigeant et rigoureux. Je ne suis pas objectif puisque j’ai contribué à le mettre en place, mais je le pense sincèrement : de multiples garde-fous sont présents tout au long du processus.

Est-ce un système parfait pour autant ? Non. Par ailleurs, nous avons régulièrement des alertes d’étudiants qui auraient plagié les projets d’autres étudiants via notre système de whistleblowing. Parfois ce sont de fausses alertes, parfois ce sont de vrais cas qui nous poussent à intervenir. Mais pour moi, c’est aussi un signe que le système fonctionne : on ne peut pas empêcher les tentatives de triche, mais on peut les repérer.

Toutes ces vérifications ont un coût que nous assumons car cela nous semble être la chose juste à faire. Nous allons continuer à améliorer ce système avec le temps, en particulier l’analyse aléatoire en double aveugle entre évaluateurs qui vient de démarrer cette année !

Et pour vous, qu’est-ce qui fait un bon système d’évaluation ?

Quel est l’impact du test d’admission sur la réussite des étudiants ? 🧪

Qu’est-ce qu’une bonne formation ?

Est-ce une formation dont les étudiants ont un bon taux de réussite ? Mais alors, devrait-on viser les 100% de taux de réussite ?

Voilà un moment que je me dis qu’on a suffisamment de matière sur OpenClassrooms pour contribuer à la discussion publique autour de l’Education. Bien sûr, on a un biais, c’est évident, mais est-ce que ça devrait nous empêcher de partager ce qu’on apprend ?

Au pire, les retours nous aideront à repérer nos erreurs.
Au mieux, ce que nous apprenons pourra être utile à d’autres.

Cela fait des années que des chercheurs essaient de trouver les ingrédients qui font qu’une formation est efficace. Nous voulons tous augmenter les chances de réussite des étudiants. Le problème, c’est qu’on n’a pas trouvé de moyen simple de le faire (à part donner des diplômes en chocolat à tout va, bien sûr 🍫).

On l’a vu, proposer des cours en ligne gratuits et ouverts à tous, comme des MOOCs, n’est pas une solution magique. De très nombreux cours sont désormais accessibles à tous en ligne, que ce soit sur YouTube ou bien sur OpenClassrooms où les cours sont gratuits depuis le premier jour. Mais le sujet de l’accessibilité de l’Education n’a pas été résolu pour autant.

Je me suis donc dit que ce serait une bonne idée de faire de la recherche sur nos données et de partager ces résultats. Même si je n’ai pas d’expérience en recherche, même si je sais que c’est loin d’être parfait, je me suis dit qu’il fallait bien commencer quelque part.

Notre première analyse porte sur l’impact du processus d’admission sur la réussite moyenne des étudiants. Parfois, nos étudiants passent par un processus d’admission, parfois ce n’est pas le cas. Est-ce que les étudiants qui passent par ce processus d’admission, par cet examen d’entrée, ont plus de chances de réussir leur formation que les autres ?

Après tout, pourquoi faire des tests à l’entrée dans les écoles ? On pourrait (en théorie) laisser sa chance à tout le monde. C’est d’autant plus vrai pour les écoles en ligne comme OpenClassrooms, où les problématiques de places disponibles se posent moins.

Sauf que voilà, ce n’est peut-être pas une bonne idée non plus. Cela voudrait aussi dire que beaucoup d’étudiants démarreraient la mauvaise formation, échoueraient et perdraient du temps. J’ai voulu savoir si, au fond, le processus d’admission aidait à augmenter le taux de réussite moyen d’une formation. Il semble que oui : en moyenne, les étudiants qui passent par un processus d’admission au début ont 62% de chances de plus de réussir leur formation.

Cependant, ce n’est pas aussi simple que ça. D’autres facteurs semblent jouer dans la réussite : le suivi par un mentor, avoir un tuteur en entreprise, avoir déjà un bon niveau scolaire, avoir un rythme clairement défini… Nous ne savons pas à quel point ces éléments jouent, mais nous comptons creuser cela lors de futures recherches.

En attendant, vous pouvez librement consulter cette analyse en ligne (en anglais). N’hésitez pas à réagir, à me dire ce que vous en pensez et à poser des questions ! Il y a beaucoup de matière et j’aimerais vraiment que cela puisse servir à d’autres écoles, aux étudiants comme aux pouvoirs publics, pour les aider dans leurs décisions.

Lire le document de recherche:
« How does the presence of an admission process impact students’ likelihood of success?«

Photo by Joyce McCown on Unsplash

Comment je suis devenu étudiant sur OpenClassrooms à mon tour

Dans le monde des startups, il y a une expression qui circule que j’aime beaucoup : « Eat your own dog food » (qu’on pourrait traduire poliment par « Mangez votre propre soupe »). L’idée est que, si votre produit est aussi bon que vous le prétendez, vous devriez le consommer vous-mêmes. Je ne sais pas d’où vient l’expression (d’un producteur de nourriture pour chiens j’imagine ?) mais elle a le mérite d’être directe !

J’ai souvent consulté des cours sur OpenClassrooms mais ces cours sont gratuits. On ne les vend pas. Le produit que l’on vend, ce sont les formations organisées autour de ces cours, qui amènent à un diplôme. Elles consistent à réaliser des projets avec l’aide d’un mentor et des cours. Et ça, je ne l’avais jamais fait moi-même.

Pourtant, j’ai moi aussi besoin de me former régulièrement. Mon travail consiste aujourd’hui à piloter l’innovation de l’entreprise… et avec une boîte de 300 personnes maintenant, c’est un nouveau challenge pour moi.

Ca tombe bien : nous proposons une formation en anglais réalisée en partenariat entre OpenClassrooms et Stanford (une université dont vous avez normalement entendu parler 😅). Elle s’appelle Digital Transformation Lead.

Moi (en bas) concentré pendant ma soutenance !

Seul problème : cette formation complète est longue et je ne suis pas intéressé par tous les projets. Ca tombe bien, car on offre aussi la possibilité de faire un morceau de formation (juste 1 ou 2 projets) et d’obtenir un certificat pour ce morceau. Ce n’est pas encore particulièrement mis en avant mais ce sera prochainement le cas. En attendant, l’offre est proposée aux entreprises sous le nom de BOOST.

Je suis parti sur la formation BOOST « Change management » qui est donc un morceau de la formation Digital Transformation Lead avec Stanford.

Je me suis donné 3 mois à la fin de 2020 pour faire cette formation, basée sur un unique (mais gros) projet. Il m’aura fallu un peu plus de 2 mois en pratique.

Ce que j’ai pensé de ma formation

Il n’y avait qu’un projet… mais quel projet ! Il était très complet, assez difficile mais vraiment bien conçu. Il donnait assez de latitude pour aborder le problème comme on le souhaitait, ce que j’ai beaucoup aimé.
J’ai repéré quelques petites incohérences dans l’énoncé que l’on a pu rapidement corriger après discussion avec mon mentor. Il faut dire que j’étais parmi les premiers étudiants sur ce projet !
J’ai eu une excellente expérience avec mon mentor Mike. Il était très sympathique, prévenant et bien informé. Il a été un élément essentiel pour ne pas dire pivot de ma réussite.
Je ressors d’autant plus convaincu que le fit entre le mentor et l’étudiant est essentiel. Pour ça, il faut s’assurer que l’on a des relations de qualité. J’ai plein d’idées pour cela et on va commencer des premiers tests bientôt.
Je n’ai pas utilisé tous les cours. Ceux-ci ne sont pas obligatoires pour valider la formation, c’est une des spécificités d’OpenClassrooms. Je pense que cela dépend des étudiants : certains adorent et veulent tous les faire, d’autres veulent aller plutôt droit au but (je suis de ceux-là). C’est l’avantage des formations OpenClassrooms : elles ne nous forcent en rien. Si un cours ne nous intéresse pas on peut l’ignorer ou en suivre un autre. Apparemment, d’autres étudiants sur le même parcours ont consommé tous les cours avec avidité. Moi je n’en ai pas ressenti autant le besoin.
J’ai ressenti beaucoup de plaisir à valider ma formation après la soutenance à la fin. Je pense qu’on pourrait jouer encore plus sur l’effet de plaisir que suscite la réussite sur OpenClassrooms : j’ai juste été informé par email, je n’aurais pas craché sur un tonnerre d’applaudissements. 😆

Un aperçu d’une présentation que j’ai dû créer parmi la dizaine de documents à livrer

J’en ressors avec une certaine fierté, comme tous les étudiants je pense : c’était du boulot !

Ca me sera utile dans mon travail au quotidien. Au passage, j’ai pu repérer des petits détails à corriger en cours de route, ça m’a donné de nouvelles idées pour OpenClassrooms… et surtout j’ai vraiment apprécié l’expérience.

Il y a encore du boulot pour qu’on s’améliore, bien sûr. Il y aura toujours du boulot. Mais je sais que je recommencerai. Je reprendrai de la soupe. 😋

La conception « inversée » des formations sur OpenClassrooms

Depuis ses débuts en 1999, OpenClassrooms (auparavant « Site du Zéro ») concevait uniquement des cours en ligne dans un format en self-service. A partir de 2013, nous avons progressivement développé des formations diplômantes avec une approche centrée sur l’employabilité des étudiants.

Concrètement, nous considérons avoir réussi notre travail uniquement si les étudiants trouvent un métier à la fin. Ce n’est pas un hasard si le nombre d’emplois créés est la première métrique suivie chez OpenClassrooms, au même niveau que le chiffre d’affaires.

Dans le système éducatif que nous connaissons tous, en temps normal un étudiant :

Suit des cours
Valide ses connaissances avec un examen diplômant
Cherche ensuite un travail

L’école produit d’abord les cours, ensuite les examens et laisse les étudiants chercher un travail à la toute fin.

Nous avons pris le parti d’inverser cette logique et de commencer par le métier que l’étudiant pourrait exercer. Ce schéma issu de nos documents internes résume notre méthodologie :

Nous procédons donc comme ceci :

Nous recherchons les métiers les plus demandés sur le marché. Pour cela, nous utilisons des sources aussi variées que les annonces d’emploi ou des agrégateurs tels que Talent Neuron. Les métiers moins demandés ne font pas partie de notre stratégie : nous privilégions les métiers en tension, c’est-à-dire où les recruteurs ont des difficultés à trouver les bons talents.
Nous extrayons les compétences du métier sélectionné. Nous conduisons une analyse approfondie du métier en rencontrant des experts et des recruteurs. Souvent, les entreprises utilisent le même terme comme « Data Scientist » pour exprimer des missions très différentes. Notre rôle est ici de faire un choix éditorial : en moyenne, quelles sont les compétences attendues pour le métier visé ?
Ensuite, nous concevons les projets qui permettront aux étudiants de montrer qu’ils ont acquis ces compétences. Les projets sont inspirés de vraies missions dont les étudiants pourraient avoir la responsabilité. Un projet valide une ou plusieurs compétences à la fois (rarement plus de 4 ou 5 compétences).
Viennent enfin les cours. Une fois les projets définis, nous nous interrogeons : de quelles ressources les étudiants auront-ils besoin pour réaliser ces projets ? Nous créons nos propres cours que nous diffusons tous gratuitement sous licence libre Creative Commons. Nous n’hésitons pas aussi à lister d’autres ressources utiles afin que les étudiants prennent l’habitude de varier leurs sources.

La création des contenus proprement dits intervient donc en dernier à l’étape 4. C’est l’étape la plus longue et la plus coûteuse (et, paradoxalement, les cours eux-mêmes ne sont pas vendus chez OpenClassrooms). Cependant, tout cela n’a de sens que si les étapes 1 à 3 sont réalisées avec la plus grande rigueur.

Il faut compter 3 mois pour réaliser les 3 premières étapes, tandis que chaque cours prend environ 5 mois à produire avec l’aide d’experts métier, ingénieurs pédagogiques et vidéo. Si la production des cours peut être parallélisée, il faut néanmoins compter environ 1 an en pratique pour produire l’ensemble des cours d’une formation.

Les retours de nos étudiants et des recruteurs présents lors des jurys de fin de formation nous donnent des feedbacks utiles que nous intégrons en mettant à jour en continu notre référentiel de compétences, nos projets et nos cours.

Ce billet a été initialement rédigé pour les besoins du livre « L’évaluation de la formation – Pilotez et maximisez l’efficacité de vos formations » (3e édition, J. Pottiez, Dunod).