Cédric GREGOIRE: De quelle manière avez-vous pu attester de l'identité des personnes évaluées ?

Nous avons pris le parti de faire confiance aux étudiants. Cet élément est un facteur très bénéfique dans la valorisation des apprenants, du fait qu'il n'y a pas de suspicion "à priori".
Il est à noter que 20% des étudiants ont nécessité des communications particulières via mail ou forum, il est difficile de penser que ces personnes ne se sont pas impliquées en nom propre pour s'approprier le dispositif et faire part de contraintes ou difficultés.
Un étudiant dénoncera un plagiat ou une usurpation d'identité, s'il le vit comme un sentiment d'injustice par rapport aux autres étudiants qui fournissent un travail, si une notation positive est accordé. On peut donc s'appuyer sur ce type de levier pour que la régulation entre étudiants soit une réalité, A moins de déployer des moyens technologiques importants, le contrôle 100% reste impossible. C'est uniquement un problème de moyens financiers.

Carlos Bohorz: Les critères d'évaluation (dans les grilles) ont été conçus par qui?
Par l'enseignant chercheur Pascal Da Costa.

Marion VINCENOT: les notes données par les pairs sont elles validées par les formateurs ? les formateurs évaluent-ils le travail des pairs ? (les 1 tiers)
Chaque travail est évalué par 4 autres groupes. En cas d'écart type de 20% , l'enseignant à procédé à une révaluation, et à modifié la note obtenue sur le travail remis, qui est la moyenne des 4 évaluations effectuée.
Marion VINCENOT: les pairs corrigent-ils un ou plusieurs travaux ?
Plusieurs, chaque équipe corrige 4 travaux et doit se mettre d'accord pour chaque évaluation.

Patrick Lachassagne: Les évaluateurs ont-ils été valorisés pour la qualité de leur évaluation ?
Oui dans la mesure ou la qualité de l'évaluation est notée.

Martine Guillois: le plugin développé est il disponible sur MOODLE
Le plug'in team n'est pas disponible actuellement sur moodle.org, il est déployé sur deux dispositifs : celui d'ActiveProLearn (http://www.activeprolearn.com et http://demo.formation-enligne.com) et celui d'une autre société.

Rémi BACHELET: avez-vous des informations sur la mise en place technique de l'évaluation par les pairs sur OpenEdX ?

Je sais que c'est en cours de développement, mais ni à quel horizon, ni les fonctionnalités qui seront possibles.

Marie-Eve Charpentier: Selon vous, cette évaluation est-elle possible avec des lycéens ou jeunes étudiants ?
Oui , sous réserve que la discipline s'y prête, et que les critères soient très explicites.

Patrick Lachassagne: Avez-vous testé un module d'évaluation par les pairs sur EDX Fun ?
Non pas sur EDX FUN, mais sur de nombreux autres dispositif. Quand l'évaluation par les pairs existe, c'est un dispositif de 1 à N pas de N à N, et il n'y a pas de constitution libre d'équipe en amont, les documents à évalués sont attribués aléatoirement.

Patrick NOLEO: Comment mettre en place ce type d'évaluation aux seniors et publics en situation d'illettrisme ? Nous travaillons sur les compétences numériques A mon sens si la maîtrise de la lecture n'est pas acquise ou a été perdue, il y aura un très gros travail amont pour une adaptation graphique et ergonomique pour que ce soit viable, donc il faudra examiner en avant projet le ratio bénéfices attendus sur le plan pédagogique/investissements à consentir....

Franck Henry: Les Mooc n’ont pas inventé l’évaluation par les pairs. L’interface technique permet « d’optimiser la massification ». Centrale envisage-t-il de faire de l'évaluation par les pairs en formation "classique" ?
Des informations dont je dispose, le dispositif sera encore utilisé/éprouvé dans le cadre des cours suivants : MOOC DD, Cours Technico-économie de l’énergie, SPOC (Small Private Online Course) sur les « Enjeux environnementaux du XXIe s. »

Alain Berard: Sur Edx Fun, il n'est pas possible de déposer des fichiers, c'est de la redaction online
Oui, nous proposons de notre coté les deux modalités : Rédaction online ou dépôt de document pour lequel on peut ajuster pas mal de paramètres.

PELVILLAIN NADINE: Et était-ce une intention pédagogique formulée au départ ?
83% des étudiants ont répondu que cette évaluation leur à permis de mieux comprendre travail de rédaction d'un article de vulgarisation scientifique, mais il n'a pas été posé de question ouverte sur ce point à ma connaissance.

Philippe Inowlocki: Spontanément, nous avons tous l'intuition que les connaissances disciplinaires ne peuvent pas être évaluées par les pairs, ce qui peut être évalué c'est les démarches de projet, les aspects de création, d'invention, d'innovation personnelle ou collective ? Comment formuleriez vous le champ d'application du tutorat par les pairs ? merci !
L'évaluation par les pairs était effectivement une intention pédagogique de départ, pour "coller" à la mise en situation réelle ou les étudiants se constituent en groupes de travail en début d'année et font de nombreux travaux communs tout au long du cursus. On est sur l'évaluation des connaissances dans la mesure ou les étudiants se retrouvent "juges" du contenu sur le sujet précis retenu, qui est issue d'une compilation de source que l'on a demandé aux étudiants de citer , mais avoir obligation de leur faire confiance de leur capacité à qualifier ces sources, ce qui peut et doit faire l'objet d'une formation en ce sens de mon point de vue.
On est aussi sur la démonstration de compétences avec la démonstration de capacités d'analyse et de synthèse et l'appropriation du numérique en transverse.
MEIRIEU (1990) fait bien le lien entre capacité et contenus : .." Aucune capacité n'existe à l'état pur et toute capacité ne se manifeste qu'à travers la mise en œuvre de contenus."

Brunö Sundström: L'étudiant sait-il qui l'a évalué ? Peut-on craindre un "retour d'ascenseur" ?
Non, nous avons mis en oeuvre une évaluation totalement anonyme, même si le dispositif permet la visibilité si on le souhaite.
Bien sur, la valeur confiance est un prérequis, dans la mesure ou il est impossible de contrôler si au sein d'un document déposé, les étudiants n'ont pas renseigné leurs noms, mais cette interdiction à été posée au départ, et des vérifications aléatoires effectuées ils ressort qu'ils ont tous joués le jeu.

Patrick Lachassagne: Avez-vous evalué des productions collectives-collaboratives des étudiants ?
Si la question est de savoir si j'ai déjà procédé moi même à ce type d'évaluation, la réponse est oui, dans le cadre de la supervision de travaux d'étudiants ingénieurs des Mines d'Alès. Si la question est de savoir si j'ai évalué des travaux dans le cadre de ce MOOC, la réponse est non, car il faut une "expertise métier" en matière de Développement Durable dans ce cas d'usage.
http://fr.slideshare.net/bachelet/emoocs2015-does-peer-grading-work-r-bachelet Qu'est-ce que tu penses de nos préconisations par rapport à ton expérience à toi ?
Suivant la taxonomie de Bloom, en effet, il y à matière pour les étudiants de mettre en pratique leurs capacités de compréhension, d'analyse et de synthèse.
Ils peuvent au delà du fond, juger du niveau de vocabulaire, de formulation et de qualité sémantique d'une autre rédaction que leur rédaction de groupe, sans parler de l'appropriation d'un dispositif numérique de formation.

Ils se confrontent également à des deadlines précises, et à leur capacité d'organisation " off line" pour un rendu "online".
Il est à préciser que ce changement de paradigme nous à poussé à proroger de 8 jours le rendu des travaux et donc la date limite d'évaluation pour "récupérer" les retardataires, rompus à la négociation avec le corps enseignant sur le respect des dates limites. Les raisons invoquées étaient majoritairement leur implication dans de nombreuses activités parallèle au cursus suivi (associations, voyages d'études par exemple) .
Ils sont poussés dans leur retranchement pour à la fois être autonomes sur le plan organisationnel et dans un esprit de collaboration sur le plan du travail. Les étudiants avaient à charge de décider qui serait leader ou coéquipier lors de la constitution des groupes .
Donc la notion de responsabilité à été mise en œuvre dans le sens ou le leader d'équipe avait un rôle accru vis à vis de son ou ses coéquipiers car c'est lui qui avait à charge une fois ce rôle choisi, de déposer le travail collectif et d'initier les évaluations attribuées à son groupe.
Cela rejoint la situation de subordination et de responsabilité qu'on va rencontrer en entreprise. Hors je suis convaincue que toutes les études doivent être pensées dans le sens d'une insertion future sur le marché du travail en terme de savoir-être autant qu'en terme de connaissances.
J'abonde dans ton sens , des ressources spécifiques amont sont à fournir pour chaque évaluation à faire "construire" par les apprenants. Des tutos, des forums spécifiques sot indispensables. La guidance sur le dispositif est aussi un facteur majeur de réussite.
Enfin la grille de critères avec les barèmes à utiliser est le point clé pour que les attendus soient clairs, précis et prêtent le moins possible à une interprétation subjective.
La valeur ajoutée majeure de notre innovation réside cependant à mon sens dans la notion d'évaluation collective et non plus individuelle.( ). Elle seule permet une confrontation pour aboutir à un consensus au sein d'un groupe donné pour le rendu qualitatif d'une évaluation.
L'idée que tu soumets de demander à un groupe d' étudiants de s'auto évaluer après avoir procédé à l'évaluation de travaux d'autres groupes me semble un formidable moteur de progression et de prise de recul sur soi. Nous avons choisi un réglage avec un algorithme "normal" plutôt que "strict" ou "très strict". Nous avons 5 possibles en tout. Ce réglage détermine à quel point la comparaison des évaluations doit être stricte. Plus la comparaison est stricte, plus les évaluations doivent être semblables afin d'obtenir une bonne note.
Mais attention cette évaluation n'a pas été déployée de façon massive, puisqu'elle concernait les seuls étudiants de centrale et pas tous les participants au MOOC .
Dans le cas d'une ouverture massive à tous les internautes, nous aurions sans doute choisi un réglage "indulgent" , sauf si en amont nous avions les moyens ( je ne parle pas là des moyens technologiques) de constituer des équipes par niveau (avec la problématique des critères de niveaux) et d'affecter les évaluations en en tenant compte.

Toutes les fonctionnalités sur http://www.activeprolearn.com