Journée Reproductibilité en Sciences

jeudi 4 avr. 2024, 09:00 → 17:00 Europe/Paris

amphi Polytech Lyon (Campus La Doua)

Contexte

Cette journée "Reproductibilité en Sciences" est organisée par les Graduates Initiatives GI EIF, GI DIGITBIOMED, GI NEURO et GI BB  dans le cadre du projet  SFRI Graduate+ porté par l'université Claude Bernard  Lyon 1. 

Objectif

L’objectif de cette journée est double : confronter les regards et pratiques des disciplines sur le sujet afin de développer une réflexion interdisciplinaire sur le sens et les limites de ce concept, ainsi que sur les éléments communs ou au contraire distants selon les disciplines. 

La journée comprendra des présentations suivies d'une table ronde.

Programme (voir le détail page suivante) :

La liste des intervenants est la suivante:

1.  Benoît Pier :DR CNRS, LMFA

2.  Roberto Di Cosmo : INRIA

3.  Gaëlle Leroux : CNRS, CRNL

4.  Stéphane Dray : CNRS, LBBE

5.  Yoann Lafon : LBMC

6.  Sorina Camarasu Pop : CNRS, CREATIS

7.  Michel Kern : INRIA

Inscription

Dans le cadre des SFRI, la journée est ouverte à tous les étudiants, les enseignants, chercheurs et personnels de l'université et des établissements de l'ESR. La participation à cette journée est gratuite, mais l'inscription est obligatoire pour le buffet et souhaitable pour des questions d'organisation.  Pour s'inscrire, vous devez remplir le formulaire d'inscription en bas de la page.

Accès

L'accès peut se faire avec le TRAM T1/T4 (arrêt condorcet) puis en se dirigeant vers le bâtiment Polytech à la Doua (RC). (voir le plan d'accès ici)

Détail des présentations avec documents et photos

Vous trouverez sur la page suivante le détail des contributions de la journée avec les photos des intervenants (dans Compte-Rendu) et les présentations en pièce jointe.

Vous trouverez aussi en fin de page un compte rendu contenant quelques éléments de réflexion supplémentaires, en particulier sur la reproductibilité computationnelle.

Le comité d’organisation : 

Marc Buffat, Emmanuel Desouhant, Mohand-Saïd Hacid, Emiliano Macaluso

09:00 → 09:30 Acceuil des participants

09:30 → 09:45 Introduction

Introduction par Bénédicte Durand (SFRI Graduate +, Lyon1)

Orateur: M. Saïd Hacid (LIRIS)

09:45 → 12:20 Session 1

Président de session: M. Emiliano MACALUSO (NeuroSciences)

09:45 Science ouverte, où en sommes nous ?"

Recommandations/obligations de nos tutelles liées aux questions de reproductibilité

Orateur: M. Benoit Pier (CNRS, LMFA)

2024_04_04_JRS-Benoît-PIER.pdf

10:10 Réponse aux questions

10:25 L'archivage, le référencement, la description et la citation des codes sources de la recherche

L'usage de Software Heritage pour faciliter les tâches pour tous les EC/C/IGE concernés

Orateur: M. Roberto Di Cosmo (INRIA)

2024_04_04_JRS-Roberto-DI-COSMO.pdf

10:50 Réponse aux questions

11:05 Reproducibility & replicability in neuroImaging field"

Orateur: Mme Gaëlle Leroux (CNRS, CRNL)

2024_04_04_JRS-Gaelle-LEROUX.pdf

Reproductibilité et réplicabilité en neuroImagerie

11:30 Réponse aux questions

11:45 Reproductibilité en écologie: de la collecte de données à l'analyse

Bonnes pratiques (cahier de labo électronique, partage de données, suivi de version sur code/logiciel, programmation lettrée).

Orateur: M. Stéphane Dray (CNRS, LBBE)

2024_04_04_JRS-Stéphane-DRAY.pdf

 

12:10 Réponse aux questions

12:20 → 13:45 Déjeuner

Buffet sur la rotonde au 2nd étage pour les inscrits

13:45 → 15:40 Session 2

Président de session: M. Emmanuel DESOUHANT (LBBE)

13:45 Le Challenge international C4Bio

améliorer la reproductibilité d'expérimentations servant à la caractérisation de matériel biologique

Orateur: M. Yoann Lafon (LBMC)

2024_04_04_JRS-Yoann-LAFON.pdf

14:10 Réponse aux questions

14:25 Reproductibilité computationnelle

Définitions, défis, outils – le cas de l’imagerie médicale

Orateur: Mme Sorina Camarasu Pop (CNRS, Creatis)

2024_04_04_JRS-Sorina-POP.pdf

14:50 Réponse aux questions

15:05 Reproductibilité et HPC:

bilan du 52e forum ORAP sur les questions posées par le HPC pour la reproductibilité

Orateur: M. Michel Kern (INRIA)

2024_04_04_JRS-Michel-KERN.pdf

15:30 Réponse aux questions

15:40 → 16:30 Table ronde

1. Mathurin Massias (CNRS, LBMC ENSL) et Ghislain Durif (CNRS, LBMC ENSL)
   présentation de Computo, un journal de la Société française de statistiques promouvant la reproductibilité
   Computo: an academic journal in statistics and machine learning promoting reproducibility and alternative publication mode

2. Bertrand Kerautret (Pr Lyon 2, LIRIS) et ERIC Bois (CNRS, LIRIS)
   minisynthèse sur les points liés à l’axe Recherche Reproductibilité :
   Initiateur et organisation de la série des Workshop RRPR: https://rrpr2022.sciencesconf.org

Orateurs: M. Bertrand Kerautret (Lyon 2, LIRIS), M. Eric Bois (CNRS, LIRIS), M. Ghislain Durif (CNRS, LMC ENSL), Mme Soriba Camarasu (CNRS, Creatis)

2024_04_04_JRS-Bertrand-KERAUTRET.pdf

2024_04_04_JRS-Eric-BOIX.pdf

Computo: an academic journal in statistics and machine learning promoting reproducibility and alternative publication mode

Bertrand Kerautret (Univ. Lyon 2, LIRIS)

Eric BOIS (CNRS LIRIS)

16:30 → 16:45 Conclusion de la journée

Orateur: MARC BUFFAT (dpt de Mécanique et LMFA, Université Claude Bernard Lyon 1)

Quelques éléments de réflexion sur la reproductibilité computationnelle

Suite aux discussions lors de la table ronde de cette journée, vous trouverez ci-dessous quelques éléments de réflexion.

Reproductibilité des notebooks Jupyter (par Marc Buffat)

Liste de référence en biologie

• Samuel et al., 2024, Computational reproducibility of Jupyter notebooks from biomedical publications
• Samuel et al., 2022, Computational reproducibility of Jupyter notebooks from biomedical publications, 
  • preprint, https://arxiv.org/abs/2209.04308

Ces études montrent la très faible reproductibilité des notebooks python cités dans ces articles (moins de 5%). Cependant, en regardant l'article, 90% des problèmes de reproductibilité des notebooks python sont liés à une erreur d'importation de librairie (ModuleNotFoundError, ImportError and FileNotFoundError). 

C'est lié au fait que l'environnement python standard utilisé n'a pas installé toutes les librairies nécessaires. De mon point de vue, l'analyse faite est alors très biaisée ! En effet un des plus gros intérêts  de Python est son énorme liste de bibliothèques disponibles, et les personnes qui publient leur notebook ne spécifient pas toujours la liste explicite de toutes les bibliothèques utilisées.

En analysant le notebook, c'est en général assez facile à régler en installant la bibliothèque avec un : pip install libmanquante

Publication numérique avec des Notebooks  (par Marc Buffat)

Revue Scientifique utilisant des Notebooks Jupyter:

•  Journal of Digital History https://journalofdigitalhistory.org/en

journal scientifique international en accès libre (diamond access), avec une écriture d'articles en couche multiple, recherche en histoire utilisant une approche data-driven avec des notebooks jupyter.