Ethics and responsibility in data science

Objectif

En présupposant une connaissance de base de l’éthique et du droit des données, ce cours propose un approfondissement adapté aux problèmes concrets que posent des projets de science de données de niveau avancé, et prépare les élèves à les gérer autant dans le cadre de leurs études qu’en vue d’une future insertion professionnelle. Il s’agit à ce stade d’aborder les enjeux éthiques et sociaux du numérique, des données, et plus spécifiquement de l’intelligence artificielle (IA), du point de vue des choix humains et des structures sociales qui les façonnent intrinsèquement, et qui agencent le travail des data scientists. Pour ce faire, les élèves apprendront à mobiliser les outils de la pensée critique et historique, issus des sciences humaines et sociales, pour reconnaître, analyser et idéalement re-façonner les contextes humains, politiques et économiques dans lesquels se produisent et s’utilisent les données. Les élèves des voies data science se prépareront ainsi à s'engager en tant que professionnels avertis et responsables dans les divers domaines de notre monde « datafié », tandis que les autres pourront approfondir leurs connaissances et renforcer leur capacité à participer aux débats publics et à l'orientation des choix technologiques.

A l'issue de ce cours, vous saurez :
• analyser comment la science des données transforme la vie individuelle et collective
• reconnaître l’influence des représentations, des normes et des valeurs sur le développement d’algorithmes et autres outils basés sur les données
• identifier les présupposés que véhiculent les algorithmes et les solutions « intelligentes »
• discuter les visions de l’avenir implicites dans les solutions existantes d’IA
• réfléchir à des résultats souhaitables et aux façons de les atteindre

Plan

Activités d'apprentissage et d'enseignement

Nous nous verrons pour quatre séances de trois heures, au cours desquelles les thèmes du cours seront abordés, en partie, sur la base de cas d’usage concrets, qui en illustrent la pertinence et les impacts potentiels. Dans l’impossibilité de couvrir exhaustivement l’ensemble des thèmes envisageables, le cours commence par un panorama assez général des enjeux, suivi d’un focus sur des grandes questions d’actualité, et se conclut avec la présentation de pistes de solution.

Plan

Séance 1 : Les enjeux sociaux d’un monde datafié

• Pourquoi une préoccupation croissante pour l’éthique en relation à la data science, le numérique et l’intelligence artificielle

• Des débats très médiatisés : biais, discriminations, injustices...

• Les initiatives en cours et leurs limites : foisonnement de chartes éthiques ; solutions techniques (par exemple, recherche sur la fairness algorithmique)

• Polémiques sur le « ethics washing », réglementation lacunaire voire absente

• Valeur d’une approche holistique – prenant en compte l’ensemble des systèmes socio-politico-économiques dans lesquels s’intègre la technologie

Séance 2 : Le coût des inputs

Première partie : Technologie et développement durable

• Les coûts environnementaux et matériels du numérique ; impacts directs et indirects

• La consommation énergétique des algorithmes ; mesurer coûts et bénéfices

• La supply chain de l’IA dans une industrie extractive mondialisée

Deuxième partie : Données, vie privée et surveillance

• Tensions entre le besoin de protection des données personnelles et le modèle économique des technologies data-intensive

• Dérives des systèmes de surveillance

• Limites des solutions existantes, aussi bien juridiques que techniques

Séance 3 : Intelligence artificielle, emploi et travail

• Des robots remplaceront-ils des travailleur.se.s ?

• Le « data work » au service de l’IA : une dégradation des conditions de travail et des rémunérations, déjà à l’œuvre

• Un système de production qui creuse les inégalités

Séance 4 : Que faire ?

• Une éthique « de bout en bout »

• Repenser la gouvernance : les systèmes de « commons »

• Formes de « data-activisme », réappropriation, et dialogue

Références

Ananny M. & Crawford K. 2018. Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society, 20(3): 973-989.

Buolamwini J. & Gebru T. 2018. Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81: 77-91, https://proceedings.mlr.press/v81/buolamwini18a.html

Casilli A.A. & Tubaro P. (2023, à paraître). An end-to-end approach to ethical AI: Socio-economic dimensions of the production and deployment of automated technologies. In L. Robinson & S. Rogerson (éds.) Handbook of Digital Social Science, Edward Elgar.

Dulong de Rosnay M. & Musiani F. 2020. Alternatives for the Internet: A journey into decentralised network architectures and information commons. tripleC: Communication, Capitalism & Critique, 18(2): 622-629

Hanna A., Denton E., Smart A. & Smith-Loud J. 2020. Towards a critical race methodology in algorithmic fairness. Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency (FAT* '20), ACM, 501–512

Jobin A., Ienca M. & Vayena E. 2019. The global landscape of AI ethics guidelines. Nature Machine Intelligence, 1: 389–399

Miceli M., Schuessler M. & Yang T. 2020. Between subjectivity and imposition: Power dynamics in data annotation for computer vision. Proceedings of the ACM on Human-Computer Interaction. ACM, 1, 1, Article 115, https://dl.acm.org/doi/pdf/10.1145/3415186

Raji I.D., Scheuerman M.K. & Amironesei R. 2021. ‘You can’t sit with us’: exclusionary pedagogy in AI ethics education. Proceedings of the ACM FAccT ’21 Conference, 515–525.

Strubell E., Ganesh A. & McCallum A. 2019. Energy and policy considerations for deep learning in NLP. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 3645-3650. Association for Computational Linguistics

Tubaro P. & Casilli A.A. 2022. Human listeners and virtual assistants: Privacy and labor arbitrage in the production of smart technologies. In F. Ferrari & M. Graham (eds.), Digital Work in the Planetary Market, MIT Press, pp. 175-190