crowdwork

M, le maudit chatbot (ou, de l’impossibilité de l’automation complète au lendemain de l’échec de l’assistant virtuel de Facebook)

L’année 2018 commence fort chez Zuckerberg. Facebook a décidé de mettre fin à l’expérience de son assistant virtuel, M. Par rapport aux autres chatbots sur le marché, M avait une particularité : il ne cachait pas la présence d’humains derrière les rideaux de l’automation, pour ainsi dire. Facebook allait jusqu’à intégrer cet attribut dans ses arguments de vente. M était présenté comme une intelligence artificielle « mue par des humains » (human powered).

Il s’agissait d’un logiciel qui envoyait des messages via l’application Messenger, initialement disponible pour un nombre limité d’usagers-testeurs (10 000 résidents de San Francisco) qui l’utilisaient surtout pour des opérations commerciales. La plupart des tâches réalisées par le chatbot nécessitaient de personnes pour assister, entraîner, vérifier ses réponses — et parfois se faire carrément passer pour M. D’où la suspicion que son nom ne soit pas un clin d’œil à l’assistant de James Bond, miss Moneypenny, mais une référence assez claire au “micro-travail”…

L’objectif de Facebook avec cet agent conversationnel était de développer une technologie d’intelligence artificielle capable d’automatiser presque n’importe quelle tâche (“Facebook put no bounds on what M could be asked to do“). C’est toujours la vieille promesse du machine learning : tu fais réaliser des tâches par des humains, puis “la machine” apprend et — bam ! tu te débarrasses des humains. Néanmoins, malgré les vastes ressources techniques de Facebook, le taux d’automation de M semble n’avoir jamais dépasse 30%. Presque trois quarts des tâches, donc, étaient effectuées par des petites mains payées à la pièce, entre San Francisco et Katmandou (si le bruit selon lequel elles étaient recrutées via le bureau népalais de la plateforme de micro-travail Cloudfactory était confirmé).

L’histoire de M contient une moralité pour toute entreprise qui développe ou achète des solutions de IA : quand on prend en compte le coût de the human in the loop, l’automation revient très chère. C’est à cause de l’importance de ces coûts (et de la médiocrité des résultats) que Facebook a définitivement décidé de discontinuer M en 2018.

L’autre leçon à retenir ici est que dans la mesure où l’objectif final de M était de préparer le développement de solutions IA qui auraient pu automatiser presque toutes les tâches que les usagers réalisent en ligne, l’automation complète s’avère être un fantasme de silconvallards. A chaque fois qu’on automatise une tâche, les êtres humains avec qui l’IA interagit en redemandent, et de plus en plus complexes. Comme Wired le souligne :

“Another challenge: When M could complete tasks, users asked for progressively harder tasks. A fully automated M would have to do things far beyond the capabilities of existing machine learning technology. Today’s best algorithms are a long way from being able to really understand all the nuances of natural language.”

Il faut alors recommencer et recommencer à concevoir-entraîner-tester-micro-travailler etc. Comme quoi, nous (autant les centaines de millions de tâcherons du clic sur les plateformes de micro-travail que les milliards de micro-tâcherons dissimulés que nous sommes sur les plateformes de médias sociaux) avons devant nous une longue carrière de dresseurs d’IA. Très longue. Interminable même, à en croire certains jeunes experts d’automation. Parmi eux, un nommé Ernest Mandel, lequel affirmait, dans un texte paru en… 1986 :

“Sous le capitalisme, l’automation complète, l’introduction de robots sur grande échelle sont impossibles car elles impliqueraient la disparition de l’économie de marché, de l’argent, du capital et des profits. (…) La variante la plus probable sous le capitalisme, c’est précisément la longue durée de la dépression actuelle, avec seulement le développement d’une automation partielle et d’une robotisation marginale, les deux étant accompagnées par une surcapacité de surproduction sur grande échelle (une surproduction de marchandises), un chômage sur grande échelle, une pression sur grande échelle pour extraire de plus en plus de plus-value d’un nombre de jours de travail et d’ouvriers productifs tendant à stagner et à décliner lentement. Cela équivaudrait à une augmentation de la pression à la surexploitation de la classe ouvrière (en faisant baisser les salaires réels et les prestations de Sécurité sociale), en affaiblissant ou détruisant le mouvement ouvrier organisé et en sapant les libertés démocratiques et les droits de l’homme.”

[Séminaire #ecnEHESS] Mary L. Gray “Amazon MTurk: les coulisses de l’intelligence artificielle” (10 avril 2017, 17h)

Enseignement ouvert aux auditeurs libres. Pour s’inscrire, merci de renseigner le formulaire.

Pour la séance du 10 avril 2017 EHESS Etudier les cultures du numérique, nous avons l’honneur d’accueillir Mary L. Gray, chercheuse chez Microsoft Research et membre du Berkman Center for Internet and Society de l’Université Harvard. Mary Gray a été l’une des pionnières des études sur Amazon Mechanical Turk et sur les liens entre micro-travail et intelligence artificielle.

Pour suivre le séminaire sur Twitter : hashtag #ecnEHESS.

ATTENTION : Le siège habituel étant fermé pour les vacances universitaires, cette  séance se déroulera le lundi 10 avril 2017, de 17h à 20h, amphi Opale, Télécom ParisTech, 46 rue Barrault, 13e arr. Paris.

Title: What is Going On Behind the API? Artificial Intelligence, Digital Labor and the Paradox of Automation’s “Last Mile.”

Speaker: Mary L. Gray

Abstract: On-demand digital labor has become the core “operating system” for a range of on-demand services. It is also vital to the advancement of artificial intelligence (AI) systems built to supplement or replace humans in industries ranging from tax preparation, like LegalZoom, to digital personal assistants, like Alexa. This presentation shares research that starts from the position that on-demand “crowdwork”—intelligent systems that blend AI and humans-in-the-loop to deliver paid services through an application programming interface (API)—will dominate the future of work by both buttressing the operations of future enterprises and advancing automation. For 2 years Mary L Gray and computer scientist Siddharth Suri have combined ethnographic fieldwork and computational analysis to understand the demographics, motivations, resources, skills and strategies workers drawn on to optimize their participation in this nascent but growing form of employment.  Crowdwork systems are not, simply, technologies. They are sites of labor with complicated social dynamics that, ultimately, hold value and require recognition to be sustainable forms of work.

La présentation et les débats se dérouleront en anglais.


Séminaire organisé en collaboration avec ENDL (European Network on Digital Labour).

[Slides séminaire #ecnEHESS] Mechanical Turk et le travail invisible des données (7 mars 2016)

Pour la séance du 7 mars 2016 de mon séminaire EHESS Etudier le cultures du numérique, j’ai eu le plaisir d’accueillir Jérôme Denis (Télécom ParisTech, co-auteur de Petite sociologie de la signalétique, 2010) et Karën Fort (Université Paris-Sorbonne, porteuse du projet ZombiLingo). Une intervention d’Elinor Wahal (Université de Trento) a complété leurs exposés.

Résumé : Les plus fervents avocats et les plus féroces critiques des projets de big data ou d’open data partagent l’idée que les données sont des entités informationnelles solides et puissantes. Qu’elles soient décrites comme un pétrole, comme un déluge, ou comme une technologie de gouvernance, celles-ci semblent toujours appréhendées dans un cadre positiviste, qui fait de leur existence et de leurs propriétés des évidences. Pourtant, celles et ceux qui « produisent, » «  saisissent »  ou « nettoient » des données savent que leur existence et leur circulation passent par des opérations délicates et coûteuses. Je propose d’explorer cet aspect méconnu des données en montrant d’abord que l’histoire de l’émergence des données dans les organisations est étroitement liée à la mécanisation et à l’invisibilisation du travail de l’information. À partir de deux études ethnographiques (dans une banque et dans une start-up), je mettrais ensuite en lumière quelques dimensions de ce travail et des conditions de son invisibilisation. À travers ce parcours, je tâcherai de donner à comprendre l’écologie du visible et de l’invisible qui est en jeu dans le processus fragile et incertain par lequel des choses très différentes, souvent indéfinies, deviennent progressivement et temporairement des données.

Résumé : Dans le cadre des travaux des étudiants du séminaire, une intervention sur les plateformes de micro-travail a été assurée par Elinor Wahal (EHESS/Univ. Trento).

Capture d’écran 2016-03-13 à 11.09.51

Karën Fort – Ce qu’Amazon Mechanical Turk fait à la recherche : l’exemple du Traitement Automatique des Langues

Résumé : La plateforme de myriadisation du travail parcellisé (microworking crowdsourcing) Amazon Mechanical Turk permet aux chercheurs de déposer des micro tâches (Human Intelligence Tasks) pour les faire réaliser par des travailleurs (des Turkers) pour une micro-rémunération. Le traitement automatique des langues (TAL) étant très gourmand en ressources langagières (lexiques, corpus annotés, etc), les chercheurs du domaine se sont rapidement emparés de cette plateforme pour produire des données à bas coût. Nous montrerons que cette évolution n’est pas sans conséquence sur la recherche, en termes de qualité et d’éthique. Enfin, nous présenterons les réactions et les alternatives proposées, notamment par le biais des sciences participatives et nous vous présenterons le projet Zombilingo.

 

[Podcast] Sur France Culture (29 janv. 2016)

Dans le Magazine de la Rédaction de France Culture du 29 janvier 2016, Nathalie Andrieux (CNNum) et moi-même étions les invités de Catherine Petillon et Tara Schlegel. Un débat serré sur les notions de travail, ubérisation, syndicalisme 2.0 et nouvelles trajectoires de l’emploi. Le tout précédé par un reportage qui s’attaque à la question ” qu’est-ce qu’aujourd’hui un collectif de travail dans le monde du travail bouleversé par le numérique ?” : nouveaux contrats, protection sociale, relations hiérarchiques…

 

» Ecouter ‘Comment travailler ensemble dans un monde numérique’ — France Culture (58 min)