digital labor

The real dangers of facial recognition: mass obedience and online labor exploitation

Facial recognition is a scam, but that doesn’t mean we should underestimate the threat it poses to freedom and fundamental human rights.

Case in point: Russian media MBKh discovered that Moscow police officers illegally “monetize” footage of 175,000 surveillance cameras on forums and messenger groups. For the equivalent of 470$, anyone can have access to facial recognition lookup services that, when provided with the picture of an individual, match it with passerby from hundreds of cameras, along with a list of addresses and times they were caught on camera. 

Interestingly enough, face recognition tech *does not work*, and the journalist has to grudgingly admit its low accuracy:

“As for the accuracy of the results, none of the photos returned were of the investigator. However, the facial features were similar to the input and the system assessed a similarity of 67%.”

According to the journalist, the explanation for this suboptimal performance is “the limited number of cameras connected to the face recognition algorithm”. Apparently, the sample is too small, but the technology is not fundamentally called into question…

Another explanation (often ignored by journalists, ever ready to believe the AI hype and therefore disregard its actual dangers) is introduced by a 2018 New York Times coverage of China’s surveillance-industrial complex: mass surveillance systems are not automated per se and are largely based on the intervention of crowds of micro-workers who cherry-pick millions of videos, cut out silhouettes of individual and tag metadata, fill in databases and annotate information:

“The system remains more of a digital patchwork than an all-seeing technological network. Many files still aren’t digitized, and others are on mismatched spreadsheets that can’t be easily reconciled. Systems that police hope will someday be powered by A.I. [emphasis added] are currently run by teams of people sorting through photos and data the old-fashioned way.”

“The old-fashioned way” here means “by hand”… Data annotation, triage, enrichment, especially for the computer vision models underlying face recognition algorithms, is a blossoming market. Recent research by Bonnie Nardi, Hamid Ekbia, Mary Gray, Sid Suri, Janine Berg, Six Silberman, Florian Schmidt, Trevor Paglen, Kate Crawford, Paola Tubaro and myself witnesses its development in sectors as diverse as home automation, transportation, advertising, health, entertainment… and the military. It is based on a workforce of hundreds of million of online laborers, alternatively called microworkers or crowdworkers. They work long hours, with precarious contracts and exploitative working conditions, and are paid very low wages (in some cases less than a cent per micro-task). Although they are attested in the global North, they are predominantly based in developing and emerging economies—such as Russia and China. But the companies that recruit them to package their annotated data and resell it as surveillance technologies, are mainly located in so-called liberal democracies. Despite the Chinese market supremacy, US, French, Japanese, Israeli and Finnish corporations are spreading these technologies all over the world, according to the 2019 AI Global Surveillance Index.

Despite the importance of these “humans in the loop” that constitute the secret ingredients of AI-based technological innovation, the threats of facial recognition, smart cities and predictive policing must not be minimized. The glorification of AI turns it into a powerful psychological deterrent and a disciplinary device. “The whole point,” explains an expert interviewed by the New York Times, “is that people don’t know if they’re being monitored, and that uncertainty makes them more obedient.”

Any action aimed to fight against the alleged omnipotence of these technologies begins with the recognition of their fictitious nature. If automated surveillance is made up of men and women who train, control and impersonate “artificial artificial intelligence“, it is from the awareness of their role in a dystopian and inhuman system that a change is going to come.

[Podcast] Débat Antonio Casilli, Jean-Gabriel Ganascia et Marine Al Dahdah sur automation et globalisation (16 oct. 2019)

Dans le cadre du cycle de conférences Les Débats du CAK, organisées depuis 2014 au Centre Alexandre-Koyré, j’ai eu le plaisir de débattre mon dernier ouvrage En attendant les robots. Enquête sur le travail du clic (Paris, Le Seuil, 2019) en compagnie de Marine Al Dahdah (sociologue au CEMSS CNRS et co-fondatrice du groupe de recherche « Digital studies in the Global South ») et de Jean-Gabriel Ganascia (informaticien et philosophe à la Sorbonne Université, et président du Comité d’éthique du CNRS).

Modération : Wolf Feuerhahn (CNRS, CAK).

Interview dans Sciences et Avenir (HS 35, 25 sept. 2019)

« Dans les usines à clic, des millions de petites mains bien humaines »

PROPOS RECUEILLIS PAR LOÏC CHAUVEAU

L’enrichissement continu des logiciels et des bases de données nécessite la contribution de « tâcherons » sans rémunération fixe ni droits sociaux. Une inflexion inquiétante du monde du travail. ANTONIO CASILLI Sociologue à Télécom Paris

page hors_serie_35

Selon vous, l’intelligence artificielle ne serait rien d’autre que du bluff?

Je ne me reconnais pas dans cette idée que l’on m’attribue parfois. Je dirais plutôt que, pour justifier des formes nouvelles de discipline du travail, pouvoirs politiques et économiques utilisent l’intelligence artificielle de façon idéologique. Quand ils en débattent, ces acteurs se concentrent sur les pertes d’emplois qui menacent les moins qualifiés. Mais pour peu que l’on regarde « sous le capot », on s’aperçoit que les masses de données nécessaires pour entraîner les machines sont introduites dans le système par des petites mains bien humaines! En Afrique, en Asie, de véritables « usines à clic » voient des millions de personnes nourrir des algorithmes de reconnaissance faciale, d’identification des objets pour les voitures autonomes, d’enregistrement de voix pour les enceintes connectées. Un travail que je qualifie de digital labor. Si quelqu’un n’apprend pas à une voiture autonome à quoi ressemble un piéton, celle-ci restera aveugle.

A-t-on une idée du nombre de personnes accomplissant aujourd’hui ce digital labor ?

Difficile de répondre, car il n’est pas toujours visible. On estime que, dans le monde, plusieurs dizaines de millions de personnes fabriquent des données. En France, notre projet Digital Platform Labor, qui a cherché à quantifier ce micro-travail, est arrivé au total de 260000 personnes inscrites à 23 plateformes proposant du travail « au clic ». Ce sont en majorité des femmes au foyer qui arrondissent leurs fins de mois avec ce travail faiblement rémunéré (moins de 300 euros par mois). Mais on peut y ajouter les 55 millions de Français qui, gratuitement, renseignent les Gafa en « likant », en répondant à un « Captcha » demandant de prouver que l’on n’est pas un robot. À chaque fois, la requête de l’internaute, sa géolocalisation, la consultation d’un site, un paiement, alimentent les bases de données sans lesquelles des technologies « intelligentes » n’existent pas.

Mais un jour, cet amoncellement de données finira bien par rendre ce travail inutile?

C’est l’argument entendu dans nombre de start-up : il arrivera un moment où les algorithmes auront ingurgité suffisamment de données pour parer à toutes les éventualités. Mais est-ce bien certain? L’intelligence artificielle arrivera-t-elle un jour à rivaliser avec le cerveau d’un enfant qui reconnaît immédiatement un chat d’un chien quel que soit leur aspect? En outre, le consommateur attend que le service qui lui est proposé soit toujours amélioré. Pour répondre à ces attentes, il est nécessaire d’enrichir en permanence les logiciels utilisés. Enfin, la concurrence pour vendre des objets « intelligents » est féroce. La course au « petit plus » qui permet de faire la différence oblige à relancer continuellement l’apprentissage des machines.

Quel est l’encadrement juridique de ces travailleurs?

Dans cette nouvelle économie, c’est le point le plus inquiétant. La relation salariale est mise entre parenthèses. C’est un travail « à la tâche ». Les nouveaux « tâcherons » ne bénéficient pas d’une rémunération fixe, ni de droits sociaux, ni d’une représentation auprès des donneurs d’ordre. Ils ne peuvent revendiquer la juste part de leur travail face à des plateformes bien décidées à capter l’essentiel de la richesse créée. La révolte des chauffeurs Uber ou des livreurs Deliveroo montre que ce système a cependant des limites.

http://diplab.eu/ Antonio Casilli, En attendant les robots, Seuil, 2019

[Vidéo] Leçon inaugurale année universitaire, département sociologie, Université de Genève (25 sept. 2019)

La Faculté des sciences de la société et le Département de sociologie de l’Université de Genève m’ont fait l’honneur de m’accueillir comme conférencier pour la leçon inaugurale de l’année universitaire 2019/2020.

Les poinçonneurs de l’IA. Le digital labor qui rend l’intelligence artificielle (im)possible

En 2003, le pionnier des systèmes experts Edward Feigenbaum qualifiait l’intelligence artificielle (IA) de « destinée manifeste » de nos sociétés. Ce slogan, emprunté de la doctrine politique du providentialisme américain, constitue un remède idéologique aux défaillances d’une discipline qui, depuis des décennies, n’arrive pas à s’attaquer à « la vraie majesté de l’intelligence générale ». Les déclarations des scientifiques, le buzz des investisseurs et les prises de position des décideurs politiques ne relèvent pas de la pensée magique : elles sont des vœux constamment renouvelés, non pas pour réaliser un objectif scientifique, mais pour affirmer une certaine vision du travail…

À l’occasion de la conférence de la rentrée de la sociologie, Antonio Casilli reviendra sur son dernier ouvrage : « En Attendant les robots. Enquête sur le travail du clic » (Seuil, 2019).

Les plateformes numériques mobilisent les compétences, le temps et les gestes productifs de leurs usagers pour produire de la valeur–et pour rendre possible l’automatisation. Des services de livraison express basés sur des applications mobiles aux plateformes de micro-travail comme Amazon Mechanical Turk, aux médias sociaux qui incitent leurs usagers à produire d’énormes masses de données personnelles, les usagers sont désormais mis à contribution pour entraîner des IA. Transcription, annotation, reconnaissance visuelle ou étiquetage de contenus : autant d’activités déléguées à des usagers sous forme de micro-tâches peu ou pas rémunérées. La recherche récente sur ces nouvelles formes de “digital labor” dresse un tableau surprenant des évolutions du marché du travail. À l’heure de l’automatisation intelligente, le travail humain est soumis à une pression pour le remplacement qui aboutit au résultat inattendu de pousser les usagers-travailleurs à réaliser des activités nécessaires de supervision de l’apprentissage des machines mêmes.

Mon ouvrage «En attendant les robots», Grand Prix de la Protection Sociale 2019

Mon livre En attendant les robots – Enquête sur le travail du clic, paru en janvier 2019 aux Éditions du Seuil, vient de recevoir le Grand Prix de la Protection Sociale 2019 décerné par l’École nationale supérieure de Sécurité sociale et la Caisse des dépôts.

La cérémonie de remise des prix a lieu le mercredi 9 octobre 2019, à 19h, à l’Hôtel de Pomereu, 67 Rue de Lille, 75007 Paris.

Inscription libre en renseignant ce formulaire.

L’autre lauréat du Grand prix pour cette années est Christophe Capuano, historien à l’Université Lumière Lyon 2, auteur de « Que faire de nos vieux ? Une histoire de la protection sociale de 1880 à nos jours ».

Interviewé dans l’enquête Mediapart sur assistants vocaux, digital labor et privacy (31 août 2019)

Le site d’information et d’enquête Mediapart publie les révélations depuis l’usine à “intelligence artificielle artificielle” de Siri, signées Jerome Hourdeaux. Le journaliste donne la parole aux micro-travailleurs français travaillant depuis le siège de Cork en Irlande d’un sous-traitant du géant de Cupertino, et met la main sur les documents qui attestent l’étendue des abus d’Apple. J’ai été interviewé dans le cadre de cette enquête et j’ai pu apporter mon éclairage à la publication de ces sources inédites.

Par-delà les risques psychosociaux qu’encourent les micro-travailleurs (isolement, TSPT, perte de sens), il y a un problème évident en termes de violation systématique de la vie privée des usagers des produits Apple. L’entreprise a depuis promis de mettre fin à ces pratiques. Crédible ? Pas vraiment, à mon avis.

La partie vraiment passionnante de l’enquête de Mediapart est la plongée dans le fonctionnement concret du micro-travail. Ça rassemble à quoi une micro-tâche de retranscription et d’annotation de conversations captées par une IA ? Comment se structure le workflow de Siri ?

Capture d’écran de l’interface pour la réalisation de micro-tâche de transcription de l’assistant vocal Siri. Source : Mediapart.

A cette révélation s’en ajoute une autre, celle-ci des plus inquiétantes. Les micro-travailleurs recrutés par Apple ne se limitent pas à retranscrire des phrases anodines que n’importe qui pourrait prononcer. Ils gèrent des données à caractère personnel qui identifient les usagers, lesquels font référence dans leurs conversations à noms, adresses, situations souvent sensibles. De surcroît, pour vérifier que Siri aie bien répondu aux requêtes formulées par les usagers, Apple donne à ses micro-travailleurs accès à tous leurs fichiers personnels via une fonctionnalité qui, selon Mediapart, s’appelle user data browser.

L’usage de ces données n’est pas restreint ni discret, puisque les assistants virtuels comme Siri ont besoin de millions d’exemples pour apprendre à interpréter une simple requête. Leur apprentissage machine nécessite la mise sur écoute systématique et massive des usagers. Ce n’est pas un accident ni le problème de la seule Apple.

J’ai eu l’occasion de l’affirmer ailleurs, et je le répète dans l’article de Mediapart : tous les GAFAM ont désormais été démasqués. Ils ont menti à propos du respect de la vie privée de leurs usagers, mais ils ont surtout menti sur l’artificialité de leurs intelligences artificielles.


Assistant vocal d’Apple: le calvaire des salariés

PAR JÉRÔME HOURDEAUX
ARTICLE PUBLIÉ LE SAMEDI 31 AOÛT 2019

Assistant vocal d’Apple: le calvaire des salariés

À la fin du mois de juillet, TheGuardian et El País révélaient que des centaines de personnes étaient chargées d’écouter les conversations d’utilisateurs de Siri, l’assistant vocal d’Apple, afin de corriger ses résultats. Après avoir suspendu le programme qui reprendra à l’automne, la société vient d’annoncer le licenciement de 300 salariés.

Alors que, acculé par les révélations sur l’écoute des utilisateurs de Siri, Apple vient de mettre à la porte plusieurs centaines de salariés, Mediapart a pu recueillir les témoignages de plusieurs d’entre eux et consulter des documents détaillant le travail de ces employés, chargés d’écouter les utilisateurs.

Au total, au moins 300 personnes travaillant pour des sous-traitants d’Apple à Cork, en Irlande, se sont vu notifier la fin de leur contrat vendredi dernier, rapporte mercredi 28 août The Guardian.

Cette annonce n’a pas vraiment été une surprise pour les salariés concernés. Depuis le 2 août, nombre d’entre eux avaient été placés en chômage technique après la révélation, par The Guardian et El País, de la nature réelle de leur travail : écouter les utilisateurs d’Apple parler à Siri. Cette intelligence artificielle, embarquée sur l’ensemble des appareils vendus par la marque à la pomme, permet d’activer une application, d’écouter de la musique, de faire une recherche sur Internet ou encore d’appeler un contact, simplement en donnant un ordre oral.

Les articles du Guardian et d’El País n’étaient pourtant pas en eux-mêmes des scoops. Plusieurs chercheurs avaient déjà expliqué que les intelligences artificielles le sont beaucoup moins que ce que leurs concepteurs prétendent. Incapables de réellement « apprendre » par eux-mêmes, les algorithmes ont besoin de centaines de milliers d’exemples, fournis par des êtres humains.

Les deux quotidiens rapportaient en revanche les témoignages inédits d’anciens salariés de sous- traitants d’Apple ayant passé leurs journées à écouter des conversations de clients et à noter la réponse apportée par Siri. De plus, révélaient-ils, les différents appareils sur lesquels est embarqué l’assistant vocal ont une fâcheuse tendance à activer celui-ci à tout bout de champ.

Les salariés chargés d’écouter les extraits sonores enregistrés par Siri tombaient ainsi régulièrement sur des échanges particulièrement privés, comme lors de relations sexuelles ou encore lors de ce qui semblait être un trafic de drogue. En réaction, Apple avait annoncé la suspension de programmes d’amélioration de Siri, le temps de revoir ceux-ci et de les reprendre, sous une forme modifiée, à l’automne prochain.

Depuis, Mediapart a également recueilli les témoignages de plusieurs ex-salariés ayant travaillé dans les locaux de GlobeTech, l’une des deux principales sociétés travaillant pour Apple à Cork (l’autre étant Lionbridge). Ceux-ci confirment les informations du Guardian et d’El País et donnent des détails supplémentaires.

Les centaines de personnes travaillant pour Globetech et Lionbridge étaient affectées à de multiples « projets » correspondant aux différentes phases de vérification et de notation de Siri. Ces différentes tâches nécessitaient des compétences et des niveaux d’accréditation différenciés permettant, pour certaines d’entre elles, d’accéder aux données personnelles contenues dans l’appareil de l’usager.

Chaque salarié étant soumis à une clause de confidentialité, il est très difficile de savoir à quoi correspond exactement chacun de ses projets. Mais plusieurs documents internes et témoignages d’ex- salariés recueillis par Mediapart permettent d’avoir une idée assez précise du rôle des humains au cœur du fonctionnement de l’intelligence artificielle et de leurs conditions de travail.

Les salariés travaillant directement sur Siri sont classés en deux principales catégories. Il y a tout d’abord les « language analysts », qui travaillent sur les « bulk data », les données brutes, c’est-à-dire les extraits audio livrés sans autre information.

La tâche de base correspond aux programmes « 1.000 hours » (1 000 heures) et se décline au sein de projets spécifiques en fonction de l’appareil : « 1.000 hours iPhone », « 1.000 hours iPad », « 1.000 hours CarPlay », etc. Le salarié, connecté à une interface sur un réseau interne d’Apple, a accès à l’enregistrement audio et, dessous, la transcription automatique qui a été faite par l’algorithme. Il doit se contenter d’écouter la séquence, appelée « itération », et de corriger les éventuelles fautes de retranscription.

Le nombre d’itérations nécessaires au bon fonctionnement de Siri est impressionnant. Dans les documents consultés par Mediapart, un tableau d’objectifs trimestriel donne le chiffre de 609 309 extraits audio pour les clients francophones, 874 778 pour les Chinois, ou encore 716 388 pour les Japonais. Et ce, uniquement sur le troisième trimestre 2019 et pour l’iPad. S’ensuit, pour les employés, un rythme effréné afin d’atteindre un quota quotidien fixé à 1 300 itérations par jour.

L’autre catégorie d’employés correspond aux « data analysts » qui, eux, ont accès à certaines données personnelles des utilisateurs. Apple avait pourtant affirmé que ses salariés n’avaient pas les moyens d’identifier les personnes écoutées, notamment parce qu’ils ne disposaient pas de l’« user ID », l’identifiant.

C’est en partie vrai. Le nom de l’utilisateur ou son numéro n’apparaissent effectivement pas. Mais un petit menu intégré à l’interface d’Apple, le user data browser, permet d’effectuer des recherches parmi les données stockées dans l’appareil. Cette fonctionnalité est principalement intégrée à l’outil de notation de Siri, le Siri results widget (SRW).

Assistant vocal d’Apple: le calvaire des salariés

Celui-ci présente, en haut, l’extrait sonore et, en dessous à gauche, la réponse apportée par Siri à la requête. À droite, une série de questions permet de noter celle-ci. Et en dessous, le user data browser permet de fouiller dans les données de l’appareil pour vérifier que Siri a utilisé les bonnes informations.

Comme l’explique l’un des documents, « les données d’utilisateur peuvent être utiles pour comprendre l’intention de l’utilisateur. Par exemple, si l’utilisateur dit : “Montre coucher de soleil horizontal”, cela peut être dur à comprendre. Toutefois, si l’utilisateur a un album photo appelé “Couchers de soleil horizontaux”, ce que l’utilisateur voulait devient clair ».

Concernant les conditions de travail, les salariés des sous-traitants d’Apple sont un peu mieux lotis que beaucoup d’autres micro-travailleurs, tels que ceux décrits notamment par le sociologue Antonio Casilli, auteur du livre En attendant les robots (Seuil, janvier 2019) et membre du projet DipLab (Digital Platform Labor), à l’origine du rapport « Le micro-travail en France », sorti en avril 2019.

Ce nouveau sous-prolétariat numérique, ces « tâcherons du Web », travaillent bien souvent de chez eux, via des plateformes intermédiaires, et ne connaissent souvent même pas l’identité du commanditaire. Ils sont rémunérés à la tâche, le plus souvent quelques centimes d’euros.

À GlobeTech, les salariés disposent d’un contrat de travail de droit irlandais, avec un salaire mensuel d’environ 2 000 euros brut par mois, pour des journées de 7 h 30, pause déjeuner déduite, avec deux pauses de 15 minutes. Ils travaillent dans des locaux spécifiques d’où ils se connectent à l’interface d’Apple via un réseau sécurisé.

Les conditions de travail y sont strictes, et souvent mal vécues par les salariés. « Le pire, c’est le côté répétitif, les itérations qui reviennent constamment, du style “mets l’alarme à telle heure”, explique Antoine*, un des anciens salariés que Mediapart a rencontrés. Les gens étaient tous surdiplômés, des bac + 3 à bac + 5. Tout le monde s’ennuyait. La plupart des gens s’en allaient le plus tôt possible, dès qu’ils avaient fini leur quota journalier d’itérations. Je crois que personne ne reste plus de six mois. Même nos supérieurs avaient l’air de détester leur travail. »

« De plus, poursuit le jeune homme, on était hyper fliqués. Quand on ne faisait pas d’itération pendant plus de six minutes, on était considéré en pause. Il fallait envoyer chaque soir par mail le nombre d’itérations que l’on avait faites durant la journée. »« On pouvait être viré du jour au lendemain, confirme Gaël*, un autre ex-salarié. Le soir, votre superviseur pouvait venir vous voir pour vous dire : t’as pas fait tes stats aujourd’hui, tu pars. »

Beaucoup de salariés ont mal vécu le fait d’être les témoins de la vie privée des utilisateurs. Une bonne partie des requêtes concernent des ordres assez classiques, comme appeler un contact. « Le plus drôle que j’ai eu, c’est un “appel Frank Riester” », se souvient Antoine.

Mais certains se révèlent particulièrement intrusifs.

« Beaucoup de gens dictent leurs textos. Et on a donc beaucoup de “sextos” », raconte Antoine. Il y a également les cas de demande de recherche relative à des maladies par exemple. « On entend aussi beaucoup de voix d’enfant. On ne leur a pas demandé leur avis,

à eux ! », s’indigne Gaël, qui se souvient d’une voix enfantine demandant : « Dis Siri, tu peux me montrer une photo de vrai zizi ? »

Il y a également les nombreuses personnes qui utilisent Siri comme dictaphone, afin d’enregistrer des mémos vocaux. Antoine et Gaël sont ainsi tous deux tombés à de nombreuses reprises sur des extraits de professeurs, enregistrant leurs avis de conseils de classe.

Enfin, il y a les enregistrements accidentels, provoqués par un déclenchement involontaire de Siri. Car l’assistante vocale semble particulièrement sensible. « Ça s’active à tout bout de champ, confirme Antoine. J’ai remarqué que ça marchait notamment avec les phrases des autres assistants vocaux, par exemple si vous dites “OK Google”. »

Lorsqu’un salarié tombait sur un de ces enregistrements, il devait l’écouter et le signaler en cliquant sur un bouton « accidental trigger ». « C’était tout simplement le bouton sur lequel on appuyait le plus, se souvient Antoine. On pouvait entendre de tout. Ça pouvait être la musique d’une voiture pendant plusieurs minutes ou deux ados se racontant leurs drames. » Gaël, lui aussi, est tombé à plusieurs reprises sur des disputes amoureuses, des confessions intimes…

Parfois, le malaise ressenti par le salarié se transforme en traumatisme. Certains salariés peuvent être confrontés à des enregistrements dévoilant des pratiques illégales ou des situations de violence. « Je me souviens un jour d’une fille qui disait à sa copine, a priori à propos de son petit copain, un truc du style : “il est dangereux, il faut le faire enfermer”. Dans ces cas-là, on se sait pas quoi faire, on ne sait pas s’il y a réellement danger. » Gaël, de son côté, se souvient d’un enregistrement dans lequel un homme tient des propos explicitement pédophiles. « Ça m’a mis hors de moi, se souvient-il. Avons-nous un devoir moral à partir du moment où on surveille ? Est-ce qu’il n’y a pas un délit de complicité ? »

En page d’accueil du portail d’aide mis à la disposition des salariés par Apple, un message les prévient qu’ils peuvent être confrontés à « des propos vulgaires, des thèmes violents, pornographiques ou des sujets criminels » et les incite à contacter leur supérieur si besoin. Pourtant, dans la pratique, les salariés n’ont aucune information sur ce qui arrive par la suite.

« Ce genre de traumatisme est assez courant, explique Antonio Casilli. Il arrive même que certains travailleurs souffrent du syndrome de stress posttraumatique, notamment chez ceux chargés de la modération des commentaires. Des modérateurs de Microsoft et de Facebook ont déjà poursuivi leur employeur après avoir été frappés par ce syndrome. Dans le contexte des correcteurs de Siri, poursuit le sociologue, il y a un facteur supplémentaire qui joue : la difficulté de contextualisation. Ils sont confrontés à des extraits de discussions, des propos isolés, totalement déracinés du contexte général. Ils ne peuvent pas savoir s’il s’agit d’une provocation ou d’une exagération. Cela peut être plus perturbant que s’ils étaient présents physiquement. »

Dans ses travaux, Antonio Casilli a démontré à quel point les micro-travailleurs étaient indispensables au bon fonctionnement des intelligences artificielles. Dans ce cas, quelles mesures prendra Apple ? La marque à la pomme a annoncé au Guardian que le programme de notations de Siri reprendrait à l’automne, avec quelques modifications. Les utilisateurs auront notamment la possibilité de préciser qu’ils refusent d’être écoutés et les personnes chargées d’écouter les extraits sonores seront directement employées par Apple.

Antonio Casilli prend ces annonces « avec beaucoup de méfiance ». « Le travail de ces personnes est fondamental pour le fonctionnement d’un assistant vocal, rappelle-t-il. L’intelligence artificielle a besoin d’être entraînée et vérifiée. Sinon, elle ne marche pas. Ils vont donc devoir inventer une nouvelle manière de faire cet entraînement et cette vérification.

La solution consistant à internaliser ces tâches permettrait notamment d’imposer des contraintes de confidentialité accrue. Mais ça irait tout simplement à l’encontre des principes de gestion d’Apple. Une autre solution serait de morceler encore plus les tâches d’entraînement et de vérification et de les confier à des centres de gestion dans des pays tiers, poursuit le sociologue. Il y a tout de même eu une vague de révélations ces derniers mois, avec plusieurs travailleurs qui se sont transformés en lanceurs d’alerte. Et il semblerait que la plupart d’entre eux soient originaires de pays de l’Union européenne, où les législations sont plus protectrices qu’ailleurs. On peut imaginer qu’Apple cherche à installer ses centres de gestion dans des pays ayant une législation moins clémente. »

Gaël, lui aussi, est convaincu que le programme reprendra sous peu, peut-être en interne. « Ils vont se contenter de modifier les conditions générales d’utilisation pour y inclure le fait que ce que vous dites à Siri peut être écouté. Les gens vont signer et ça reprendra », prédit le jeune homme. « C’est, hélas, très possible, acquiesce Antonio Casilli. Nous sommes tous les esclaves de ce consentement forcé que sont les CGU. Ils sont totalement capables d’y mettre ce qui était encore inimaginable hier. »

Les révélations de ces derniers mois marquent cependant un tournant incontestable. Le 13 août, c’est Facebook qui admettait, lui aussi, écouter les conversations des utilisateurs des fonctions audio de son service Messenger et annonçait leur suspension. Apple, de son côté, a présenté jeudi 29 août ses excuses à ses clients écoutés.

« Tous les Gafam ont désormais été démasqués, constate Antonio Casilli. Il y a encore un an, si je disais dans une conférence que des travailleurs écoutent ce que l’on dit à un assistant vocal, c’était une “educated guess”, une supposition éclairée, une conséquence logique de ce que j’avais pu comprendre de leur fonctionnement lors de mes recherches. »

« Depuis, il y a eu une avalanche de témoignages qui montrent que non seulement il y a des enregistrements sauvages, mais également que ces assistants vocaux sont extrêmement défectueux, poursuit le sociologue. Quand on voit des taux de précision de 90 %, on peut se dire que c’est déjà pas mal, mais ça veut dire tout de même que quand vous demandez votre chemin, une fois sur dix, l’algorithme vous donnera le mauvais. C’est tout de même problématique. Apple a donc doublement menti : en disant qu’ils n’enregistraient pas les gens, et en leur affirmant que Siri fonctionne. »

Recension dans La Vie des Idées (24 juillet 2019)

Cannibale machine À propos de : Antonio Casilli, En attendant les robots, Seuil


Des machines intelligentes à l’assaut du travail humain ? Enquêtant sur le digital labor qui se cache derrière les promesses de l’automatisation et des robots, Antonio Casilli soutient notamment que les médias sociaux constituent une forme de travail non rémunéré.

Aimer ou partager cet article sur Facebook, est-ce travailler ? Et regarder une vidéo sur YouPorn ? Oui, répond en substance Antonio Casilli dans En attendant les robots : enquête sur le travail du clic. Un livre à la fois dense, solidement documenté et stimulant.

Ce travail qui n’en a pas l’air, c’est ce que Casilli nomme – avec d’autres – le digital labor, un des concepts clés de cet ouvrage qu’on pourrait présenter comme une sociologie critique de l’intelligence artificielle. L’auteur, qui est lui-même sociologue du travail et chercheur à l’EHESS, nous propose de sortir de l’IA washing et de la hype pour mieux découvrir toutes ces petites mains humaines trop humaines qui œuvrent dans l’ombre des algorithmes d’IA.

L’erreur, soutient Casilli, serait de croire qu’avec l’automation, le travail va disparaître. Il va plutôt être « plateformisé » et digitalisé. Autrement dit, en attendant les robots qui, comme dans le Godot de Beckett, pourraient tarder à entrer en scène, on ferait bien d’examiner les changements concrets qui s’opèrent dans le travail humain. Car, en lieu et place d’un remplacement du travail par des robots, on a souvent affaire à un simple déplacement. C’est ce que montre bien l’exemple des guichets automatiques. Ceux-ci ne remplacent pas complètement le travail qui était jadis celui du guichetier : ce sont plutôt les clients qui prennent désormais en charge la responsabilité de faire fonctionner la machine. À plusieurs égards, cet exemple est symptomatique de notre difficulté à percevoir ces nouvelles formes de travail qu’analyse Casilli.

Le digital labor

Le concept de digital labor désigne d’abord le travail du doigt « qui sert à compter, mais aussi qui pointe, clique, appuie sur le bouton » (p. 48). Mais c’est aussi plus compliqué que ça. Et c’est tout l’objet de la partie centrale du livre qui prolonge un débat sur la pertinence de ce concept avec le sociologue Dominique Cardon. Situé dans une « zone grise entre le marchandage et l’emploi salarié », le digital labor s’inscrit « dans un rapport de subordination, de surveillance et d’inégalité de droit entre les travailleurs et les propriétaires de services numériques » (p. 267). On peut le décliner de trois manières.

Le travail à la demande, comme avec Uber ou Foodora, en constitue une première forme. Ces services de transport ou de livraison s’appuient ainsi sur des plateformes et mobilisent des processus de décision basés sur des algorithmes et des données qui bouleversent l’organisation du travail. Il s’agit en quelque sorte de pousser à son maximum la logique du fordo-taylorisme (le travail à la chaîne) en mesurant et en divisant toujours plus les tâches. Et les travailleurs ne semblent pas en sortir gagnants.

Le micro-travail auquel se consacre le quatrième chapitre est une deuxième forme de digital labor. Il s’agit de réaliser « de petites corvées telles que l’annotation de vidéo, le tri de tweets, la retranscription de documents scannés (…) » (p. 119). C’est sans doute l’un des apports les plus intéressants de l’ouvrage que de braquer le projecteur sur le travail de ces personnes — une centaine de millions dans le monde, dont 260 000 en France — souvent précaires, qui font tourner le capitalisme numérique.

Des services en ligne comme le Mechanical Turk permettent par exemple à des entreprises d’externaliser le « travail du clic ». La plateforme d’Amazon, née en 2005, emploie principalement des citoyens américains et indiens qui accomplissent des micro-tâches mal payées. Ces personnes travaillent chez elles, ne se rencontrent pas et ne connaissent pas leurs clients. Elles ne sont évidemment pas syndiquées, ni même organisées. Il y a d’ailleurs beaucoup d’ironie à ce que ce service d’« IA artificielle », comme le nomme Jeff Bezos, le PDG d’Amazon, reprenne le nom du Turc mécanique, cet automate du XVIIIe siècle qui prétendait jouer aux échecs, mais dissimulait en réalité un humain derrière ses engrenages inutiles. Comment ne pas percevoir un troublant écho avec la situation actuelle ?

« L’automation revient à une formule simple, résume Casilli : une façade avec un ingénieur qui vante les prouesses de sa machine et une arrière-boutique dans laquelle des travailleurs se tuent à la micro-tâche. » (p. 136) Ce micro-travail invisibilisé passe aussi par de nouvelles formes de contrôle puisqu’il faut garantir aux clients qu’il est bien effectué par des humains. Ceux-ci doivent donc remplir des tests de type CAPTCHA toutes les quarante-cinq minutes. Plus généralement, les données de ces travailleurs (les turkers) sont requises pour faire fonctionner la plateforme et les mettre en relation avec des requérants — la plateforme tirant, en définitive, une « rente d’intermédiation ».

On l’aura deviné, partager un article sur Facebook ou regarder une vidéo sur YouPorn ne relève ni du travail à la demande ni du micro-travail, puisque ce n’est ni une activité rémunérée, ni un service réclamé par un client. Mais il existe, poursuit Casilli, une troisième forme de digital labor, le travail social en réseau, qui correspond en particulier à la participation des usagers aux médias sociaux. Comment analyser ce phénomène ? Le cinquième chapitre présente en détail la controverse sur la nature exacte de ce « travail gratuit ».

Du travail gratuit ?

Selon une approche « hédoniste », les médias sociaux ne relèvent pas du travail parce qu’on y participe librement et pour le plaisir, à travers une nouvelle culture de l’amateurisme. Mais Casilli préconise plutôt une approche travailliste qui voit le « produsage », c’est-à-dire les activités qui entremêlent production et usage, comme s’inscrivant « dans un rapport d’exploitation » (p. 168). Le travail non rémunéré n’est pas une nouveauté : travail domestique, bénévole, forcé… Mais comment de simples clics sur des médias sociaux peuvent-ils être considérés comme du travail ? C’est qu’en créant des données (et des métadonnées), l’utilisateur crée de la valeur. En likant ou partageant un article sur Facebook, on enrichit une base de données qui permettra à l’entreprise de générer d’importants revenus publicitaires – 55 milliards de dollars en 2018.

Casilli montre que la démarcation entre professionnalisme et amateurisme est souvent poreuse. Existe-t-il vraiment une différence de nature entre le critique gastronomique, la Youtubeuse cuisine et le commentaire anonyme sur Yelp ? La modératrice payée pour filtrer les contenus violents fait-elle autre chose que le simple usager qui bloque, masque ou signale de tels contenus ? D’aucuns répliqueront peut-être que le travail se définit d’abord par son caractère pénible. Pour autant, pourquoi le fait qu’une tâche soit plaisante, conviviale ou créative la disqualifierait-elle comme travail ? D’ailleurs, est-on si certain que les médias sociaux sont dépourvus de pénibilité ? L’auteur cite des enquêtes de terrain où des jeunes de milieux populaires décrivent l’inconfort et la « corvée » d’être sur Facebook « pour maîtriser ce que les autres exposent de soi » (p.187).

Mais l’argument qui semble le plus décisif, c’est celui des « fermes à liens » et des « fermes à clics ». Ainsi, en 2013, les faux clics sur Facebook auraient rapporté 200 millions de dollars, avec des services comme GetPaidForLikes. Facebook même propose aujourd’hui aux usagers de « booster un post » pour quelques dollars. Or, si des personnes sont rémunérées dans des « fermes » pour effectuer le même genre de micro-tâches que celles exécutées par les usagés ordinaires, ne faut-il pas en conclure — par analogie — que ces dernières sont, elles aussi, du travail ?

Ainsi, en aimant ou en partageant un article sur Facebook, vous contribuez à lui donner une visibilité qui aurait pu être autrement acquise en payant le prix. Si la valeur de ce travail est infime (en Inde en 2019, le clic vaut 0,008 $, explique Casilli dans une entrevue), sa démultiplication et son agrégation créent une richesse importante — pour autant qu’une entreprise est capable de valoriser ces données. « Sur les plateformes sociales, conclut l’auteur, tout nouvel abonné se retrouve aujourd’hui pris à l’intérieur d’un système de production de clics fondé sur du travail invisibilisé, celui “gratuit” qu’il est amené à assurer et celui de ses homologues microrémunérés. » (p. 218) Autrement dit, en dépit de son caractère ludique et gratuit, le travail du clic participe incontestablement de l’économie numérique.

La valorisation des données

Mais si l’on a du mal à percevoir ce travail comme authentique, c’est peut-être parce qu’il est plus facile de comprendre la valeur attachée à un objet que celle attachée à une base de données ou à un flux d’information. Pour y voir plus clair, Casilli propose de distinguer trois formes de valorisation, c’est-à-dire trois manières de donner de la valeur à des données.

On peut d’abord qualifier un contenu, c’est-à-dire ajouter de l’information, comme lorsqu’on crée un profil d’utilisateur, que l’on fait un commentaire ou qu’on like une vidéo sur un réseau social (on estime à 4.3 milliards le nombre de like quotidiens sur Facebook). On peut également qualifier un autre usager — et activer des mécanismes réputationnels — comme c’est par exemple le cas dans les applications de rencontre (quand on swipe à gauche ou à droite sur Tinder).

On peut ensuite créer de la valeur en monétisant des données personnelles. C’est ici le principal modèle d’affaire des plateformes qui vendent du ciblage publicitaire à des annonceurs. Les bases de données se composent du croisement d’informations parfois inattendues : marques des téléphones ou des ordinateurs, localisation, listes des contacts, comportement en ligne. Les courtiers en data (data brokers) sont les agents directs de cette valorisation des données par monétisation.

Avec le développement des systèmes d’intelligence artificielle, une troisième forme de valeur attachée aux données s’est développée : la valeur d’automation. En effet, les algorithmes d’apprentissage profond (deep learning) ont besoin d’être entraînés avec d’importantes quantités de données « personnelles » afin d’optimiser leurs prédictions (l’IA est essentiellement un outil de prédiction). Casilli donne comme exemple les applications controversées de reconnaissance faciale, mais on peut dire que c’est l’essentiel des systèmes d’IA aujourd’hui performants – de Google traduction à la reconnaissance de tumeurs – qui repose sur cette valeur d’automation des données.

On le voit, selon cette lecture, l’humain qui étiquette — de façon rémunérée ou non — apparaît comme la source principale de la valorisation des données. Dès lors, son occultation derrière les prouesses de l’IA et la promesse des robots accrédite la thèse d’une invisibilisation du travail humain au cœur de l’économie numérique. On peut toutefois se demander si l’automation fondée sur des données « non humaines » (issues par exemple d’animaux, de robots ou d’évènements météorologiques) ne risque pas d’ébranler ces analyses. De même, qu’adviendra-t-il de ce modèle si, comme l’espèrent les chercheurs en IA, l’apprentissage non supervisé, c’est-à-dire sans données étiquetées, se développe ?

Une critique sociale

Pour l’heure, il paraît difficile de contester à Antonio Casilli d’avoir mis le doigt sur une dimension importante de l’économie et de la sociologie contemporaine du numérique. D’autres ouvrages, comme le récent Ghost Work : how to stop Silicon Valley from building a new global underclass de Gray et Suri (2019) vont d’ailleurs dans le même sens. On ne sera pas surpris de voir le livre de Casilli déboucher, dans sa dernière partie, sur une critique sociale. Après tout, « le travail micro-, sous-, mal ou non payé est comme le fil rouge qui unit les différentes formes du digital labor » (p. 223). En attendant les robots entend donc promouvoir la reconnaissance du digital labor afin de créer une véritable conscience de classe parmi les travailleurs du clic.

Et pour mettre un visage sur ces travailleurs, Casilli mentionne le court documentaire The Moderators (2017) qui s’attache précisément à nous les montrer. Dans une salle de classe en Inde, on assiste à une semaine de formation pour de futurs modérateurs et modératrices de contenu. Pour la plupart d’entre eux, c’est un premier job qu’ils accueillent avec joie. Malgré la rumeur de la rue, ils écoutent avec attention les directives de la formatrice en sari : « Pourquoi ne voyez-vous pas de pornographie lorsque vous êtes sur Facebook, demande-elle ? Pensez-vous que c’est parce que personne n’en poste ? » Voilà tout le travail des modérateurs : s’assurer que Facebook ne devienne pas YouPorn. Et si ce documentaire complète très bien En attendant les robots, c’est parce qu’il donne à voir cette réalité très prosaïque : les images de pénis à rejeter, les gros ventilateurs au plafond, les chemises retroussées sur les manches et les regards concentrés sur l’écran.

En attendant les robots, l’économie numérique et l’IA vont avoir encore besoin des modérateurs indiens, des turkers américains et des données que nous créons, souvent à notre insu, sur les réseaux sociaux. Car tout cela produit de la valeur. Dans sa conclusion, l’auteur explore quelques pistes de redistribution, avec l’idée d’un revenu social numérique ou les travaux de Trebor Scholz sur le « coopérativisme de plateforme » et la propriété collective des moyens de production numérique.

Tous ces éléments font de ce livre à la lecture agréable une contribution importante à la sociologie critique de l’IA. Antonio Casilli propose incontestablement une description fine et très riche en exemples du digital labor. Il offre également des outils d’analyse et une perspective engagée dans le débat normatif. Sur ce dernier terrain, il y a évidemment place à la discussion. Qu’en est-il, par exemple, de ce travail du clic en termes de bien-être ?

Dans le cas du travail social en réseau, Casilli semble négliger la valeur du service rendu gratuitement par des plateformes comme YouPorn ou Facebook. Qu’il s’agisse de se masturber ou de s’informer, il ne fait guère de doute qu’une valeur est produite. Et même si c’est au prix des informations que partagent alors les usagers, on peut penser que ça reste un bon deal. On peut aussi penser que partager la recension d’un livre intéressant va produire de la valeur épistémique. Et c’est sans oublier qu’il est toujours bon pour l’ego de recevoir de l’attention, du love ou des likes. Antonio Casilli, En attendant les robots, Seuil, 2019, 400 p., 24 €.

par Martin Gibert, le 24 juillet

Recension dans “Hommes & Liberté” (revue de la Ligue des Droits de l’Homme, n. 187, juill. 2019)

HL186-Notes-4.-En-attendant-les-robots

Alors que se multiplient les dis-cours sur le remplacement de tout ou partie du travail humain par l’intelligence artificielle (IA), Antonio A. Casilli renverse la perspective : pour lui, la réalité est que l’intelligence artificielle ne peut pas exister sans travail humain, mais un travail rendu invisible, morcelé, précarisé, sous-payé, quand il n’est pas gra-tuit : depuis les livreurs à vélo des plateformes de distribution jusqu’aux utilisateurs des réseaux sociaux, nous travaillons tous et créons de la valeur qui est captée par les géants d’Internet. C’est le « digital labor», qu’il définit comme « un mouvement de mise en tâches (tacheronisation) et de mise en données (datafication) des activités productives humaines ».Dans son livre, il décrit trois types de travail. Le premier est le plus connu : le « travail à la demande », celui des chauffeurs d’Uber ou des coursiers à vélo, ces petits boulots prétendument indépendants mais soumis au contrôle étroit des plateformes. Mais ce que met en lumière Antonio A. Casilli, c’est que ces travailleurs produisent également, en interaction avec leurs clients, des données qui vont être exploitées et revendues par les plateformes. Le deuxième type de travail est le «microtravail» : des tâches fractionnées, « tacheronnisées », telles que tagguer des photos, trier des messages, identifier des images, modérer des contenus… indispensables pour permettre à « l’intelligence artificielle » de fonctionner et de s’améliorer. Elles sont accomplies par des travailleurs peu ou pas qualifiés, dispersés dans le monde, mis en concurrence entre eux et généralement (mal) payés à la pièce… Ceux-ci sont mis en relation avec des clients qui ont besoin d’eux par des plateformes dont la première, Mechanical Turk, a été créée par Amazon. Le troisième type est le « travail social en réseau» : c’est celui que chacun de nous réalise en utilisant les réseaux sociaux, en produisant des textes ou des images, en les commentant, en les notant… Non seulement cette activité, en apparence ludique, génère une masse de données commercialisables, mais elle contribue aussi au fonctionnement de l’IA : elle produit ainsi de la valeur.Le livre d’Antonio A. Casilli est épais, documenté, précis et rigoureux. Il est parfaitement lisible par un non-spécialiste et – ce qui ajoute à son intérêt – il ne se contente pas de décrire mais, se référant sans cesse à des valeurs, il esquisse des solutions et des alter-natives possibles, pour peu que le débat politique s’en empare.

[Video] Einstein Forum Conference on fake news and digital labor (Germany, 5 July 2019)

Video of my Einstein Forum Lecture, Potsdam, 5 July 2019.

Automating Credulity. The Digital Labor Behind Fake News and Propaganda

In the wake of the Cambridge Analytica scandal, recent research has examined how unscrupulous politicians resort to content mills and click farms to influence the public opinion. Understanding how such specialized online services operate provides insights into the production process of fake content, malicious ads, and viral traffic for political messages. Interestingly, it also dispels the belief that disinformation is automatically spread by “bots”. On the contrary, much of the work is actually outsourced to developing or emerging countries, where it is performed by crowds of workers in exchange for remunerations as low as one cent or less per task. This new phenomenon highlights technological and industrial trends that, if left unaddressed, are bound to negatively affect arenas of public debate as well as labor rights.

Antonio A. Casilli is an Associate Professor at the Telecommunication School of the Paris Polytechnic Institute (Télécom ParisTech) and an Associate Fellow at the Critical Interdisciplinary Anthropology Center (LACI-IIAC) at the School for Advanced Studies in Social Sciences (EHESS, Paris). His main research foci are computer-mediated communication, work, and politics. In addition to several scientific publications in French, English, Spanish, Hungarian, and Italian, he is the author of En attendant les robots (Waiting for Robots, 2019); Qu’est-ce que le digital labor? (What is digital labor?, 2015); Les liaisons numériques (Digital relationships, 2010).