Artificial intelligence doesn’t destroy jobs, it precarizes them (op-ed Domani, March 24, 2023)

Today, the Italian newspaper Domani published an op-ed that I penned in the wake of the publication of the study “GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models“. You can find the Italian version of my article on the website of Domani, and read the English version here.

Artificial intelligence will increasingly make the world of work precarious

Antonio A. Casilli

  • Systems like ChatGpt won’t completely disrupt work as we know it, but it will create a new class of “click slaves,” paid (very poorly) to train algorithms.
  • This is a more real risk than science fiction scenarios, where robots would completely take over human labor. OpenAi itself already uses these micro-workers.
  • A few months after ChatGpt was launched, a TIME magazine exposé disclosed that Kenyan workers were being paid less than $2 per hour to train artificial intelligence.

A study analyzing the impact of artificial intelligence on the labor market was published this week. Its authors examined so-called “pre-trained models” of the Gpt family. These pieces of software learn from a large amount of data to perform tasks that they then adapt to new contexts. Three of the four authors of this study are employees of OpenAi, the company that in recent months has launched Dall-E 2, an image-generating system, and of course ChatGpt, the virtual assistant that has become a cultural phenomenon.

According to the study, about 80% of the workforce could be exposed to this innovation, and for some of them 50% of tasks could change dramatically. Even highly educated people would be affected by this development.

The conditional is a must, because the study has more limitations than results. It relies on opaque data, adopts an abstruse methodology and, as a cherry on top, uses a Gpt to analyze the effects of other Gpts.

The new Frey & Osborne

The study matters more for its ambition than for its results. Doubtlessly, the article aspires to be the “Frey & Osborne report of the 2020s,” after the two Oxford researchers who published in 2013 an analysis predicting that 47% of jobs would be destroyed by 2030. It is a highly cited and heavily criticized work given that, despite a pandemic, a geopolitical crisis and a climate emergency, their forecasts are far from coming true.

Both the 2013 article and the one just published by OpenAi researchers reduce human work to a series of “tasks.” Like all reductionist analyses, they should be greeted with healthy distrust. To say that a nurse’s job is reduced to 10 tasks (caring for patients, filling out forms, etc.) and to say that some of them might be exposed to ChatGpt use does not mean that the nurse will be fired. Her job will change.

A marketing operation

Maybe with the excuse that new technology saves time, employers will find new ways to add tasks to employees while keeping real wages at a minimum. Despite utopian visions and fears regarding automation, historically this is what has happened, much to the chagrin of OpenAi researchers.

Their article is largely a marketing tool designed to help their company get noticed by the media. Every time OpenAi launches a product, a debate rages in the news and on social media about the threats artificial intelligence poses to journalists, illustrators, teachers. It just so happens that the jobs that are threatened to disappear are precisely those that the American company sells as services: text and image generation, training, etc. It is not the robots that are destroying jobs. It is OpenAi that is destroying competition.

Out of control

But sadly, this is not good news. The effects of these technologies on jobs are indeed there, but they are different. To really detect them we have to read the System Card of Gpt-4, OpenAi’s latest software. A hundred or so pages describe the tests by which the AI was trained. The testers often pushed Gpt-4 to perform dangerous or illegal actions in order to teach the artificial intelligence to avoid them.

But during the tests, Gpt-4 escaped its controllers, and attempted a cyberattack on a website. The latter, however, was protected by ReCaptcha, those pop-ups that require proving you are not a robot by solving a puzzle. Unfortunately, Gpt-4 is a robot. To solve the puzzle, it then turned to an on-demand platform to recruit a pieceworker to solve the ReCaptcha on its behalf.


But ReCaptchas do more than just protect against cyberattacks. They are also used to train artificial intelligence. When they prompt us to transcribe words, they use them to digitize Google Books. When we are invited to spot a traffic light, they calibrate Waymo’s autonomous driving systems. This raises a mind-boggling question: can Gpt-4 be used to recruit workers who in turn train other AIs?

In fact, more or less automated systems for recruiting freelance workers to train algorithms have existed for decades. Amazon Mechanical Turk is a site where, for a few cents, companies recruit for less than a quarter of an hour hundreds of thousands of people to generate data, transcribe text, and filter images. Other platforms, such as Australia’s Appen, employ more than ten million people. Can we really talk about jobs? These are micro jobs with poverty wages, which are largely performed by workers from developing countries.


Paradoxically, OpenAi itself uses these “click slaves.” A few months after ChatGpt was launched, a TIME magazine exposé revealed that Kenyan workers were being paid less than $2 per hour to train the chatbot. In other documents uncovered shortly thereafter, the U.S. company claimed it contracted workers in the Philippines, Latin America and the Middle East to train its algorithms.

Thus, the true impact on the work of Gpt software has been revealed. Artificial intelligence automates the process of selecting, hiring, and firing precarious workers. This is not the usual science fiction scenario where robots replace humans. It is one where permanent employees being replaced with underpaid pieceworkers hired and fired on digital platforms. This trend is already underway, and companies like OpenAi are escalating it.

[Video] Entrevista al programa “30 minuts” (TV3 Catalunya, 22 nov. 2019)

M’han entrevistat pel programa “30 minuts” (televisió Catalana TV3), sobre el treball de plataformes, el micro-treball i l’economia freelance. El reportatge esmenta el nostre estudi “Le micro-travail en France” (Projecte Diplab).

Video del Reportatge.

“Proletaris online”, a “30 minuts”

El diumenge 24 de novembre, a les 21.55, “30 minuts” emetrà la producció pròpia “Proletaris online”, on s’analitzarà l’anomenada economia de plataforma, un nou mercat laboral d’ingressos intermitents, en què llibertat i flexibilitat es repeteixen com un mantra però que té conseqüències imprevisibles per a l’estat del benestar.

No és el futur. És el present. Treballadors freelance, per projectes, gig economy (feines esporàdiques sota demanda), remots digitals, crowdsourcing (subcontractació de la feina a una multitud), microtreballadors… La nova economia digital està plena de paraules noves que agafen força i sacsegen el mercat laboral tradicional, el dels drets dels treballadors aconseguits amb les lluites sindicals.

La industrialització va crear el proletariat. La digitalització, el proletariat online.

El “30 minuts d’aquesta setmana s’endinsa en l’anomenada economia de plataforma, el model de negoci de l’era digital. Potents plataformes tecnològiques que connecten oferta i demanda i converteixen els treballadors en proveïdors de serveis. Poden ser repartidors en bicicleta amb les seves vistoses motxilles o experts programadors. Qualsevol persona que pugui fer feines esporàdiques a través d’una aplicació. Tots formen part d’aquest nou mercat laboral en què llibertat i flexibilitat es repeteixen com un mantra i en què un algoritme és qui mana.

1 La gig economy, serveis sota demanda

“Hi ha una equivocació molt gran, i és pensar que aquests models de treball van un pas al davant de la llei, com si fossin tan innovadors que la llei no s’hagués pogut adaptar a ells”. Núria Soto, exrepartidora de la plataforma Deliveroo

“El fet que visquis en una ciutat on pots guanyar-te uns 300 o 400 euros extra amb un horari totalment flexible, sense caps i a través de la teva aplicació, és bo per a la societat”. Òscar Pierre, CEO i cofundador de Glovo

Aquest any se n’ha parlat molt, de plataformes i condicions laborals, perquè les dues grans plataformes de repartiment a domicili, Glovo i Deliveroo, han hagut de defensar-se als jutjats contra la Tresoreria de la Seguretat Social, que en diverses actes d’inspecció havia dictaminat que els repartidors havien de ser assalariats i no autònoms. Hem volgut analitzar de primera mà les condicions de feina d’aquests treballadors i per això un equip del “30 minuts” ha passat hores amb ells, al carrer, durant les hores anomenades d'”alta demanda”, esperant les comandes davant els restaurants. A un costat, els llatinoamericans; a l’altre, els pakistanesos. Molts acaben d’arribar a Catalunya. Entrevistem també per recollir el seu punt de vista Òscar Pierre, CEO i cofundador de Glovo, i Román Gil, advocat de Deliveroo.

2 El microtreball

“Els microtreballadors som una gran massa de gent invisible. Som completament invisibles. És per això que és tan important que parlem als mitjans, que expliquem el que fem. I quan siguem una mica més visibles tindrem força per negociar les nostres regles”. Julie, microtreballadora

El “30 minuts” també entrevista gent que treballa a les plataformes de microtasques (com ara Clickworker, Spare5, Appen, Lionbridge o Amazon Mechanical Turk), un fenomen procedent dels Estats Units que s’expandeix per tot el món. Transcripcions, gravacions per a sistemes de reconeixement de veu, identificar objectes dins una imatge, moderació de continguts a xarxes socials, analitzar resultats dels buscadors… Les grans empreses tecnològiques divideixen la feina en petites tasques i contacten en segons amb milions de treballadors a tot el món que les executen des de casa, a tant la tasca. Intervenen en el programa el sociòleg Antonio Casilli, coautor d’un exhaustiu estudi sobre el  microtreball a França, i Mary Gray, investigadora de Microsoft Research i autora del llibre “Ghost work” (“Treball fantasma”), sobre els microtreballadors als Estats Units.

3 Cap a un món de freelance?

Finalment, en el reportatge s’analitza com aquesta plataformatització de l’economia arriba també a la part alta de la piràmide. Qualsevol empresa pot contractar, a través de plataformes freelance, experts a l’altra punta del món. L’externalització d’un departament sencer a través d’una plataforma és cada cop més senzilla. I el mar de fons és un augment creixent a tot el món dels treballadors independents. Ens ajuden a treure’n l’entrellat Anna Ginés, professora de Dret del Treball d’ESADE, Luz Rodríguez, professora de Dret del Treball de l’UCLM i autora de l’estudi “Plataformes digitals i mercat de treball”, i Lucía Velasco, economista especialitzada en tecnologia que ha format part del grup d’experts que analitza l’impacte de la digitalització en el mercat laboral per a la Comissió Europea.

Hi ha un consens entre els experts que s’ha acabat la feina fixa per a tota la vida. Anem cap a feines flexibles amb ingressos intermitents, amb conseqüències imprevisibles per a l’estat del benestar.

Interviewé dans l’enquête Mediapart sur assistants vocaux, digital labor et privacy (31 août 2019)

Le site d’information et d’enquête Mediapart publie les révélations depuis l’usine à “intelligence artificielle artificielle” de Siri, signées Jerome Hourdeaux. Le journaliste donne la parole aux micro-travailleurs français travaillant depuis le siège de Cork en Irlande d’un sous-traitant du géant de Cupertino, et met la main sur les documents qui attestent l’étendue des abus d’Apple. J’ai été interviewé dans le cadre de cette enquête et j’ai pu apporter mon éclairage à la publication de ces sources inédites.

Par-delà les risques psychosociaux qu’encourent les micro-travailleurs (isolement, TSPT, perte de sens), il y a un problème évident en termes de violation systématique de la vie privée des usagers des produits Apple. L’entreprise a depuis promis de mettre fin à ces pratiques. Crédible ? Pas vraiment, à mon avis.

La partie vraiment passionnante de l’enquête de Mediapart est la plongée dans le fonctionnement concret du micro-travail. Ça rassemble à quoi une micro-tâche de retranscription et d’annotation de conversations captées par une IA ? Comment se structure le workflow de Siri ?

Capture d’écran de l’interface pour la réalisation de micro-tâche de transcription de l’assistant vocal Siri. Source : Mediapart.

A cette révélation s’en ajoute une autre, celle-ci des plus inquiétantes. Les micro-travailleurs recrutés par Apple ne se limitent pas à retranscrire des phrases anodines que n’importe qui pourrait prononcer. Ils gèrent des données à caractère personnel qui identifient les usagers, lesquels font référence dans leurs conversations à noms, adresses, situations souvent sensibles. De surcroît, pour vérifier que Siri aie bien répondu aux requêtes formulées par les usagers, Apple donne à ses micro-travailleurs accès à tous leurs fichiers personnels via une fonctionnalité qui, selon Mediapart, s’appelle user data browser.

L’usage de ces données n’est pas restreint ni discret, puisque les assistants virtuels comme Siri ont besoin de millions d’exemples pour apprendre à interpréter une simple requête. Leur apprentissage machine nécessite la mise sur écoute systématique et massive des usagers. Ce n’est pas un accident ni le problème de la seule Apple.

J’ai eu l’occasion de l’affirmer ailleurs, et je le répète dans l’article de Mediapart : tous les GAFAM ont désormais été démasqués. Ils ont menti à propos du respect de la vie privée de leurs usagers, mais ils ont surtout menti sur l’artificialité de leurs intelligences artificielles.

Assistant vocal d’Apple: le calvaire des salariés


Assistant vocal d’Apple: le calvaire des salariés

À la fin du mois de juillet, TheGuardian et El País révélaient que des centaines de personnes étaient chargées d’écouter les conversations d’utilisateurs de Siri, l’assistant vocal d’Apple, afin de corriger ses résultats. Après avoir suspendu le programme qui reprendra à l’automne, la société vient d’annoncer le licenciement de 300 salariés.

Alors que, acculé par les révélations sur l’écoute des utilisateurs de Siri, Apple vient de mettre à la porte plusieurs centaines de salariés, Mediapart a pu recueillir les témoignages de plusieurs d’entre eux et consulter des documents détaillant le travail de ces employés, chargés d’écouter les utilisateurs.

Au total, au moins 300 personnes travaillant pour des sous-traitants d’Apple à Cork, en Irlande, se sont vu notifier la fin de leur contrat vendredi dernier, rapporte mercredi 28 août The Guardian.

Cette annonce n’a pas vraiment été une surprise pour les salariés concernés. Depuis le 2 août, nombre d’entre eux avaient été placés en chômage technique après la révélation, par The Guardian et El País, de la nature réelle de leur travail : écouter les utilisateurs d’Apple parler à Siri. Cette intelligence artificielle, embarquée sur l’ensemble des appareils vendus par la marque à la pomme, permet d’activer une application, d’écouter de la musique, de faire une recherche sur Internet ou encore d’appeler un contact, simplement en donnant un ordre oral.

Les articles du Guardian et d’El País n’étaient pourtant pas en eux-mêmes des scoops. Plusieurs chercheurs avaient déjà expliqué que les intelligences artificielles le sont beaucoup moins que ce que leurs concepteurs prétendent. Incapables de réellement « apprendre » par eux-mêmes, les algorithmes ont besoin de centaines de milliers d’exemples, fournis par des êtres humains.

Les deux quotidiens rapportaient en revanche les témoignages inédits d’anciens salariés de sous- traitants d’Apple ayant passé leurs journées à écouter des conversations de clients et à noter la réponse apportée par Siri. De plus, révélaient-ils, les différents appareils sur lesquels est embarqué l’assistant vocal ont une fâcheuse tendance à activer celui-ci à tout bout de champ.

Les salariés chargés d’écouter les extraits sonores enregistrés par Siri tombaient ainsi régulièrement sur des échanges particulièrement privés, comme lors de relations sexuelles ou encore lors de ce qui semblait être un trafic de drogue. En réaction, Apple avait annoncé la suspension de programmes d’amélioration de Siri, le temps de revoir ceux-ci et de les reprendre, sous une forme modifiée, à l’automne prochain.

Depuis, Mediapart a également recueilli les témoignages de plusieurs ex-salariés ayant travaillé dans les locaux de GlobeTech, l’une des deux principales sociétés travaillant pour Apple à Cork (l’autre étant Lionbridge). Ceux-ci confirment les informations du Guardian et d’El País et donnent des détails supplémentaires.

Les centaines de personnes travaillant pour Globetech et Lionbridge étaient affectées à de multiples « projets » correspondant aux différentes phases de vérification et de notation de Siri. Ces différentes tâches nécessitaient des compétences et des niveaux d’accréditation différenciés permettant, pour certaines d’entre elles, d’accéder aux données personnelles contenues dans l’appareil de l’usager.

Chaque salarié étant soumis à une clause de confidentialité, il est très difficile de savoir à quoi correspond exactement chacun de ses projets. Mais plusieurs documents internes et témoignages d’ex- salariés recueillis par Mediapart permettent d’avoir une idée assez précise du rôle des humains au cœur du fonctionnement de l’intelligence artificielle et de leurs conditions de travail.

Les salariés travaillant directement sur Siri sont classés en deux principales catégories. Il y a tout d’abord les « language analysts », qui travaillent sur les « bulk data », les données brutes, c’est-à-dire les extraits audio livrés sans autre information.

La tâche de base correspond aux programmes « 1.000 hours » (1 000 heures) et se décline au sein de projets spécifiques en fonction de l’appareil : « 1.000 hours iPhone », « 1.000 hours iPad », « 1.000 hours CarPlay », etc. Le salarié, connecté à une interface sur un réseau interne d’Apple, a accès à l’enregistrement audio et, dessous, la transcription automatique qui a été faite par l’algorithme. Il doit se contenter d’écouter la séquence, appelée « itération », et de corriger les éventuelles fautes de retranscription.

Le nombre d’itérations nécessaires au bon fonctionnement de Siri est impressionnant. Dans les documents consultés par Mediapart, un tableau d’objectifs trimestriel donne le chiffre de 609 309 extraits audio pour les clients francophones, 874 778 pour les Chinois, ou encore 716 388 pour les Japonais. Et ce, uniquement sur le troisième trimestre 2019 et pour l’iPad. S’ensuit, pour les employés, un rythme effréné afin d’atteindre un quota quotidien fixé à 1 300 itérations par jour.

L’autre catégorie d’employés correspond aux « data analysts » qui, eux, ont accès à certaines données personnelles des utilisateurs. Apple avait pourtant affirmé que ses salariés n’avaient pas les moyens d’identifier les personnes écoutées, notamment parce qu’ils ne disposaient pas de l’« user ID », l’identifiant.

C’est en partie vrai. Le nom de l’utilisateur ou son numéro n’apparaissent effectivement pas. Mais un petit menu intégré à l’interface d’Apple, le user data browser, permet d’effectuer des recherches parmi les données stockées dans l’appareil. Cette fonctionnalité est principalement intégrée à l’outil de notation de Siri, le Siri results widget (SRW).

Assistant vocal d’Apple: le calvaire des salariés

Celui-ci présente, en haut, l’extrait sonore et, en dessous à gauche, la réponse apportée par Siri à la requête. À droite, une série de questions permet de noter celle-ci. Et en dessous, le user data browser permet de fouiller dans les données de l’appareil pour vérifier que Siri a utilisé les bonnes informations.

Comme l’explique l’un des documents, « les données d’utilisateur peuvent être utiles pour comprendre l’intention de l’utilisateur. Par exemple, si l’utilisateur dit : “Montre coucher de soleil horizontal”, cela peut être dur à comprendre. Toutefois, si l’utilisateur a un album photo appelé “Couchers de soleil horizontaux”, ce que l’utilisateur voulait devient clair ».

Concernant les conditions de travail, les salariés des sous-traitants d’Apple sont un peu mieux lotis que beaucoup d’autres micro-travailleurs, tels que ceux décrits notamment par le sociologue Antonio Casilli, auteur du livre En attendant les robots (Seuil, janvier 2019) et membre du projet DipLab (Digital Platform Labor), à l’origine du rapport « Le micro-travail en France », sorti en avril 2019.

Ce nouveau sous-prolétariat numérique, ces « tâcherons du Web », travaillent bien souvent de chez eux, via des plateformes intermédiaires, et ne connaissent souvent même pas l’identité du commanditaire. Ils sont rémunérés à la tâche, le plus souvent quelques centimes d’euros.

À GlobeTech, les salariés disposent d’un contrat de travail de droit irlandais, avec un salaire mensuel d’environ 2 000 euros brut par mois, pour des journées de 7 h 30, pause déjeuner déduite, avec deux pauses de 15 minutes. Ils travaillent dans des locaux spécifiques d’où ils se connectent à l’interface d’Apple via un réseau sécurisé.

Les conditions de travail y sont strictes, et souvent mal vécues par les salariés. « Le pire, c’est le côté répétitif, les itérations qui reviennent constamment, du style “mets l’alarme à telle heure”, explique Antoine*, un des anciens salariés que Mediapart a rencontrés. Les gens étaient tous surdiplômés, des bac + 3 à bac + 5. Tout le monde s’ennuyait. La plupart des gens s’en allaient le plus tôt possible, dès qu’ils avaient fini leur quota journalier d’itérations. Je crois que personne ne reste plus de six mois. Même nos supérieurs avaient l’air de détester leur travail. »

« De plus, poursuit le jeune homme, on était hyper fliqués. Quand on ne faisait pas d’itération pendant plus de six minutes, on était considéré en pause. Il fallait envoyer chaque soir par mail le nombre d’itérations que l’on avait faites durant la journée. »« On pouvait être viré du jour au lendemain, confirme Gaël*, un autre ex-salarié. Le soir, votre superviseur pouvait venir vous voir pour vous dire : t’as pas fait tes stats aujourd’hui, tu pars. »

Beaucoup de salariés ont mal vécu le fait d’être les témoins de la vie privée des utilisateurs. Une bonne partie des requêtes concernent des ordres assez classiques, comme appeler un contact. « Le plus drôle que j’ai eu, c’est un “appel Frank Riester” », se souvient Antoine.

Mais certains se révèlent particulièrement intrusifs.

« Beaucoup de gens dictent leurs textos. Et on a donc beaucoup de “sextos” », raconte Antoine. Il y a également les cas de demande de recherche relative à des maladies par exemple. « On entend aussi beaucoup de voix d’enfant. On ne leur a pas demandé leur avis,

à eux ! », s’indigne Gaël, qui se souvient d’une voix enfantine demandant : « Dis Siri, tu peux me montrer une photo de vrai zizi ? »

Il y a également les nombreuses personnes qui utilisent Siri comme dictaphone, afin d’enregistrer des mémos vocaux. Antoine et Gaël sont ainsi tous deux tombés à de nombreuses reprises sur des extraits de professeurs, enregistrant leurs avis de conseils de classe.

Enfin, il y a les enregistrements accidentels, provoqués par un déclenchement involontaire de Siri. Car l’assistante vocale semble particulièrement sensible. « Ça s’active à tout bout de champ, confirme Antoine. J’ai remarqué que ça marchait notamment avec les phrases des autres assistants vocaux, par exemple si vous dites “OK Google”. »

Lorsqu’un salarié tombait sur un de ces enregistrements, il devait l’écouter et le signaler en cliquant sur un bouton « accidental trigger ». « C’était tout simplement le bouton sur lequel on appuyait le plus, se souvient Antoine. On pouvait entendre de tout. Ça pouvait être la musique d’une voiture pendant plusieurs minutes ou deux ados se racontant leurs drames. » Gaël, lui aussi, est tombé à plusieurs reprises sur des disputes amoureuses, des confessions intimes…

Parfois, le malaise ressenti par le salarié se transforme en traumatisme. Certains salariés peuvent être confrontés à des enregistrements dévoilant des pratiques illégales ou des situations de violence. « Je me souviens un jour d’une fille qui disait à sa copine, a priori à propos de son petit copain, un truc du style : “il est dangereux, il faut le faire enfermer”. Dans ces cas-là, on se sait pas quoi faire, on ne sait pas s’il y a réellement danger. » Gaël, de son côté, se souvient d’un enregistrement dans lequel un homme tient des propos explicitement pédophiles. « Ça m’a mis hors de moi, se souvient-il. Avons-nous un devoir moral à partir du moment où on surveille ? Est-ce qu’il n’y a pas un délit de complicité ? »

En page d’accueil du portail d’aide mis à la disposition des salariés par Apple, un message les prévient qu’ils peuvent être confrontés à « des propos vulgaires, des thèmes violents, pornographiques ou des sujets criminels » et les incite à contacter leur supérieur si besoin. Pourtant, dans la pratique, les salariés n’ont aucune information sur ce qui arrive par la suite.

« Ce genre de traumatisme est assez courant, explique Antonio Casilli. Il arrive même que certains travailleurs souffrent du syndrome de stress posttraumatique, notamment chez ceux chargés de la modération des commentaires. Des modérateurs de Microsoft et de Facebook ont déjà poursuivi leur employeur après avoir été frappés par ce syndrome. Dans le contexte des correcteurs de Siri, poursuit le sociologue, il y a un facteur supplémentaire qui joue : la difficulté de contextualisation. Ils sont confrontés à des extraits de discussions, des propos isolés, totalement déracinés du contexte général. Ils ne peuvent pas savoir s’il s’agit d’une provocation ou d’une exagération. Cela peut être plus perturbant que s’ils étaient présents physiquement. »

Dans ses travaux, Antonio Casilli a démontré à quel point les micro-travailleurs étaient indispensables au bon fonctionnement des intelligences artificielles. Dans ce cas, quelles mesures prendra Apple ? La marque à la pomme a annoncé au Guardian que le programme de notations de Siri reprendrait à l’automne, avec quelques modifications. Les utilisateurs auront notamment la possibilité de préciser qu’ils refusent d’être écoutés et les personnes chargées d’écouter les extraits sonores seront directement employées par Apple.

Antonio Casilli prend ces annonces « avec beaucoup de méfiance ». « Le travail de ces personnes est fondamental pour le fonctionnement d’un assistant vocal, rappelle-t-il. L’intelligence artificielle a besoin d’être entraînée et vérifiée. Sinon, elle ne marche pas. Ils vont donc devoir inventer une nouvelle manière de faire cet entraînement et cette vérification.

La solution consistant à internaliser ces tâches permettrait notamment d’imposer des contraintes de confidentialité accrue. Mais ça irait tout simplement à l’encontre des principes de gestion d’Apple. Une autre solution serait de morceler encore plus les tâches d’entraînement et de vérification et de les confier à des centres de gestion dans des pays tiers, poursuit le sociologue. Il y a tout de même eu une vague de révélations ces derniers mois, avec plusieurs travailleurs qui se sont transformés en lanceurs d’alerte. Et il semblerait que la plupart d’entre eux soient originaires de pays de l’Union européenne, où les législations sont plus protectrices qu’ailleurs. On peut imaginer qu’Apple cherche à installer ses centres de gestion dans des pays ayant une législation moins clémente. »

Gaël, lui aussi, est convaincu que le programme reprendra sous peu, peut-être en interne. « Ils vont se contenter de modifier les conditions générales d’utilisation pour y inclure le fait que ce que vous dites à Siri peut être écouté. Les gens vont signer et ça reprendra », prédit le jeune homme. « C’est, hélas, très possible, acquiesce Antonio Casilli. Nous sommes tous les esclaves de ce consentement forcé que sont les CGU. Ils sont totalement capables d’y mettre ce qui était encore inimaginable hier. »

Les révélations de ces derniers mois marquent cependant un tournant incontestable. Le 13 août, c’est Facebook qui admettait, lui aussi, écouter les conversations des utilisateurs des fonctions audio de son service Messenger et annonçait leur suspension. Apple, de son côté, a présenté jeudi 29 août ses excuses à ses clients écoutés.

« Tous les Gafam ont désormais été démasqués, constate Antonio Casilli. Il y a encore un an, si je disais dans une conférence que des travailleurs écoutent ce que l’on dit à un assistant vocal, c’était une “educated guess”, une supposition éclairée, une conséquence logique de ce que j’avais pu comprendre de leur fonctionnement lors de mes recherches. »

« Depuis, il y a eu une avalanche de témoignages qui montrent que non seulement il y a des enregistrements sauvages, mais également que ces assistants vocaux sont extrêmement défectueux, poursuit le sociologue. Quand on voit des taux de précision de 90 %, on peut se dire que c’est déjà pas mal, mais ça veut dire tout de même que quand vous demandez votre chemin, une fois sur dix, l’algorithme vous donnera le mauvais. C’est tout de même problématique. Apple a donc doublement menti : en disant qu’ils n’enregistraient pas les gens, et en leur affirmant que Siri fonctionne. »

“Las desigualdades del microtrabajo siguen las tensiones del colonialismo” (entrevista La Razon, Bolivia, 22 julio 2018)

Entrevista publicada en Animal Político, suplemento del diario boliviano La Razón.

Antonio Casilli: Trabajador digital, el ‘invisible’

Interactuar en internet también es ‘trabajar’, pues se consume produciendo; tal su provocación.

El sociólogo italiano Antonio Casilli

Iván Bustillos es periodista 08/08/2018 03:45 PM

La Paz•Hace algunos días, estuvo en Bolivia el sociólogo italiano Antonio Casilli, vino a presentar el libro Trabajo, conocimiento y vigilancia. 5 ensayos sobre tecnología, texto publicado por la Agencia de Gobierno Electrónico y Tecnologías de Información y Comunicación (Agetic). Uno de los más renombrados “sociólogos de internet” en Europa, Casilli propone interesantes tesis de lo que sería el “trabajador digital”, la vigilancia masiva por internet y su conflicto con la privacidad, y la construcción del conocimiento en las redes. Con un mundo diferenciado pero global, provoca mirar internet de otro modo.

— La creencia generalizada es que los robots nos están quitando el trabajo. Parece que usted tiene otra percepción del asunto.

— Diré que es al revés, que más bien son los seres humanos los que están tomando el trabajo de los robots. La idea de que los robots van a tomar el trabajo de los humanos es muy vieja, del siglo XIX, cuando pensábamos que las primeras máquinas a vapor iban a reemplazar el trabajo humano. Eso no ha pasado. Son las máquinas las que cambian, se renuevan; cada vez que hay una nueva ola de nuevas máquinas siempre vuelve la misma profecía de que éstas nos van a reemplazar. Ahora estamos con máquinas digitales, que para poder funcionar requieren de un trabajo y entradas en el sistema; esas entradas son el trabajo digital.

— Usted dice que el trabajo digital es invisible, disperso, precario, menos solidario…

— Que quede claro que el trabajo digital no es el de los expertos, de los ingenieros que crean el software. Se trata más bien de personas, que ya se puede llamar ‘proletariado digital’, que hacen tareas muy simples, estandarizadas, a las que se paga muy poco, hasta no se les paga. Estamos ante un trabajo que no se ve, porque está invisibilizado a propósito por los creadores de las plataformas. No es invisible por su esencia, es invisibilizado por los propietarios de dichas plataformas. Es trabajo que no está reconocido como tal, porque los trabajadores están considerados consumidores; además, hay trabajadores que hacen tareas tan pequeñas que no se consideran trabajo, sino microtrabajo. Estos falsos consumidores y los microtrabajadores realizan una labor muy importante, que es entrenar a las inteligencias artificiales.

— ¿Esto es propio de los países centrales, de alta tecnología, o se despliega también en otros del Tercer Mundo, digamos?

— Es un fenómeno global, que no es solo para los países de alto ingreso; sin embargo, el valor que es generado por este microtrabajo no está repartido de manera igual. Los países centrales, del norte, son los que han comprado este microtrabajo y sacan provecho de él. Si nos fijamos dónde viven los microtrabajadores, que reciben los ingresos (más) bajos, vienen de los países en vías de desarrollo o países pobres; entonces, son ellos los que realizan este microtrabajo. Vemos que las desigualdades que reflejan este microtrabajo, en general, siguen las mismas tensiones que ha producido el colonialismo.

— Este trabajador digital, señala usted en otra parte, llega a cien millones; y si hay algo que lo distingue es que es ‘consumidor-productor’. Parece que el solo hecho de usar internet ya no es tan inocente como antes.

— En efecto. Claro que cien millones se refiere a los microtrabajadores que reciben algunos centavos para estas microtareas. Pero, si empezamos a hablar de los consumidores-trabajadores, ahí hablamos de miles de millones de personas; en realidad, cada uno de nosotros. Aparte de que tengamos un trabajo propio, realizamos estas microtareas y generamos valor.

— Parece que también ha cambiado el concepto de empresa.

— Las plataformas no son como las empresas del siglo XX. La característica de las empresas era la centralización de algunas funciones y la fidelización de los trabajadores con un salario. Fuera de la empresa era el lugar del mercado; pero hoy las plataformas son como un híbrido entre empresa y mercado: como empresa, centralizan y acumulan las ganancias; pero como mercado, allí fluctúan los precios. Por ejemplo, la plataforma Amazon es, de un lado, una empresa que centraliza las ganancias y que estructura de una manera muy jerárquica el trabajo; pero, de otro lado, es una plaza de mercado, donde fluctúan los precios, que incorpora a estos consumidores-trabajadores, a los microtrabajadores.

— ¿Hay experiencias de defensa  de este microtrabajo; que los sindicatos se estén renovando?

— En algunos países los sindicatos están cambiando y se están interesando en los trabajadores digitales. Experiencias en Francia y Alemania. Sindicatos muy importantes han creado plataformas digitales para proteger a los trabajadores del sector digital. También se apoya a trabajadores de África o de Asia, que son los que más realizan el microtrabajo. Hay esfuerzos de hacer plataformas cooperativas, basadas en el principio de hacer evolucionar las plataformas para alejarse del concepto capitalista.

— ¿Y el Estado? ¿Qué papel está jugando en esta nueva realidad?

— Es difícil, porque los Estados que yo conozco son los europeos, y éstos buscan tener alianzas con las plataformas capitalistas y no defender a los trabajadores, porque consideran que la presencia de estas plataformas en su territorio va a ser una fuente de ingresos y riqueza, y también una fuente de datos masivos de vigilancia sobre los trabajadores. Pero, sí hay una forma de cambio que puede aparecer en la relación entre Estados y plataformas, que es a través de la fiscalización. Francia, y de manera general Europa, de último están pensando cómo utilizar la fiscalización para sacar impuestos sobre la cantidad de datos producidos en cada uno de los países, y cómo utilizar estos ingresos para financiar políticas redistributivas.

— Vigilancia masiva y datos privados. ¿La sola fecha de nacimiento es un dato que puede venderse, o responder sobre gustos, colores, lo que fuera?

— Cuando hablamos de los datos personales en las plataformas, como Facebook, en realidad estamos hablando de datos realmente muy colectivos. Si usted comparte en las plataformas qué música le gusta o qué opiniones políticas tiene, en realidad está dando también información sobre todo el entorno, su familia, sus amigos. Porque los grupos en estas plataformas se conforman en base a intereses comunes. Por eso digo que no hay nada más colectivo que un dato personal. Entonces, el que la plataforma se esté apropiando de los datos de una persona en realidad significa que se está adueñando de un grupo, de una cadena de personas, que de poco en poco llega a ser la humanidad entera. Porque la estructura misma de estas plataformas hace que cada uno de nosotros esté relacionado con cualquier otra persona a través de cinco o seis grados de separación, o hasta menos. ¿Qué significa grado de separación? significa que entre yo y Putin, el presidente de Rusia, por ejemplo, hay solamente cuatro personas, que yo conozco a alguien que conoce a alguien que conoce a alguien que conoce a Putin. Lo mismo entre yo y un microtrabajador en Filipinas. Entonces, cada dato que se me roba a mí es también un dato que se roba al resto de estas personas.

— ¿Se puede vender información, tendencias, estadísticas…?

— En general, estos datos no son vendidos como tales, sino que están monetizados. Significa que se provee un acceso a estos datos, una suscripción, a otras plataformas, empresas, Estados, medios de comunicación; esta monetización de los datos provee a estas grandes empresas un gran flujo de efectivo. Pero esto no es lo único: además de vender el acceso a estos datos, también se los conserva dentro de las plataformas para poder entrenar las inteligencias artificiales, entrenar los modelos de aprendizaje automático, hacer que los robots aprendan a comportarse de la misma forma que las plataformas.

— En la construcción de conocimiento en internet, la idea básica parece: todos contribuyen, pero siempre hay alguien que monitorea, Wikipedia, Google.

— Primero hay que entender que Wikipedia no es solo una enciclopedia, sino una galaxia de enciclopedias en varios idiomas. Hasta ahora la Wikipedia con más influencia es la versión en inglés. Pero el problema no es tanto el de Wikipedia, sino de Google, esto porque Wikipedia ha regalado toda su base de conocimiento a Google, a cambio de facilitar el acceso; así, si alguien busca a Antonio Casilli en Google, el primer resultado va ser Wikipedia; entonces, quien controla Wikipedia de alguna forma controla a Google. Por esta razón, cuando alguien quiere influir, introducir un sesgo político en los resultados de Google tiene mucho interés en ir a modificar los artículos de Wikipedia. Aunque Wikipedia es una experiencia colectiva, colaborativa, muy positiva, está rodeada de empresas y plataformas depredadoras, capitalistas, que buscan cómo torcer Wikipedia para sacarle provecho. El desafío más grande en este sentido es construir una plataforma de conocimiento común que logre ser independiente, que no pueda ser apropiada por las otras plataformas (de concepto capitalista).

Antonio Casilli. Presentó el libro Trabajo, conocimiento y vigilancia. 5 ensayos sobre Tecnología (Agetic, Embajada de Francia, 2018). Ensayos del autor en los últimos diez años sobre el impacto de las nuevas tecnologías de la información y la comunicación en el mundo laboral, la privacidad y el saber.

[Video] Trabajo, conocimiento y vigilancia (La Paz, Bolivia, 11 julio 2018)

Presentación de mi libro Trabajo, conocimiento y vigilancia: 5 ensayos sobre tecnología, una antología de mis artículos, originalmente publicados en francés e inglés entre 2010 y 2018. La publicación de este libro fue dirigida por AGETIC y la Embajada de Francia en Bolivia. (Conferencia realizada en la Vicepresidencia del Estado, La Paz, Bolivia, traducida al español del inglés).

Referencia completa:

Casilli, Antonio A. (2018). Trabajo, conocimiento y vigilancia: 5 ensayos sobre tecnología. La Paz, Bolivia: Editorial del Estado.

Descarga documento PDF

We need a political subject capable to think an alternative to digital labor (interview Green European Journal, vol. 17, 2018)

[Update: this interview has been translated in portuguese by Priscila Pedrosa]
An interview with Yours Truly and political activist Lorenzo Marsili, published in vol. 17 (“Work on the Horizon: Tracking Employment’s Transformation in Europe”), pp. 80-88 of the Green European Journal. You can download the entire issue here.

Earn Money Online: The Politics of Microwork and Machines

With hype around automation and robotisation at fever pitch, many argue that we will soon see mass labour disappear altogether. Sociologist Antonio Casilli begs to differ. Work is not disappearing, he argues in this interview with Lorenzo Marsili, but is being transformed by the giants of the digital economy. Understanding how the world of work is changing, and in whose interest, is the key political question of the future.

Lorenzo Marsili: You claim that fears of automation are one of the most recurrent human concerns. Do you think the alarm about “robots taking our jobs” should be toned down?

Antonio Casilli: We are afraid of a ‘great substitution’ of humans by machines. This is quite an old concept, one we can trace back to early industrial capitalism. In the 18th and 19th centuries, thinkers like Thomas Mortimer and David Ricardo asked whether the rise of steam power or mechanised mills implied the “superseding of the human race.” This vision was clearly a dystopian prophecy that was never realised in the form originally predicted.

But when jobs were lost, it was because managers and investors decided to use machines – as they still do – as a political tool to put pressure on workers. Such pressures serve to push down wages and, by extension, to expand the profits made by capital. Machines therefore have a precise ideological alignment that typically benefits the part of society which possesses financial means, at the expense of that which works. As a result, the rhetoric around machines as inevitable and neutral job destroyers has been used for two centuries to squeeze the workforce and silence its demands. The discourse that surrounds automation today, with the accompanying fear of robots, is a reproduction of this same rhetoric.

Let’s take a step back. The ‘gig economy’ has become synonymous with underpaid, precarious employment. You choose to focus on the concept of the ‘microtask’. What does this concept refer to?

Microtasks are fragmented and under-remunerated productive processes. Examples include translating one line of a one-page text, watching 10 seconds of an hour-long surveillance video, and tagging the content of five images. Microworkers are usually paid a few cents per task. These tasks are usually posted on microwork platforms which function as labour markets or job search websites. Microworkers can choose the task they want to perform and are allocated a few minutes to complete it. Microtasks are becoming increasingly important in domains as wide-ranging as marketing, computer vision, and logistics, to name just a few. One of the smallest microtasks is the single click, which can be paid as little as one thousandth of a dollar.

The rhetoric around machines as inevitable and neutral job destroyers has been used for two centuries to squeeze the workforce and silence its demands

Are we talking about a significant new phenomenon or is it more of a niche area?

We are faced with a statistical problem when investigating microwork, one shared with the gig economy and indeed every type of informal, atypical, or undeclared work. Their scale and pervasiveness are difficult to gauge with the usual statistical resources such as large-scale surveys, models like the Labour Force Survey, data from the International Labour Organization, or businesses themselves supplying information voluntarily. As far as microwork alone goes, estimates vary wildly. The most conservative, like those of the World Bank, point to just 40 million microworkers. The most exaggerated, meanwhile, describe 300 million in China alone. Personally, I would estimate that there are around 100 million such workers in the world. But the real question is whether these 100 million are the seeds of a much broader tendency. If microwork indicates a way of working that is becoming the norm, how many workers are transforming into microworkers?

And would you say that all work is starting to resemble microwork?

If we look in detail at the evolution of a few particular professions, we can see that they are becoming fragmented and standardised. Take journalists and graphic designers. Instead of producing a campaign, an investigation, or some other project, like 10 or 20 years ago, they find themselves increasingly tasked with producing a small part of a larger project. They are assigned microtasks, to edit a line or to change the colour in a logo, while the rest is distributed to other people. The future of journalism is not threatened by algorithms that write pieces in place of humans, but by the owners of ‘content mills’ that do not demand entire articles but three lines which are used to optimise algorithms. Because the websites in which these texts appear are found by search engines and not by readers, the texts are tailored with the algorithms in mind. Similar kinds of transformations seem to be taking place across a number of sectors.

One interesting aspect of these microjobs is the symbiosis between automated and manual processes. There are jobs that require ‘teaching’ machines and algorithms to make them more efficient for a given task, such as autonomous driving or image recognition. It seems like Star Trek in reverse, where it is no longer the machines that work for the humans but the humans that work for the machines.

In a certain sense, we are seeing the old idea that computers are there for us to command overturned. What’s happening now is that these objects that are a part of our everyday lives – our smartphones, our cars, our personal computers, and many more objects in our homes – are often used to run the automatic processes we call artificial intelligence. By artificial intelligence we mean processes that take decisions in a more or less automatic manner, and which learn, solve problems, and ultimately make decisions, including purchases, in our place. But the problem is that we have this false idea that artificial intelligence is intelligent from its very inception. On the contrary, artificial intelligence needs to be trained, which is why we use terms like ‘machine learning.’ But who teaches artificial intelligence? If we still think the answer is engineers and data scientists, then we are making a big mistake. What artificial intelligence really requires is a huge quantity of examples, and these come from our own personal data. The problem is that this raw information we produce needs to be refined, cleaned, and corrected.

So this is where microwork comes in?

Yes, who wants to do this degrading, routine work? Many people recruited by microwork platforms come from developing countries where the labour market is so precarious and fragmented that they accept minimal remuneration. In return, they perform tasks that might include, for example, copying down a car license plate to provide data for the algorithm managing motorway speeding tickets, or to recognise 10 images, which might be used to provide data on pattern recognition.

But how does this expansion of microwork relate to the stagnation of labour markets in the more advanced capitalist economies? In the UK, for example, there is almost full employment but jobs are increasingly precarious and wages flat.

There is a longer-term trend here that became marked at the end of the 20th century. It consists in the segmentation of the labour market through a pronounced division between ‘insiders’, those who work in ‘formal’ jobs, and ‘outsiders’, who live on ‘odd jobs.’ The so-called outsiders, who are used to moving from one job to another, are the first candidates on microwork platforms. What’s also happening, however, is that insider jobs are becoming less and less formal. The decline of formal work is the result of a political assault on the rights and numbers of salaried workers with the goal of increasing the profit share relative to the wage share. What we see as a result in Western labour markets is an ongoing movement of people from jobs that were traditionally in the formal sector into informal work. This trend is both a result of the huge wave of layoffs seen in recent years, as well as of the outsourcing of productive processes. Outsourcing sees people leave formal jobs to become informal providers for the same company that previously employed them. These people are sometimes asked to leave companies to create their own small businesses and become subcontractors of their former employer.

So labour is not so much destroyed as transformed. Can this development be explained by today’s new monopoly capitalism, with a few large monopolies each dominating a specific platform service?

I would say that there is a process of concentration of capitalism but I don’t agree completely with the notion of monopoly capitalism. I tend to follow the school of thought presented by Nikos Smyrnaios, a Greek researcher, who wrote a book about oligopolistic capitalism, specifically regarding online and digital platforms. The point of his analysis is that there is no such thing as a monopolistic approach to the digital economy. What actually happens is that, for structural and political reasons, these platforms tend to become big oligopolistic economic agents and tend to create what economists would describe as ‘oligopsonies’, or markets dominated by a few buyers, in this case buyers of labour. Thus a handful of big platforms buys labour from a myriad of providers, as happens on microtask services like Amazon Mechanical Turk. These platforms cannot become actual monopolies because they tend to compete amongst themselves.

Citizens are facing relentless efforts deployed by digital capitalists to fragment, standardise, and ‘taskify’ their activities

One way of describing it today is by using quick acronyms like the GAFAM (Google, Apple, Facebook, Amazon, and Microsoft). There are four or five big actors, big platforms, which despite being known for a specific product – whether it is the Google search engine or the Amazon catalogue – don’t really have a ‘typical’ product either. Instead, they are ready to regularly shift to new products and new models. Look at Google’s parent company, Alphabet: it trades in everything from military robot-dogs to think-tanks to fighting corruption. The only thing that is constant for these platforms across products and services is that they rely heavily on data and automated processes, that which we now call artificial intelligence. To capture the data they need to nourish the artificial intelligence they create and sell, they need people to create and refine this data. And so we are back to our role as digital producers of data.

So you would agree with the late Stephen Hawking: the problem is not the robots, but capitalism or, put differently, whoever controls the algorithmic means of production.

This has always been the main problem. The point today is that the algorithmic means of production have become an excuse for capitalists to take certain decisions that would otherwise cause popular uproar. If I were a CEO of a big platform and I declared that my intention was to “destroy the labour market”, I would of course provoke a serious social backlash. But if I said, “I’m not destroying anything, this is just progress, and you cannot stop it”, nobody would react. Nobody wants to be identified with obscurantism or backwardness, especially on the Western Left, whose entire identity is rooted in historical materialism and social progress. So the cultural discourse of “robots who are definitely going to take our jobs” is designed to relieve industrial and political decision-makers from their responsibilities, and to defuse any criticism, reaction, or resistance.

So we need to push against the portrayal of these transformations as natural or magical events, as opposed to political choices. As you know, in the 1970s there was an early re-reading of Marx’s Fragment on Machines, led by Toni Negri and others, which developed the idea of a ‘cognitariat’ as a new political class that could rise up from new forms of immaterial labour. Where do you think that a political force to contest top-down automation might come from?

My own personal history is rooted in a specific intellectual milieu: Italian post-workerism. Nevertheless, some of its hypotheses need to be critically reappraised. I can think of three in particular. The first one is the Marxist notion of a general intellect. With today’s platforms, we are not facing such a phenomenon. Our use of contemporary digital platforms is extremely fragmented and there is no such thing as progress of the collective intelligence of the entire working class or society. Citizens are facing relentless efforts deployed by digital capitalists to fragment, standardise, and ‘taskify’ their activities and their very existences.

The second point is that the bulk of ‘Italian theory’ is based on the notion of immaterial labour. But if we look at digital platforms, and the way they command labour, we see that there is no such thing as a dematerialisation of tasks. The work of Uber drivers or Deliveroo riders relies on physical, material tasks. Even their data is produced by a very tangible process, resting on a series of clicks that an actual finger has to perform.

And finally, we need to dispute the idea that such a political entity, a class of proletarians whose work depends on their cognitive capacities, actually exists. Even if it did, can we really characterise this political subjectivity as a cognitariat? If you read Richard Barbrook’s 2006 book The Class of the New, you’ll see there’s a long list of candidates for the role of Left-sponsored ‘emerging political subjectivities’, one for each time we experience technological or economic change. Between the ‘lumpenproletariat’, the ‘cognitariat’, the ‘cybertariat’, the ‘virtual class’, and the ‘vectorialist class’, the list could go on forever. But which one of these political and social entities is best suited to defending rights and advancing the conditions of its members? And more importantly, which is able to overcome itself?

What do you mean by overcome itself?

The world doesn’t need a new class that simply establishes digital labour and the gig economy as the only way to be. We need a political subject that is able to think about an alternative.

What do you think should be the role of the state? It seems that the only two national ecosystems trying to govern artificial intelligence are the US and China: Silicon Valley and the state-driven ‘Great Firewall of China’. Where does this leave Europe?

There is a question of what the role of the nation state is in a situation where you have a dozen big players internationally whose power, influence, and economic weight are so vast that in some cases they surpass those of the states themselves. Yet states and platforms are not competitors; they collude. U.S. multinationals are just as state driven as Chinese ones. U.S. government funds and big agency contracts have been keeping Silicon Valley afloat for decades. Moreover, there’s a clear revolving door effect: Silicon Valley CEOs going to work for Washington think tanks or for the Pentagon, like Google’s Eric Schmidt for example.

To be extremely blunt, states should heavily regulate these multinationals, but at the same time they should adopt a policy of extreme laissez faire when it comes to individuals, citizens, and civil society at large. Yet so far exactly the opposite has happened: generally speaking, states are repressing any kind of development or experimentation coming from civil society. They stigmatise independent projects by accusing them of being possible receptacles for terrorists, sexual deviants, and hostiles. Meanwhile, the big platforms are left free to do whatever they want. This situation has to change if we are to have actual political and economic progress.

M, le maudit chatbot (ou, de l’impossibilité de l’automation complète au lendemain de l’échec de l’assistant virtuel de Facebook)

L’année 2018 commence fort chez Zuckerberg. Facebook a décidé de mettre fin à l’expérience de son assistant virtuel, M. Par rapport aux autres chatbots sur le marché, M avait une particularité : il ne cachait pas la présence d’humains derrière les rideaux de l’automation, pour ainsi dire. Facebook allait jusqu’à intégrer cet attribut dans ses arguments de vente. M était présenté comme une intelligence artificielle « mue par des humains » (human powered).

Il s’agissait d’un logiciel qui envoyait des messages via l’application Messenger, initialement disponible pour un nombre limité d’usagers-testeurs (10 000 résidents de San Francisco) qui l’utilisaient surtout pour des opérations commerciales. La plupart des tâches réalisées par le chatbot nécessitaient de personnes pour assister, entraîner, vérifier ses réponses — et parfois se faire carrément passer pour M. D’où la suspicion que son nom ne soit pas un clin d’œil à l’assistant de James Bond, miss Moneypenny, mais une référence assez claire au “micro-travail”…

L’objectif de Facebook avec cet agent conversationnel était de développer une technologie d’intelligence artificielle capable d’automatiser presque n’importe quelle tâche (“Facebook put no bounds on what M could be asked to do“). C’est toujours la vieille promesse du machine learning : tu fais réaliser des tâches par des humains, puis “la machine” apprend et — bam ! tu te débarrasses des humains. Néanmoins, malgré les vastes ressources techniques de Facebook, le taux d’automation de M semble n’avoir jamais dépasse 30%. Presque trois quarts des tâches, donc, étaient effectuées par des petites mains payées à la pièce, entre San Francisco et Katmandou (si le bruit selon lequel elles étaient recrutées via le bureau népalais de la plateforme de micro-travail Cloudfactory était confirmé).

L’histoire de M contient une moralité pour toute entreprise qui développe ou achète des solutions de IA : quand on prend en compte le coût de the human in the loop, l’automation revient très chère. C’est à cause de l’importance de ces coûts (et de la médiocrité des résultats) que Facebook a définitivement décidé de discontinuer M en 2018.

L’autre leçon à retenir ici est que dans la mesure où l’objectif final de M était de préparer le développement de solutions IA qui auraient pu automatiser presque toutes les tâches que les usagers réalisent en ligne, l’automation complète s’avère être un fantasme de silconvallards. A chaque fois qu’on automatise une tâche, les êtres humains avec qui l’IA interagit en redemandent, et de plus en plus complexes. Comme Wired le souligne :

“Another challenge: When M could complete tasks, users asked for progressively harder tasks. A fully automated M would have to do things far beyond the capabilities of existing machine learning technology. Today’s best algorithms are a long way from being able to really understand all the nuances of natural language.”

Il faut alors recommencer et recommencer à concevoir-entraîner-tester-micro-travailler etc. Comme quoi, nous (autant les centaines de millions de tâcherons du clic sur les plateformes de micro-travail que les milliards de micro-tâcherons dissimulés que nous sommes sur les plateformes de médias sociaux) avons devant nous une longue carrière de dresseurs d’IA. Très longue. Interminable même, à en croire certains jeunes experts d’automation. Parmi eux, un nommé Ernest Mandel, lequel affirmait, dans un texte paru en… 1986 :

“Sous le capitalisme, l’automation complète, l’introduction de robots sur grande échelle sont impossibles car elles impliqueraient la disparition de l’économie de marché, de l’argent, du capital et des profits. (…) La variante la plus probable sous le capitalisme, c’est précisément la longue durée de la dépression actuelle, avec seulement le développement d’une automation partielle et d’une robotisation marginale, les deux étant accompagnées par une surcapacité de surproduction sur grande échelle (une surproduction de marchandises), un chômage sur grande échelle, une pression sur grande échelle pour extraire de plus en plus de plus-value d’un nombre de jours de travail et d’ouvriers productifs tendant à stagner et à décliner lentement. Cela équivaudrait à une augmentation de la pression à la surexploitation de la classe ouvrière (en faisant baisser les salaires réels et les prestations de Sécurité sociale), en affaiblissant ou détruisant le mouvement ouvrier organisé et en sapant les libertés démocratiques et les droits de l’homme.”

Micro-lavoratori di tutto il mondo… (Rassegna Sindacale, Italia, 17 sett. 2017)

Riassunto della mia lectio magistralis alle Giornate del Lavoro della CGIL. Qui il video del mio intervento.