crowdwork

The real dangers of facial recognition: mass obedience and online labor exploitation

Facial recognition is a scam, but that doesn’t mean we should underestimate the threat it poses to freedom and fundamental human rights.

Case in point: Russian media MBKh discovered that Moscow police officers illegally “monetize” footage of 175,000 surveillance cameras on forums and messenger groups. For the equivalent of 470$, anyone can have access to facial recognition lookup services that, when provided with the picture of an individual, match it with passerby from hundreds of cameras, along with a list of addresses and times they were caught on camera. 

Interestingly enough, face recognition tech *does not work*, and the journalist has to grudgingly admit its low accuracy:

“As for the accuracy of the results, none of the photos returned were of the investigator. However, the facial features were similar to the input and the system assessed a similarity of 67%.”

According to the journalist, the explanation for this suboptimal performance is “the limited number of cameras connected to the face recognition algorithm”. Apparently, the sample is too small, but the technology is not fundamentally called into question…

Another explanation (often ignored by journalists, ever ready to believe the AI hype and therefore disregard its actual dangers) is introduced by a 2018 New York Times coverage of China’s surveillance-industrial complex: mass surveillance systems are not automated per se and are largely based on the intervention of crowds of micro-workers who cherry-pick millions of videos, cut out silhouettes of individual and tag metadata, fill in databases and annotate information:

“The system remains more of a digital patchwork than an all-seeing technological network. Many files still aren’t digitized, and others are on mismatched spreadsheets that can’t be easily reconciled. Systems that police hope will someday be powered by A.I. [emphasis added] are currently run by teams of people sorting through photos and data the old-fashioned way.”

“The old-fashioned way” here means “by hand”… Data annotation, triage, enrichment, especially for the computer vision models underlying face recognition algorithms, is a blossoming market. Recent research by Bonnie Nardi, Hamid Ekbia, Mary Gray, Sid Suri, Janine Berg, Six Silberman, Florian Schmidt, Trevor Paglen, Kate Crawford, Paola Tubaro and myself witnesses its development in sectors as diverse as home automation, transportation, advertising, health, entertainment… and the military. It is based on a workforce of hundreds of million of online laborers, alternatively called microworkers or crowdworkers. They work long hours, with precarious contracts and exploitative working conditions, and are paid very low wages (in some cases less than a cent per micro-task). Although they are attested in the global North, they are predominantly based in developing and emerging economies—such as Russia and China. But the companies that recruit them to package their annotated data and resell it as surveillance technologies, are mainly located in so-called liberal democracies. Despite the Chinese market supremacy, US, French, Japanese, Israeli and Finnish corporations are spreading these technologies all over the world, according to the 2019 AI Global Surveillance Index.

Despite the importance of these “humans in the loop” that constitute the secret ingredients of AI-based technological innovation, the threats of facial recognition, smart cities and predictive policing must not be minimized. The glorification of AI turns it into a powerful psychological deterrent and a disciplinary device. “The whole point,” explains an expert interviewed by the New York Times, “is that people don’t know if they’re being monitored, and that uncertainty makes them more obedient.”

Any action aimed to fight against the alleged omnipotence of these technologies begins with the recognition of their fictitious nature. If automated surveillance is made up of men and women who train, control and impersonate “artificial artificial intelligence“, it is from the awareness of their role in a dystopian and inhuman system that a change is going to come.

M, le maudit chatbot (ou, de l’impossibilité de l’automation complète au lendemain de l’échec de l’assistant virtuel de Facebook)

L’année 2018 commence fort chez Zuckerberg. Facebook a décidé de mettre fin à l’expérience de son assistant virtuel, M. Par rapport aux autres chatbots sur le marché, M avait une particularité : il ne cachait pas la présence d’humains derrière les rideaux de l’automation, pour ainsi dire. Facebook allait jusqu’à intégrer cet attribut dans ses arguments de vente. M était présenté comme une intelligence artificielle « mue par des humains » (human powered).

Il s’agissait d’un logiciel qui envoyait des messages via l’application Messenger, initialement disponible pour un nombre limité d’usagers-testeurs (10 000 résidents de San Francisco) qui l’utilisaient surtout pour des opérations commerciales. La plupart des tâches réalisées par le chatbot nécessitaient de personnes pour assister, entraîner, vérifier ses réponses — et parfois se faire carrément passer pour M. D’où la suspicion que son nom ne soit pas un clin d’œil à l’assistant de James Bond, miss Moneypenny, mais une référence assez claire au “micro-travail”…

L’objectif de Facebook avec cet agent conversationnel était de développer une technologie d’intelligence artificielle capable d’automatiser presque n’importe quelle tâche (“Facebook put no bounds on what M could be asked to do“). C’est toujours la vieille promesse du machine learning : tu fais réaliser des tâches par des humains, puis “la machine” apprend et — bam ! tu te débarrasses des humains. Néanmoins, malgré les vastes ressources techniques de Facebook, le taux d’automation de M semble n’avoir jamais dépasse 30%. Presque trois quarts des tâches, donc, étaient effectuées par des petites mains payées à la pièce, entre San Francisco et Katmandou (si le bruit selon lequel elles étaient recrutées via le bureau népalais de la plateforme de micro-travail Cloudfactory était confirmé).

L’histoire de M contient une moralité pour toute entreprise qui développe ou achète des solutions de IA : quand on prend en compte le coût de the human in the loop, l’automation revient très chère. C’est à cause de l’importance de ces coûts (et de la médiocrité des résultats) que Facebook a définitivement décidé de discontinuer M en 2018.

L’autre leçon à retenir ici est que dans la mesure où l’objectif final de M était de préparer le développement de solutions IA qui auraient pu automatiser presque toutes les tâches que les usagers réalisent en ligne, l’automation complète s’avère être un fantasme de silconvallards. A chaque fois qu’on automatise une tâche, les êtres humains avec qui l’IA interagit en redemandent, et de plus en plus complexes. Comme Wired le souligne :

“Another challenge: When M could complete tasks, users asked for progressively harder tasks. A fully automated M would have to do things far beyond the capabilities of existing machine learning technology. Today’s best algorithms are a long way from being able to really understand all the nuances of natural language.”

Il faut alors recommencer et recommencer à concevoir-entraîner-tester-micro-travailler etc. Comme quoi, nous (autant les centaines de millions de tâcherons du clic sur les plateformes de micro-travail que les milliards de micro-tâcherons dissimulés que nous sommes sur les plateformes de médias sociaux) avons devant nous une longue carrière de dresseurs d’IA. Très longue. Interminable même, à en croire certains jeunes experts d’automation. Parmi eux, un nommé Ernest Mandel, lequel affirmait, dans un texte paru en… 1986 :

“Sous le capitalisme, l’automation complète, l’introduction de robots sur grande échelle sont impossibles car elles impliqueraient la disparition de l’économie de marché, de l’argent, du capital et des profits. (…) La variante la plus probable sous le capitalisme, c’est précisément la longue durée de la dépression actuelle, avec seulement le développement d’une automation partielle et d’une robotisation marginale, les deux étant accompagnées par une surcapacité de surproduction sur grande échelle (une surproduction de marchandises), un chômage sur grande échelle, une pression sur grande échelle pour extraire de plus en plus de plus-value d’un nombre de jours de travail et d’ouvriers productifs tendant à stagner et à décliner lentement. Cela équivaudrait à une augmentation de la pression à la surexploitation de la classe ouvrière (en faisant baisser les salaires réels et les prestations de Sécurité sociale), en affaiblissant ou détruisant le mouvement ouvrier organisé et en sapant les libertés démocratiques et les droits de l’homme.”

[Séminaire #ecnEHESS] Mary L. Gray “Amazon MTurk: les coulisses de l’intelligence artificielle” (10 avril 2017, 17h)

Enseignement ouvert aux auditeurs libres. Pour s’inscrire, merci de renseigner le formulaire.

Pour la séance du 10 avril 2017 EHESS Etudier les cultures du numérique, nous avons l’honneur d’accueillir Mary L. Gray, chercheuse chez Microsoft Research et membre du Berkman Center for Internet and Society de l’Université Harvard. Mary Gray a été l’une des pionnières des études sur Amazon Mechanical Turk et sur les liens entre micro-travail et intelligence artificielle.

Pour suivre le séminaire sur Twitter : hashtag #ecnEHESS.

ATTENTION : Le siège habituel étant fermé pour les vacances universitaires, cette  séance se déroulera le lundi 10 avril 2017, de 17h à 20h, amphi Opale, Télécom ParisTech, 46 rue Barrault, 13e arr. Paris.

Title: What is Going On Behind the API? Artificial Intelligence, Digital Labor and the Paradox of Automation’s “Last Mile.”

Speaker: Mary L. Gray

Abstract: On-demand digital labor has become the core “operating system” for a range of on-demand services. It is also vital to the advancement of artificial intelligence (AI) systems built to supplement or replace humans in industries ranging from tax preparation, like LegalZoom, to digital personal assistants, like Alexa. This presentation shares research that starts from the position that on-demand “crowdwork”—intelligent systems that blend AI and humans-in-the-loop to deliver paid services through an application programming interface (API)—will dominate the future of work by both buttressing the operations of future enterprises and advancing automation. For 2 years Mary L Gray and computer scientist Siddharth Suri have combined ethnographic fieldwork and computational analysis to understand the demographics, motivations, resources, skills and strategies workers drawn on to optimize their participation in this nascent but growing form of employment.  Crowdwork systems are not, simply, technologies. They are sites of labor with complicated social dynamics that, ultimately, hold value and require recognition to be sustainable forms of work.

La présentation et les débats se dérouleront en anglais.


Séminaire organisé en collaboration avec ENDL (European Network on Digital Labour).

[Slides séminaire #ecnEHESS] Mechanical Turk et le travail invisible des données (7 mars 2016)

Pour la séance du 7 mars 2016 de mon séminaire EHESS Etudier le cultures du numérique, j’ai eu le plaisir d’accueillir Jérôme Denis (Télécom ParisTech, co-auteur de Petite sociologie de la signalétique, 2010) et Karën Fort (Université Paris-Sorbonne, porteuse du projet ZombiLingo). Une intervention d’Elinor Wahal (Université de Trento) a complété leurs exposés.

Résumé : Les plus fervents avocats et les plus féroces critiques des projets de big data ou d’open data partagent l’idée que les données sont des entités informationnelles solides et puissantes. Qu’elles soient décrites comme un pétrole, comme un déluge, ou comme une technologie de gouvernance, celles-ci semblent toujours appréhendées dans un cadre positiviste, qui fait de leur existence et de leurs propriétés des évidences. Pourtant, celles et ceux qui « produisent, » «  saisissent »  ou « nettoient » des données savent que leur existence et leur circulation passent par des opérations délicates et coûteuses. Je propose d’explorer cet aspect méconnu des données en montrant d’abord que l’histoire de l’émergence des données dans les organisations est étroitement liée à la mécanisation et à l’invisibilisation du travail de l’information. À partir de deux études ethnographiques (dans une banque et dans une start-up), je mettrais ensuite en lumière quelques dimensions de ce travail et des conditions de son invisibilisation. À travers ce parcours, je tâcherai de donner à comprendre l’écologie du visible et de l’invisible qui est en jeu dans le processus fragile et incertain par lequel des choses très différentes, souvent indéfinies, deviennent progressivement et temporairement des données.

Résumé : Dans le cadre des travaux des étudiants du séminaire, une intervention sur les plateformes de micro-travail a été assurée par Elinor Wahal (EHESS/Univ. Trento).

Capture d’écran 2016-03-13 à 11.09.51

Karën Fort – Ce qu’Amazon Mechanical Turk fait à la recherche : l’exemple du Traitement Automatique des Langues

Résumé : La plateforme de myriadisation du travail parcellisé (microworking crowdsourcing) Amazon Mechanical Turk permet aux chercheurs de déposer des micro tâches (Human Intelligence Tasks) pour les faire réaliser par des travailleurs (des Turkers) pour une micro-rémunération. Le traitement automatique des langues (TAL) étant très gourmand en ressources langagières (lexiques, corpus annotés, etc), les chercheurs du domaine se sont rapidement emparés de cette plateforme pour produire des données à bas coût. Nous montrerons que cette évolution n’est pas sans conséquence sur la recherche, en termes de qualité et d’éthique. Enfin, nous présenterons les réactions et les alternatives proposées, notamment par le biais des sciences participatives et nous vous présenterons le projet Zombilingo.

 

[Podcast] Sur France Culture (29 janv. 2016)

Dans le Magazine de la Rédaction de France Culture du 29 janvier 2016, Nathalie Andrieux (CNNum) et moi-même étions les invités de Catherine Petillon et Tara Schlegel. Un débat serré sur les notions de travail, ubérisation, syndicalisme 2.0 et nouvelles trajectoires de l’emploi. Le tout précédé par un reportage qui s’attaque à la question ” qu’est-ce qu’aujourd’hui un collectif de travail dans le monde du travail bouleversé par le numérique ?” : nouveaux contrats, protection sociale, relations hiérarchiques…

 

» Ecouter ‘Comment travailler ensemble dans un monde numérique’ — France Culture (58 min)