privacy

Dans 60 millions de consommateurs (nov. 2019)

Dans le numéro 553 (novembre 2019) du mensuel 60 millions de consommateurs, j’ai accordé un entretien dans le cadre de l’expérimentation conduite par le magazine sur les assistants vocaux et leurs gestion des données personnelles des utilisateurs.

3 questions à Antonio A. Casilli

Des sous-traitants écoutent certains enregistrements issus des assistants vocaux, cela vous a surpris ?

Dans la communauté scientifique on savait depuis plusieurs années que des personnes -souvent des travailleurs indépendants ou précaires -étaient recrutées pour vérifier la performance des assistants virtuels. Il s’agit d’écouter des extraits ou de valider des retranscriptions.

Les révélations de la presse ont permis au grand public de le découvrir. Elles ont d’abord concerné Alexa d’Amazon en avril dernier. Mais depuis, tous les autres GAFAM y sont passés.

Le nombre d’enregistrements écoutés serait marginal, selon ces sociétés. Vous y croyez ?

On ne peut pas savoir quelle proportion est réellement écoutée. Elles ne le dévoilent pas, cela relève du secret industriel.

L’intelligence artificielle sur laquelle reposerait ces assistants est donc une illusion ?

Le terme cache le fait qu’une partie du travail est fait à la main. Ce travail a été présenté comme un entraînement pour les assistants virtuels. On parle de machine-learning, comme si les machines allaient opérer d’elle-mêmes après une phase d’apprentissage. La réalité économique et technologique est que ces assistants ne peuvent pas se passer d’une part de travail humain. De nouvelles tâches pour lesquelles il faut les entraîner, se présentent en permanence. Par exemple, un assistant d’abord calibré en anglais doit être adapté au marché français. Il faut alors l’entraîner à nouveau, comme le montre votre étude. L’apprentissage ne s’arrête jamais et l’autonomie de ces dispositifs est sans cesse repoussée.

Interviewé dans l’enquête Mediapart sur assistants vocaux, digital labor et privacy (31 août 2019)

Le site d’information et d’enquête Mediapart publie les révélations depuis l’usine à “intelligence artificielle artificielle” de Siri, signées Jerome Hourdeaux. Le journaliste donne la parole aux micro-travailleurs français travaillant depuis le siège de Cork en Irlande d’un sous-traitant du géant de Cupertino, et met la main sur les documents qui attestent l’étendue des abus d’Apple. J’ai été interviewé dans le cadre de cette enquête et j’ai pu apporter mon éclairage à la publication de ces sources inédites.

Par-delà les risques psychosociaux qu’encourent les micro-travailleurs (isolement, TSPT, perte de sens), il y a un problème évident en termes de violation systématique de la vie privée des usagers des produits Apple. L’entreprise a depuis promis de mettre fin à ces pratiques. Crédible ? Pas vraiment, à mon avis.

La partie vraiment passionnante de l’enquête de Mediapart est la plongée dans le fonctionnement concret du micro-travail. Ça rassemble à quoi une micro-tâche de retranscription et d’annotation de conversations captées par une IA ? Comment se structure le workflow de Siri ?

Capture d’écran de l’interface pour la réalisation de micro-tâche de transcription de l’assistant vocal Siri. Source : Mediapart.

A cette révélation s’en ajoute une autre, celle-ci des plus inquiétantes. Les micro-travailleurs recrutés par Apple ne se limitent pas à retranscrire des phrases anodines que n’importe qui pourrait prononcer. Ils gèrent des données à caractère personnel qui identifient les usagers, lesquels font référence dans leurs conversations à noms, adresses, situations souvent sensibles. De surcroît, pour vérifier que Siri aie bien répondu aux requêtes formulées par les usagers, Apple donne à ses micro-travailleurs accès à tous leurs fichiers personnels via une fonctionnalité qui, selon Mediapart, s’appelle user data browser.

L’usage de ces données n’est pas restreint ni discret, puisque les assistants virtuels comme Siri ont besoin de millions d’exemples pour apprendre à interpréter une simple requête. Leur apprentissage machine nécessite la mise sur écoute systématique et massive des usagers. Ce n’est pas un accident ni le problème de la seule Apple.

J’ai eu l’occasion de l’affirmer ailleurs, et je le répète dans l’article de Mediapart : tous les GAFAM ont désormais été démasqués. Ils ont menti à propos du respect de la vie privée de leurs usagers, mais ils ont surtout menti sur l’artificialité de leurs intelligences artificielles.


Assistant vocal d’Apple: le calvaire des salariés

PAR JÉRÔME HOURDEAUX
ARTICLE PUBLIÉ LE SAMEDI 31 AOÛT 2019

Assistant vocal d’Apple: le calvaire des salariés

À la fin du mois de juillet, TheGuardian et El País révélaient que des centaines de personnes étaient chargées d’écouter les conversations d’utilisateurs de Siri, l’assistant vocal d’Apple, afin de corriger ses résultats. Après avoir suspendu le programme qui reprendra à l’automne, la société vient d’annoncer le licenciement de 300 salariés.

Alors que, acculé par les révélations sur l’écoute des utilisateurs de Siri, Apple vient de mettre à la porte plusieurs centaines de salariés, Mediapart a pu recueillir les témoignages de plusieurs d’entre eux et consulter des documents détaillant le travail de ces employés, chargés d’écouter les utilisateurs.

Au total, au moins 300 personnes travaillant pour des sous-traitants d’Apple à Cork, en Irlande, se sont vu notifier la fin de leur contrat vendredi dernier, rapporte mercredi 28 août The Guardian.

Cette annonce n’a pas vraiment été une surprise pour les salariés concernés. Depuis le 2 août, nombre d’entre eux avaient été placés en chômage technique après la révélation, par The Guardian et El País, de la nature réelle de leur travail : écouter les utilisateurs d’Apple parler à Siri. Cette intelligence artificielle, embarquée sur l’ensemble des appareils vendus par la marque à la pomme, permet d’activer une application, d’écouter de la musique, de faire une recherche sur Internet ou encore d’appeler un contact, simplement en donnant un ordre oral.

Les articles du Guardian et d’El País n’étaient pourtant pas en eux-mêmes des scoops. Plusieurs chercheurs avaient déjà expliqué que les intelligences artificielles le sont beaucoup moins que ce que leurs concepteurs prétendent. Incapables de réellement « apprendre » par eux-mêmes, les algorithmes ont besoin de centaines de milliers d’exemples, fournis par des êtres humains.

Les deux quotidiens rapportaient en revanche les témoignages inédits d’anciens salariés de sous- traitants d’Apple ayant passé leurs journées à écouter des conversations de clients et à noter la réponse apportée par Siri. De plus, révélaient-ils, les différents appareils sur lesquels est embarqué l’assistant vocal ont une fâcheuse tendance à activer celui-ci à tout bout de champ.

Les salariés chargés d’écouter les extraits sonores enregistrés par Siri tombaient ainsi régulièrement sur des échanges particulièrement privés, comme lors de relations sexuelles ou encore lors de ce qui semblait être un trafic de drogue. En réaction, Apple avait annoncé la suspension de programmes d’amélioration de Siri, le temps de revoir ceux-ci et de les reprendre, sous une forme modifiée, à l’automne prochain.

Depuis, Mediapart a également recueilli les témoignages de plusieurs ex-salariés ayant travaillé dans les locaux de GlobeTech, l’une des deux principales sociétés travaillant pour Apple à Cork (l’autre étant Lionbridge). Ceux-ci confirment les informations du Guardian et d’El País et donnent des détails supplémentaires.

Les centaines de personnes travaillant pour Globetech et Lionbridge étaient affectées à de multiples « projets » correspondant aux différentes phases de vérification et de notation de Siri. Ces différentes tâches nécessitaient des compétences et des niveaux d’accréditation différenciés permettant, pour certaines d’entre elles, d’accéder aux données personnelles contenues dans l’appareil de l’usager.

Chaque salarié étant soumis à une clause de confidentialité, il est très difficile de savoir à quoi correspond exactement chacun de ses projets. Mais plusieurs documents internes et témoignages d’ex- salariés recueillis par Mediapart permettent d’avoir une idée assez précise du rôle des humains au cœur du fonctionnement de l’intelligence artificielle et de leurs conditions de travail.

Les salariés travaillant directement sur Siri sont classés en deux principales catégories. Il y a tout d’abord les « language analysts », qui travaillent sur les « bulk data », les données brutes, c’est-à-dire les extraits audio livrés sans autre information.

La tâche de base correspond aux programmes « 1.000 hours » (1 000 heures) et se décline au sein de projets spécifiques en fonction de l’appareil : « 1.000 hours iPhone », « 1.000 hours iPad », « 1.000 hours CarPlay », etc. Le salarié, connecté à une interface sur un réseau interne d’Apple, a accès à l’enregistrement audio et, dessous, la transcription automatique qui a été faite par l’algorithme. Il doit se contenter d’écouter la séquence, appelée « itération », et de corriger les éventuelles fautes de retranscription.

Le nombre d’itérations nécessaires au bon fonctionnement de Siri est impressionnant. Dans les documents consultés par Mediapart, un tableau d’objectifs trimestriel donne le chiffre de 609 309 extraits audio pour les clients francophones, 874 778 pour les Chinois, ou encore 716 388 pour les Japonais. Et ce, uniquement sur le troisième trimestre 2019 et pour l’iPad. S’ensuit, pour les employés, un rythme effréné afin d’atteindre un quota quotidien fixé à 1 300 itérations par jour.

L’autre catégorie d’employés correspond aux « data analysts » qui, eux, ont accès à certaines données personnelles des utilisateurs. Apple avait pourtant affirmé que ses salariés n’avaient pas les moyens d’identifier les personnes écoutées, notamment parce qu’ils ne disposaient pas de l’« user ID », l’identifiant.

C’est en partie vrai. Le nom de l’utilisateur ou son numéro n’apparaissent effectivement pas. Mais un petit menu intégré à l’interface d’Apple, le user data browser, permet d’effectuer des recherches parmi les données stockées dans l’appareil. Cette fonctionnalité est principalement intégrée à l’outil de notation de Siri, le Siri results widget (SRW).

Assistant vocal d’Apple: le calvaire des salariés

Celui-ci présente, en haut, l’extrait sonore et, en dessous à gauche, la réponse apportée par Siri à la requête. À droite, une série de questions permet de noter celle-ci. Et en dessous, le user data browser permet de fouiller dans les données de l’appareil pour vérifier que Siri a utilisé les bonnes informations.

Comme l’explique l’un des documents, « les données d’utilisateur peuvent être utiles pour comprendre l’intention de l’utilisateur. Par exemple, si l’utilisateur dit : “Montre coucher de soleil horizontal”, cela peut être dur à comprendre. Toutefois, si l’utilisateur a un album photo appelé “Couchers de soleil horizontaux”, ce que l’utilisateur voulait devient clair ».

Concernant les conditions de travail, les salariés des sous-traitants d’Apple sont un peu mieux lotis que beaucoup d’autres micro-travailleurs, tels que ceux décrits notamment par le sociologue Antonio Casilli, auteur du livre En attendant les robots (Seuil, janvier 2019) et membre du projet DipLab (Digital Platform Labor), à l’origine du rapport « Le micro-travail en France », sorti en avril 2019.

Ce nouveau sous-prolétariat numérique, ces « tâcherons du Web », travaillent bien souvent de chez eux, via des plateformes intermédiaires, et ne connaissent souvent même pas l’identité du commanditaire. Ils sont rémunérés à la tâche, le plus souvent quelques centimes d’euros.

À GlobeTech, les salariés disposent d’un contrat de travail de droit irlandais, avec un salaire mensuel d’environ 2 000 euros brut par mois, pour des journées de 7 h 30, pause déjeuner déduite, avec deux pauses de 15 minutes. Ils travaillent dans des locaux spécifiques d’où ils se connectent à l’interface d’Apple via un réseau sécurisé.

Les conditions de travail y sont strictes, et souvent mal vécues par les salariés. « Le pire, c’est le côté répétitif, les itérations qui reviennent constamment, du style “mets l’alarme à telle heure”, explique Antoine*, un des anciens salariés que Mediapart a rencontrés. Les gens étaient tous surdiplômés, des bac + 3 à bac + 5. Tout le monde s’ennuyait. La plupart des gens s’en allaient le plus tôt possible, dès qu’ils avaient fini leur quota journalier d’itérations. Je crois que personne ne reste plus de six mois. Même nos supérieurs avaient l’air de détester leur travail. »

« De plus, poursuit le jeune homme, on était hyper fliqués. Quand on ne faisait pas d’itération pendant plus de six minutes, on était considéré en pause. Il fallait envoyer chaque soir par mail le nombre d’itérations que l’on avait faites durant la journée. »« On pouvait être viré du jour au lendemain, confirme Gaël*, un autre ex-salarié. Le soir, votre superviseur pouvait venir vous voir pour vous dire : t’as pas fait tes stats aujourd’hui, tu pars. »

Beaucoup de salariés ont mal vécu le fait d’être les témoins de la vie privée des utilisateurs. Une bonne partie des requêtes concernent des ordres assez classiques, comme appeler un contact. « Le plus drôle que j’ai eu, c’est un “appel Frank Riester” », se souvient Antoine.

Mais certains se révèlent particulièrement intrusifs.

« Beaucoup de gens dictent leurs textos. Et on a donc beaucoup de “sextos” », raconte Antoine. Il y a également les cas de demande de recherche relative à des maladies par exemple. « On entend aussi beaucoup de voix d’enfant. On ne leur a pas demandé leur avis,

à eux ! », s’indigne Gaël, qui se souvient d’une voix enfantine demandant : « Dis Siri, tu peux me montrer une photo de vrai zizi ? »

Il y a également les nombreuses personnes qui utilisent Siri comme dictaphone, afin d’enregistrer des mémos vocaux. Antoine et Gaël sont ainsi tous deux tombés à de nombreuses reprises sur des extraits de professeurs, enregistrant leurs avis de conseils de classe.

Enfin, il y a les enregistrements accidentels, provoqués par un déclenchement involontaire de Siri. Car l’assistante vocale semble particulièrement sensible. « Ça s’active à tout bout de champ, confirme Antoine. J’ai remarqué que ça marchait notamment avec les phrases des autres assistants vocaux, par exemple si vous dites “OK Google”. »

Lorsqu’un salarié tombait sur un de ces enregistrements, il devait l’écouter et le signaler en cliquant sur un bouton « accidental trigger ». « C’était tout simplement le bouton sur lequel on appuyait le plus, se souvient Antoine. On pouvait entendre de tout. Ça pouvait être la musique d’une voiture pendant plusieurs minutes ou deux ados se racontant leurs drames. » Gaël, lui aussi, est tombé à plusieurs reprises sur des disputes amoureuses, des confessions intimes…

Parfois, le malaise ressenti par le salarié se transforme en traumatisme. Certains salariés peuvent être confrontés à des enregistrements dévoilant des pratiques illégales ou des situations de violence. « Je me souviens un jour d’une fille qui disait à sa copine, a priori à propos de son petit copain, un truc du style : “il est dangereux, il faut le faire enfermer”. Dans ces cas-là, on se sait pas quoi faire, on ne sait pas s’il y a réellement danger. » Gaël, de son côté, se souvient d’un enregistrement dans lequel un homme tient des propos explicitement pédophiles. « Ça m’a mis hors de moi, se souvient-il. Avons-nous un devoir moral à partir du moment où on surveille ? Est-ce qu’il n’y a pas un délit de complicité ? »

En page d’accueil du portail d’aide mis à la disposition des salariés par Apple, un message les prévient qu’ils peuvent être confrontés à « des propos vulgaires, des thèmes violents, pornographiques ou des sujets criminels » et les incite à contacter leur supérieur si besoin. Pourtant, dans la pratique, les salariés n’ont aucune information sur ce qui arrive par la suite.

« Ce genre de traumatisme est assez courant, explique Antonio Casilli. Il arrive même que certains travailleurs souffrent du syndrome de stress posttraumatique, notamment chez ceux chargés de la modération des commentaires. Des modérateurs de Microsoft et de Facebook ont déjà poursuivi leur employeur après avoir été frappés par ce syndrome. Dans le contexte des correcteurs de Siri, poursuit le sociologue, il y a un facteur supplémentaire qui joue : la difficulté de contextualisation. Ils sont confrontés à des extraits de discussions, des propos isolés, totalement déracinés du contexte général. Ils ne peuvent pas savoir s’il s’agit d’une provocation ou d’une exagération. Cela peut être plus perturbant que s’ils étaient présents physiquement. »

Dans ses travaux, Antonio Casilli a démontré à quel point les micro-travailleurs étaient indispensables au bon fonctionnement des intelligences artificielles. Dans ce cas, quelles mesures prendra Apple ? La marque à la pomme a annoncé au Guardian que le programme de notations de Siri reprendrait à l’automne, avec quelques modifications. Les utilisateurs auront notamment la possibilité de préciser qu’ils refusent d’être écoutés et les personnes chargées d’écouter les extraits sonores seront directement employées par Apple.

Antonio Casilli prend ces annonces « avec beaucoup de méfiance ». « Le travail de ces personnes est fondamental pour le fonctionnement d’un assistant vocal, rappelle-t-il. L’intelligence artificielle a besoin d’être entraînée et vérifiée. Sinon, elle ne marche pas. Ils vont donc devoir inventer une nouvelle manière de faire cet entraînement et cette vérification.

La solution consistant à internaliser ces tâches permettrait notamment d’imposer des contraintes de confidentialité accrue. Mais ça irait tout simplement à l’encontre des principes de gestion d’Apple. Une autre solution serait de morceler encore plus les tâches d’entraînement et de vérification et de les confier à des centres de gestion dans des pays tiers, poursuit le sociologue. Il y a tout de même eu une vague de révélations ces derniers mois, avec plusieurs travailleurs qui se sont transformés en lanceurs d’alerte. Et il semblerait que la plupart d’entre eux soient originaires de pays de l’Union européenne, où les législations sont plus protectrices qu’ailleurs. On peut imaginer qu’Apple cherche à installer ses centres de gestion dans des pays ayant une législation moins clémente. »

Gaël, lui aussi, est convaincu que le programme reprendra sous peu, peut-être en interne. « Ils vont se contenter de modifier les conditions générales d’utilisation pour y inclure le fait que ce que vous dites à Siri peut être écouté. Les gens vont signer et ça reprendra », prédit le jeune homme. « C’est, hélas, très possible, acquiesce Antonio Casilli. Nous sommes tous les esclaves de ce consentement forcé que sont les CGU. Ils sont totalement capables d’y mettre ce qui était encore inimaginable hier. »

Les révélations de ces derniers mois marquent cependant un tournant incontestable. Le 13 août, c’est Facebook qui admettait, lui aussi, écouter les conversations des utilisateurs des fonctions audio de son service Messenger et annonçait leur suspension. Apple, de son côté, a présenté jeudi 29 août ses excuses à ses clients écoutés.

« Tous les Gafam ont désormais été démasqués, constate Antonio Casilli. Il y a encore un an, si je disais dans une conférence que des travailleurs écoutent ce que l’on dit à un assistant vocal, c’était une “educated guess”, une supposition éclairée, une conséquence logique de ce que j’avais pu comprendre de leur fonctionnement lors de mes recherches. »

« Depuis, il y a eu une avalanche de témoignages qui montrent que non seulement il y a des enregistrements sauvages, mais également que ces assistants vocaux sont extrêmement défectueux, poursuit le sociologue. Quand on voit des taux de précision de 90 %, on peut se dire que c’est déjà pas mal, mais ça veut dire tout de même que quand vous demandez votre chemin, une fois sur dix, l’algorithme vous donnera le mauvais. C’est tout de même problématique. Apple a donc doublement menti : en disant qu’ils n’enregistraient pas les gens, et en leur affirmant que Siri fonctionne. »

Le programme du séminaire #ecnEHESS 2018/19 est arrivé !

Mon séminaire Étudier les cultures du numérique (mieux connu comme #ecnEHESS) est de retour pour la 11e année consécutive.

Structure : pour la rentrée 2018/19, le séminaire fait peau neuve : plus compact (9 séances sur 5 mois), plus long (24 heures de cours) et surtout… plus fondamental. Parce que justement à partir de cette année, l’enseignement devient une formation du tronc commun du master en sciences sociales de l’EHESS, et une unité fondamentale de la mention Histoire des Sciences, Technologies, Sociétés (HSTS), en collaboration avec le Centre Alexandre Koyré.

C’est pourquoi, le programme se compose cette année de deux types de sessions :

  • les séances thématiques retracent les grandes questions de la sociologie du numérique et sont réservées en priorité aux étudiant•es EHESS (mais peuvent accueillir des auditeur•rices libres dans la mesure des places disponibles) ;
  • les séances d’approfondissement, où des invité•es externes présentent leurs recherches en cours,  s’inscrivent dans la tradition du séminaire #ecnEHESS et sont ouvertes à tou•tes.

Logistique : le séminaire aura lieu deux jeudis par mois, du 10 janvier 2019 au 9 mai 2019. Les séances thématiques se dérouleront au Centre Alexandre Koyré (salle séminaire, 27 Rue Damesme, 75013 Paris). Les séances d’approfondissement se dérouleront à l’Institut des Systèmes Complexes (salle séminaire 1.1, 113 rue Nationale 75013 Paris).

Pour vous inscrire, merci de renseigner le formulaire de contact (option “seminar”).

Voilà le calendrier complet :

 
Jeudi 10 janvier 2019 (15h-18h)
Centre Alexandre Koyré, salle séminaire, 27 Rue Damesme, 75013 Paris

Séance thématique (priorité étudiant•es EHESS)
Sociabilité, identité, communauté sur internet
Enseignant : Antonio Casilli
Jeudi 24 janvier 2019 (16h-18h)
Institut des Systèmes Complexes, salle séminaire 1.1, 113 rue Nationale 75013 Paris

Séance d’approfondissement (ouverte aux auditeur•es libres)
Les communs numériques
Intervenant•es : Benjamin Coriat, Laura Aufrère (Univ. Paris 13), Lionel Maurel (CNRS).
Jeudi 7 février 2019 (15h-18h)
Centre Alexandre Koyré, salle séminaire, 27 Rue Damesme, 75013 Paris
Séance thématique (priorité étudiant•es EHESS)
Analyse des réseaux (structure, norme, et capital social en ligne)

Enseignant : Antonio Casilli
Jeudi 21 février 2019 (17h-19h)
Institut des Systèmes Complexes, salle séminaire 1.1, 113 rue Nationale 75013 Paris

Séance d’approfondissement (ouverte aux auditeur•es libres)
Ce que les big data font aux sciences sociales
Intervenant•es : Paola Tubaro (CNRS) et Étienne Ollion (CNRS).
Jeudi 7 mars 2019 (15h-18h)
Centre Alexandre Koyré, salle séminaire, 27 Rue Damesme, 75013 Paris

Séance thématique (priorité étudiant•es EHESS)
Évolutions de la vie privée sur Internet
Enseignant : Antonio Casilli
Jeudi 21 mars 2019 (17h-19h)
Institut des Systèmes Complexes, salle séminaire 1.1, 113 rue Nationale 75013 Paris

Séance d’approfondissement (ouverte aux auditeur•es libres)
Action collective à l’heure du numérique
Intervenant•es : Jen Schradie (Sciences Po Paris).
Jeudi 4 avril 2019 (15h-18h)
Centre Alexandre Koyré, salle séminaire, 27 Rue Damesme, 75013 Paris

Séance thématique (priorité étudiant•es EHESS)
Travail et intelligences artificielles

Enseignant : Antonio Casilli
Jeudi 18 avril 2019 (17h-19h)
Institut des Systèmes Complexes, salle séminaire 1.1, 113 rue Nationale 75013 Paris

Séance d’approfondissement (ouverte aux auditeur•es libres)
Travail et plateformes numériques
Intervenant•es : Marie-Anne Dujarier (Univ. Paris Diderot) et Maud Simonet (Univ. Paris Nanterre).

Une séance finale de restitution des travaux des étudiant•es aura lieu le jeudi 9 mai 2019 de 15 h à 19 h au Centre Alexandre Koyré, salle séminaire. Lors de cette session, les étudiant•es présenteront une synthèse portant sur un sujet ayant trait aux usages sociaux des technologies numériques, choisi en accord avec l’enseignant. Le rendu prendra la forme d’une contributions à Wikipédia (création et modification d’articles) et d’une présentation orale.

Le RGPD, un premier pas dans la bonne direction (grand entretien Libération, 25 mai 2018)

Pour le sociologue Antonio Casilli, le RGPD est un premier pas pour assainir la relation que citoyens et entreprises ont établie autour des données fournies par les premiers aux secondes.

Sociologue, Antonio Casilli est enseignant-chercheur à Télécom ParisTech et chercheur associé à l’EHESS. Pour lui, l’enjeu du règlement général sur la protection des données (RGPD) est de permettre au «travailleur de la donnée» qu’est devenu homo numericus de se réapproprier un capital social numérique que les grandes plateformes avaient jusqu’ici confisqué à leur avantage.

Que représente le règlement européen à l’aune du combat déjà ancien pour la maîtrise de nos données personnelles ?

La question du contrôle de nos vies privées a radicalement changé de nature à l’ère des réseaux. Alors qu’il s’agissait auparavant d’un droit individuel à être «laissé en paix», cette vision très exclusive n’a plus guère de sens aujourd’hui pour les milliards d’usagers connectés en permanence, avides de partager leurs expériences. Nos données personnelles sont en quelque sorte devenues des données sociales et collectives, ce qui ne signifie évidemment pas qu’il faille faire une croix sur l’exploitation qui en est faite. C’est même tout le contraire.

Comment le RGPD s’inscrit-il dans ce mouvement ?

Ce texte est l’aboutissement d’un processus d’adaptation à l’omniprésence des grandes plateformes numériques dans notre quotidien. Dans le Far West réglementaire qui a prévalu ces dernières années, leurs marges de manœuvre étaient considérables pour utiliser et valoriser les données personnelles comme bon leur semblait. Avec le RGPD, il devient possible de défendre collectivement nos données. Le fait que le règlement ouvre la possibilité de recours collectifs en justice est très révélateur de cette nouvelle approche.

En quoi le RGPD peut-il faciliter nos vies d’usagers et de «travailleurs» de la donnée ?

En actant le fait que nos données ne sont plus «chez nous» mais disséminées sur une pluralité de plateformes, dans les profils de nos proches, les bases de données des commerçants ou des «boîtes noires» algorithmiques, le RGPD cherche à harmoniser les pratiques de tous les acteurs, privés mais aussi publics, qui veulent y accéder. D’où l’idée d’un «guichet unique» pour les usagers, qui établit que c’est le pays de résidence qui est compétent pour gérer les litiges, et non le lieu d’implantation de l’entreprise qui a accès aux données. Cela n’aurait aucun sens alors que celles-ci circulent partout.

Si ces données sont le résultat de notre propre production en ligne, ne devrait-on pas disposer d’un droit à les monétiser ?

Ce n’est pas la philosophie du RGPD, qui ne conçoit pas la donnée dite personnelle comme un objet privatisable, mais plutôt comme un objet social collectif dont nous pouvons désormais contrôler l’usage. Les données sont devenues un enjeu de négociation collective, non pas au sens commercial du terme comme l’imaginent certains, mais plutôt syndical : il y a là l’idée d’un consentement sous conditions dans lequel les deux parties fixent des obligations réciproques. C’est très différent d’une vision marchande qui risquerait d’instituer ce que l’on appelle un «marché répugnant», dans lequel on monétiserait des aspects inaliénables de ce qui fonde notre identité.

Le diable ne se situe-t-il pas dans les fameuses «conditions générales d’utilisation» (CGU) que tous les services s’empressent de modifier, mais que personne ne lit ?

C’est une des limites actuelles du RGPD. Les «Gafa» [Google, Apple, Facebook et Amazon, ndlr] restent en position ultradominante, et nous bombardent de CGU qui pour l’instant ne modifient pas l’équilibre des pouvoirs. Il existe un vrai flou sur notre consentement présupposé à ces «contrats» que l’on nous somme d’approuver.

Pouvez-vous donner des exemples ?

Lorsque Facebook explique que la reconnaissance faciale de nos photos est utile pour lutter contre le revenge porn [la publication en ligne de photos sexuellement explicites d’une personne sans son accord], il s’abstient de préciser que dans certains contextes, elle peut également servir à certains régimes politiques pour identifier des personnes. Il circule actuellement une pétition dénonçant le projet «Maven», que Google mène en collaboration avec l’armée américaine afin que ses technologies d’intelligence artificielle servent à de la reconnaissance d’images filmées par des drones. Le problème, c’est que les mêmes technologies sont utilisées pour améliorer nos usages. Mais on n’a pas signé pour que nos données servent à améliorer les outils du Pentagone.

Le RGPD va-t-il aider à un rééquilibrage entre petits et très gros acteurs d’Internet, comme le dit la Commission européenne ?

Il serait illusoire de croire que la régulation de nos données personnelles pourra faire ce que d’autres lois devraient faire. Les grandes plateformes du numérique vont appliquer ou faire semblant d’appliquer le RGPD, parce qu’il est vital pour elles de continuer à accéder au marché européen, mais les petits vont continuer à souffrir de leur concurrence. Pour parvenir à un rééquilibrage économique, il vaut mieux se concentrer sur la réforme de la fiscalité du numérique, qui jusqu’ici n’a pas vraiment avancé malgré toutes les promesses des politiques.

Why Facebook users’ “strikes” don’t work (and how can we fix them)?

Another day, another call for a Facebook “users’ strike”. This one would allegedly run from May 25 to June 1, 2018. It seems to be a one-man stunt, though (“As a collective, I propose we log out of our Facebook…”). Also, it claims to be “the first ever” strike of this kind.

Yet, since the Cambridge Analytica scandal, new calls for strikes have been popping up every few days. As far as I know, the first one dates back to March 21 (although the actual strike is scheduled on May 18, 2018). The organizer is a seasoned Boston Globe journo, who likely just discovered what digital labor is and is SO excited to tell you:

“I like the idea of a strike, because we users are the company’s real labor force. We crank out the millions of posts and photos and likes and links that keep people coming back for more.”

On April 9, 2018 an an obscure Sicilian newspaper called a strike action (which, in Italian, sounds like “sciopero degli utenti di Facebook”). It actually turned out to be an article about the “Faceblock” which did take place on April 11, 2018. It was a 24-hour boycott against Instagram, FB and WhatsApp organized by someone who describe themselves as “a couple of friends with roots in Belgium, Denmark, Ireland, Italy, Malta, Mexico, the UK and the US” (a tad confusing, if you ask me).

Of course, May 1st was a perfect time to call for other Facebook strikes. This one, for instance, is organized by a pseudonymous “Odd Bert”, who also mentions a fictional Internet User Union (which seems to be banned by Facebook). This other one looked a bit like some kind of e-commerce/email scam, but produced three sets of grievances.

“On May 1st, 2018, Facebook users are going on strike unless the company agrees to the following terms:

A. Full Transparency for American and British Voters

  1. Facebook shares the exact date it discovered Russian operatives had purchased ads.
  2. Facebook shares the exact dollar amount Russian operatives spent on political ads.
  3. Facebook shares the 3,000+ ads that Russian operatives ran during 2016.
  4. Facebook reveals how many users saw the fake news stories highlighted by BuzzFeed.
  5. Facebook lets an independent organization audit all political ads run during 2016.
  6. Facebook gives investigators all “Custom Lists” used for targeting 2016 political ads.
  7. Facebook stops running paid political ads until January 1st, 2019.
  8. Mark Zuckerberg (CEO) and Sheryl Sandberg (COO) testify before Congress in an open-door (televised) session.
  9. Mark Zuckerberg and Sheryl Sandberg testify before the UK parliament.

B. Full Transparency and Increased Privacy for Facebook Users

  1. Facebook explains to users exactly what personal data is being used for advertising.
  2. Facebook asks users for itemized consent to use photos, messages, etc. for advertising.
  3. Facebook gives users the ability to see a “history” of all the ads they have viewed.
  4. Facebook lets an independent organization investigate all data breaches since 2007.
  5. Facebook agrees to be audited monthly to make sure it is complying with local laws.
  6. Facebook allows users to easily delete their “history” on the platform.

C. Better Safety for Children on Facebook

  1. Facebook increases the minimum age for Facebook users from 13 to 16.
  2. Facebook shuts down the Messenger Kids product.”

Users’ strikes are hardly new. In 2009, the Spanish social media Tuenti was concerned by a huelga de los usuarios against their terms of service. In 2015, Reddit users disrupted the platform when they revolted en masse in solidarity with a wrongly terminated employee. On Facebook, users’ collective action is inherent to the life of the platform, whose history is replete with examples of petitions, lawsuits, and class actions. After the introduction of Beacon in 2007, a 50,000-strong petition led to its discontinuation. In 2010 several users’ groups organized and lobbied US senators and the Federal Trade Commission (FTC) to oppose the introduction of the ‘like’ button social plugin on external websites. In 2011, the association Europe versus Facebook filed numerous complaints with the Irish Data Protection Commissioner (DPC) and a class action which is presently discussed by the Court of Justice of the European Union. In 2016, the real-life protests and general mobilization against the introduction of Free Basics in India led to its successful ban by the telecommunication authority TRAI, over net neutrality and privacy concerns.

As my co-authors and I argued in our 2014 book Against the Hypothesis of the ‘End of Privacy’, the adoption of pervasive data collection practices by social platforms has been highly contentious, with frequent and cyclical privacy incidents followed by strong mass reactions. What these reactions have in common is that they are strategic, organized, collectives actions that rely on existing communities. Which could provide essential clues as to why the 2018 Facebook strikes are so ineffective. Their do not seem to be organized by active members of existing communities and they certainly do not engage with elected officials or institutional bodies. They are launched by journalists, startup bros, anonymous users trying to get noticed. These persons’ idea of grassroots is a naive one: one heroic individual (or a nonexistent “union”) sparks a revolt, hence the masses follow.

Importantly, they seem to put excessive faith in strikes seen as their only available tactic. A recent article published by a group of Stanford and Microsoft computer scientists captures this romanticized vision of “powerful” industrial actions where users stand hand in hand and nobody crosses the picket line:

“Data laborers could organize a “data labor union” that would collectively bargain with siren servers. While no individual user has much bargaining power, a union that filters platform access to user data could credibly call a powerful strike. Such a union could be an access gateway, making a strike easy to enforce and on a social network, where users would be pressured by friends not to break a strike, this might be particularly effective.”

Nevertheless, as past experiences on social platforms have taught us, successful actions adopt a specific repertoire of contention dominated not by strikes (which are usually costly and difficult to coordinate) but by lobbying and litigation. If we expect Facebook users grievances to be heard, a comprehensive and wide-ranging strategy is necessary to boost their rights. Community, organization, and the selection of effective tools are the three pillars of collective action.

La vie privée et les travailleurs de la donnée (Le Monde, 22 janv. 2018)

Dans Le Monde du 22 janvier 2018, je publie avec Paola Tubaro une tribune à l’occasion des 40 ans de la CNIL.

Attention : La tribune a été traduite en portugais et publié sur le site brésilien Outras Palavras.

 

Notre vie privée, un concept négociable

Antonio Casilli (Télécom ParisTech/EHESS) et Paola Tubaro (CNRS)

La défense de nos informations personnelles ne doit pas exclure celle des droits des travailleurs de la donnée

L’idée que nous nous faisons de la vie privée a profondément changé ces dernières années. Lorsque, en 1890, les juristes américains Samuel Warren et Louis Brandeis définissaient the right to privacy comme ” le droit d’être laissé en paix “, ils ignoraient qu’un siècle plus tard, cette définition n’aurait pas de sens pour 4 milliards d’êtres humains connectés. Nous n’assistons pas à sa fin, mais à la transformation de la -notion héritée de la tradition étasunienne. Pour ceux d’entre nous qui sont activement en quête de correspondants, d’amis, de partenaires sur un réseau numérique, le souci de défendre nos informations personnelles d’ingérences extérieures se révèle accessoire par rapport au droit de savoir combien de personnes exactement les possèdent et quel usage en est fait.

Nos informations ne sont plus ” chez nous “. Elles sont disséminées sur les profils Facebook de nos amis, dans les bases de données des commerçants qui tracent nos transactions, dans les boîtes noires algorithmiques qui captent le trafic Internet pour les services de renseignement. Il n’y a rien de plus collectif qu’une donnée personnelle. La question est donc moins de la protéger de l’action d’intrus qui cherchent à en pénétrer la profondeur que d’harmoniser une pluralité d’acteurs sociaux qui veulent y avoir accès.

Exit la notion de privacy comme pénétration qui était à la base de la loi Informatique et libertés de 1978, place à celle de privacy comme négociation. Communiquer des informations personnelles ou même sensibles à des tiers divers et variés fait désormais partie de l’expérience quotidienne de tout individu, que ce soit pour accéder à des biens commerciaux ou à des services publics. Il s’agit par exemple de consulter son compte Ameli, de vérifier un itinéraire sur son GPS, parfois d’organiser une rencontre sur Tinder ou de mesurer sa performance sportive par un bracelet connecté. Auparavant, le consentement à la captation, au traitement et à la conservation des données était nécessaire pour qu’une -pénétration de l’intimité ne soit pas une violation. Maintenant, sa fonction a changé. On donne son consentement contre un service.

C’est là le premier sens de l’idée de négociation de la vie privée : un échange, marchand ou pas, où les données personnelles font fonction de monnaie. S’arrêter à cette seule interprétation serait pourtant fourvoyant et politiquement myope. La vie privée est aujourd’hui surtout une négociation collective, une -concertation entre plusieurs parties afin de définir des obligations réciproques et d’organiser une relation. Cette relation peut être conflictuelle. De la campagne indienne contre l’usage des données par l’application Free -Basics à la plainte de l’ONG Europe-v-Facebook invalidant l’accord Safe Harbor, qui autorisait la plate-forme à transférer les informations des citoyens européens vers les Etats-Unis, les usagers de médias sociaux s’insurgent régulièrement contre des conditions perçues comme abusives.

Notre privacy cesse aujourd’hui d’être un droit individuel et se rapproche de l’idée d’un faisceau de droits et de prérogatives à allouer entre les citoyens, l’Etat et les entreprises du numérique. La négociation n’est pas simple et se complique d’autant plus que, par leurs -algorithmes, de puissantes plates-formes -tentent d’infléchir nos comportements. Un contact créé par deux usagers de leur propre initiative et un contact créé sous le conseil d’un système de recommandation automatisé sont-ils équivalents? Qui détient un droit sur les informations que cette relation engendre?

Il faut alors s’interroger non seulement sur les conditions d’usage, mais aussi sur les -modes de production des données, lesquels sont profondément influencés par les modèles d’affaires et les architectures logicielles -imposées par les plates-formes.

En effet, au-delà de la production de données brutes, des problèmes d’ordre nouveau apparaissent lorsqu’on étend son regard à leurs enrichissement, codage, étiquetage, mise en forme – opérations nécessaires pour rendre les données exploitables par des techniques de machine learning, soit l’apprentissage automatique. Les photos des vacances mises en ligne par les usagers d’une plate-forme sociale peuvent, par exemple, être labélisées par des tags qui identifient les lieux. Ces informations ont une valeur économique : -elles peuvent être vendues à des régies publicitaires ou, mieux, être utilisées pour calibrer des intelligences artificielles qui proposent automatiquement de prochains séjours aux vacanciers. Parfois, ce sont les usagers eux-mêmes qui ajoutent ces informations; parfois, les entreprises ont recours à du ” microtravail ” payé à la pièce. Moyennant quelques centimes, des services comme Amazon -Mechanical Turk leur permettent de demander à des myriades d’ouvriers du clic, souvent situées dans des pays en voie de développement, de trier ou d’améliorer photos, textes ou vidéos. Ces services recrutent des prestataires majoritairement précaires et peu rémunérés, remettant en question d’anciens acquis en termes de conditions de travail et d’appropriation de son produit. Ces nouvelles formes de digital labor s’imposent comme une -urgence pour le régulateur.

Pour corriger les distorsions et les abus provoqués par cette situation, la solution -consiste à élargir le domaine d’action des autorités de régulation des données comme la CNIL. Il s’agit non seulement de s’intéresser aux architectures techniques des plates-formes qui permettent l’extraction et la circulation des données personnelles, mais aussi de créer les conditions pour que le travail de production et d’enrichissement des données (autant de la part des services de microtravail que des usagers de plates-formes généralistes comme Instagram ou Google) reste respectueux des droits des personnes et du droit du travail. Le défi qui attend la CNIL est de devenir non pas un gardien de la propriété sur les données, mais un défenseur des droits des travailleurs de la donnée.

Antonio Casilli et Paola Tubaro

Pourquoi la vente de nos données personnelles (contre un plat de lentilles) est une très mauvaise idée

Jacob dit : ‘Vends-moi aujourd’hui tes données”.
“Voici”, s’exclama Esaü, “je m’en vais mourir de faim !
A quoi me servent ces données ?” (…) Alors Jacob donna
à Esaü du pain et du potage de lentilles. Il mangea et but,
puis se leva et s’en alla. C’est ainsi qu’Esaü méprisa le droit
de disposer des fruits de son travail numérique. (Génèse 25:31-34 ?)

The Economist (ou du moins le journaliste Ryan Avent qui a écrit l’article paru sous le titre “The digital proletariat” dans la première livraison de 2018 du magazine britannique) découvre avec une décennie de retard l’existence du digital labor, au hasard de la lecture d’un “fascinating new economics paper”.  Pour la petite histoire, le papier en question vient tout juste d’être publié sur ArXiv et s’intitule “Should we treat data as labor?”. Il s’agit d’un résumé en clé économiciste des études existantes dans le domaine, mais avec un twist très Jaron Lanier (qui est par ailleurs l’un des co-auteurs) : “les données sont le fruit du travail des usagers, sauf si ces derniers les revendent DE MANIERE TOUT A FAIT TRANSPARENTE ET EQUITABLE HEIN à des multinationales qui ne veulent que leur bonheur.”.

Et si cela résonne avec les propositions ultra-libérales de certains think tanks bien de chez nous, qui vous proposent de vendre vos données en échange du proverbial “plat de lentilles” (v. le récent rapport de Génération Libre), et bien… c’est parce que c’est la même chose. Sachez quand même que celle-ci est une position très minoritaire au sein des études sur le digital labor, qui revendiquent en général une approche plutôt “commoniste” des données. Comme je le disais ailleurs (2016), “il n’y a rien de plus collectif qu’une donnée personnelle”. Et, comme je le répète depuis 2015 :

“[La proposition de revendre les données issues du digital labor] pose d’abord un problème éthique: de fait, la commercialisation des données personnelles créerait un énième « marché répugnant », formule parfois utilisée pour définir les marchés (comme l’achat d’organes, ou les paris en bourse sur les attentats terroristes) qui sont problématiques et intrinsèquement imprudents. A-t-on le droit de vendre un bras ou un œil? Le fait de vendre les données pose le même type de difficultés car ce marché présupposerait un droit de propriété privée sur les données personnelles. C’est une dérive très dangereuse vers la « privatisation de la privacy », que j’ai dénoncée ailleurs. Ces considérations s’appliquent à plus forte raison au digital labor, qui produit de la valeur en s’appuyant sur un contexte collectif – les sociabilités ordinaires, le partage au sein de communautés d’utilisateurs. Quoique personnelles, ces données, ces productions digitales, ne sont pas du ressort de la propriété privée, mais le produit d’un commun, d’une collectivité. Par conséquent, la rémunération devrait chercher à redonner aux commons ce qui a été extrait des commons.”

La solution n’est pas, AMHA, une rémunération individuelle des données, sous forme de royalties ou de micro-paie. La rémunération à la pièce est déjà en vigueur sur les plateformes de micro-travail–et cela se solde par un nivellement par le bas des rémunérations de ceux qui y travaillent, surtout dans le cas des fermes à clic installées aux Philippines, au Madagascar, au Kenya, etc. Au vu des asymétries d’information et de pouvoir entre les grands oligopoles numériques et les usagers, cette situation est destinée à se reproduire dans les négociations avec les publics généralistes. Une contractualisation sur base individuelle de la valeur de la donnée n’entraînerait qu’une généralisation de la condition de sous-prolétaire numérique. Pour en sortir, j’ai à plusieurs reprises prôné un revenu universel numérique financé par des impôts sur les profits des plateformes. Dans une interview récente, je résumais ma position de la manière suivante :

“[A universal basic income would protect the digital labor workforce] by recognizing the data labor that flows through the platforms. This has already been argued by a report by the French Ministry of Finance in 2013, and in a report by the Rockefeller Foundation last year. The digital giants should not be taxed on the basis of how many data centers or offices they have in a country, but on the basis of the data produced by the users of the platforms. If there are 30 million Google users in Italy, it is fair to tax Google based on the profits they made from these users’ activities. In this way, one could fund a basic income, arising from the digital labor that each of us carries out on the internet or on the mobile apps we use.”

PS. Pour aller plus loin, n’hésitez pas à consulter ces quelques articles, ouvrages ou chapitres que j’ai publié entre 2013 et 2017 :