gafam

Interview pour l’Institut Français (14 mai 2019)

RencontreDébat d’idées

Antonio Casilli
Les géants du Net ont le pouvoir de décider ce que nous regardons et apprenons

Au lendemain de l’adoption de la directive portant sur le droit d’auteur en mars 2019, le sociologue français Antonio Casilli, spécialiste des réseaux sociaux et auteur de En attendant les robots, Enquête sur le travail du clic (Seuil, 2019), nous livre son regard sur les géants du Net, l’Intelligence Artificielle et les désillusions provoquées par la transformation digitale globalisée.

Antonio Casilli est maître de conférences en humanités numériques à Télécom ParisTech et chercheur associé au LACI-IIAC de l’EHESS.

Antonio Casilli

Quelle place occupent les géants du Net à l’heure actuelle ?

Il faut bien s’entendre sur ce que l’on appelle les géants du net. En plus des GAFAM (Google, Amazon, Facebook, Apple, Microsoft), il faut inclure d’autres grandes entreprises comme IBM, Baidu et Alibaba côté chinois, Naver – l’équivalent de Google en Corée… Ce sont des plateformes oligopolistiques, c’est-à-dire relativement peu nombreuses et qui ont tendance à phagocyter les concurrents plus petits : elles occupent sur leur marché une position d’hégémonie, avec une concentration des pouvoirs dangereuse d’un point de vue économique et qui menace également les libertés publiques. Qui dit pouvoir économique dit aussi pouvoir sur les imaginaires et sur la production culturelle : ces entreprises ont en effet tendance à standardiser la production culturelle. Elles y parviennent moins en soutenant directement des contenus qu’en mettant en place des pratiques indirectes de sélection « algorithmique », de modération « automatique » et de distribution des œuvres…Ces entreprises ont en effet tendance à standardiser la production culturelle

Comment limiter leur puissance ? La voie législative est-elle une réponse ? 

L’approche par la règlementation ne suffit pas et peut même s’avérer contreproductive, comme l’attestent deux initiatives récentes au niveau européen. La directive dite « copyright » adoptée le 26 mars 2019, qui réglemente le droit d’auteur sur internet ; et le règlement européen pour la prévention de la diffusion de contenus à caractère terroriste en ligne adoptée en première lecture par le Parlement européen le 17 avril 2019. La première donne aux plateformes un pouvoir de censure sur le contenu qu’elles hébergent. Il ne sera ainsi théoriquement plus possible de partager ne serait-ce qu’une citation sur Facebook, au nom de la protection du droit d’auteur. Que cette crainte s’avère fondée ou non dépend des choix des plateformes numériques, qui ont ici une marge de manœuvre énorme… Le règlement, quant à lui, prévoit que les juges puissent demander de retirer en une heure de n’importe quelle plateforme un contenu qu’ils jugent douteux. Or, aucune plateforme ne pourra respecter cette obligation sans utiliser les outils de filtrage développés par les GAFAM. La censure en ligne se verrait alors massivement gérée par les géants du Net, les sites les plus petits n’ayant pas la capacité de modérer leur contenu eux-mêmes 24 heures sur 24.

La directive a fait couler beaucoup d’encre dans les médias, alors que le règlement est passé quasi inaperçu, ce qui est particulièrement grave considérant que ces nouvelles règles ont toutes deux des conséquences importantes sur ce que l’on peut dire et faire sur internet. Elles donnent aux géants du Net le pouvoir de décider ce que nous allons regarder et apprendre. C’est une démarche qui aurait mérité plus de réflexion de la part de nos hommes politiques : ils viennent d’offrir à ces plateformes un immense pouvoir sur notre culture.Elles donnent aux géants du Net le pouvoir de décider ce que nous allons regarder et apprendre

L’Europe cherchait cependant à contrer les géants américains…

En réalité, la France et les États-Unis vont hélas dans le même sens. Malgré les textes de loi et une posture affichée d’opposition à la Silicon Valley, l’Europe reproduit les mêmes mécanismes oligopolistiques, sans offrir d’alternative. Les initiatives nationales n’ont pas une meilleure éthique que les géants du Net : les startups et les « pépites » du secteur technologique français auront probablement elles aussi recours à des travailleurs sous-payés aux Philippines ou à Madagascar… N’est-on pas  en train de s’inventer une virginité éthique alors qu’au fond, on se heurte aux mêmes contradictions morales, voire politiques – puisque cela touche au droit du travail ?

Ces travailleurs sous-payés font partie de ces « travailleurs du clic » que vous évoquez dans votre dernier ouvrage, En attendant les robots… 

Les travailleurs du clic vont de l’utilisateur lambda qui signale un contenu jugé illégal au modérateur bénévole payé en nature ou micropayé quelques centimes et délocalisé aux Philippines… Ils permettent d’améliorer la qualité des contenus, à l’image de ce que fait YouTube, qui identifie et supprime les contenus vidéos les plus controversés, mais se fait aussi police et juge de la propriété intellectuelle quand elle fait supprimer des contenus dont le droit d’auteur n’est pas respecté. Or les plateformes prétendent effectuer ce travail à l’aide de robots intelligents – les fameux « bots ». Il s’agit en réalité d’une exploitation du travail humain.

Le droit d’auteur peut-il s’appliquer à l’Intelligence Artificielle ?

Croire qu’une Intelligence Artificielle puisse ressembler à l’intelligence humaine et développer une capacité créative est un pur fantasme. La création vient exclusivement de l’inventeur de cette Intelligence artificielle, et c’est donc cette personne, humaine, qui en est l’auteur. Si l’on pousse la réflexion encore un peu plus loin, on peut dire que ce n’est pas seulement l’ingénieur ou le propriétaire qui en est l’auteur mais que ce sont tous les collectifs, voire les foules de travailleurs du clic qui permettent à l’IA de fonctionner en lui fournissant des données en permanence. D’ailleurs, le terme Intelligence artificielle devrait être remplacé par celui de machine learning qui décrit mieux le phénomène.Le terme Intelligence artificielle devrait être remplacé par celui de machine learning

Quel conseil donneriez-vous aux dernières générations d’internautes ?

Il y a un travail d’information et d’éducation à mener, pour les plus jeunes mais aussi pour les enseignants et les parents. Le numérique doit être enseigné car personne n’est en réalité « natif du numérique ». Ma recommandation : éduquez-vous, et renseignez-vous.

Tribune dans L’Obs “Lettre à l’Europe” (4 mai 2019)

Pour lire la version parue en ligne le 4 mai 2019 sur le site web de L’OBS, cliquer ici.

Version intégrale de l’auteur :

Lettre à l’Europe d’Antonio Casilli : « Ton numérique est encombré de mirages »

Chère Europe,

Tu promets des technologies « vertueuses » et respectueuses de la société et de l’environnement. Bien sûr, sur le plan législatif, des avancées considérables ont été inspirées par tes institutions. En cherchant à composer avec les exigences de tes citoyens et de tes marchés, tu as su définir d’ambitieuses mesures de protection des libertés numériques et d’intégrité des données personnelles, comme le RGPD.

Mais ton positionnement en champion du numérique « respectueux des droits » se heurte à un problème de taille, à savoir ton attitude ambigüe vis-à-vis des sociétés qui vont répondent au nom de GAFAM (Google Apple Facebook Amazon Microsoft). L’obsession de vouloir en même temps imiter et défaire les oligopoles américains représente la panne fatale de tes politiques économiques. Ton numérique à toi est encombré de mirages et de dualismes. Les géants de la tech seraient d’une part en train de t’envahir, et il faudrait donc s’en défendre ; mais ils seraient aussi des interlocuteurs politiques à part entière, dont tes États et tes institutions européennes attendraient tout salut. La première posture prévaut quand tu instaures des politiques protectionnistes, telle la récente et très controversée directive sur le droit d’auteur qui cherche à mettre à contribution les intermédiaires numériques d’outre- Atlantique. Ta priorité devient alors de tout mettre en place pour encourager la création de « géants du numérique » européens, homologues des oligarques de la Silicon Valley. La seconde attitude est exemplifiée par le règlement « relatif à la prévention de la diffusion en ligne de contenus à caractère terroriste » proposé à ta Commission Européenne en septembre 2018. Dans ce texte, tu te tournes vers les grandes plateformes pour leur déléguer de manière inconsidérée la modération de « contenus terroristes ». Tu leur accordes par la même occasion un chèque en blanc pour circonscrire la liberté d’expression de tes citoyens.

A force de plonger leur regard dans l’abîme que sont les GAFAM, ton opinion publique et tes élus finissent par en épouser implicitement l’arrogance, l’impérialisme culturel, le nihilisme marchand. Ce mélange de protectionnisme économique et de culte du cargo californien finit par s’harmoniser avec l’une de tes pires dispositions, à savoir ton repli réactionnaire et identitaire. Nulle part cela n’est mieux exprimé que dans ton effort régalien d’articuler les outils numériques avec les politiques anti- immigration. La militarisation de tes frontières méridionales ainsi que les tentatives récentes de remise à plat du principe de libre circulation des personnes, assimilent les réfugiés et les migrants à une menace. Les murs de la Forteresse Europe sont alors érigés grâce à des systèmes de surveillance numérique des frontières et par le truchement de bases de données pour le traçage des flux migratoires, tels SIS, VIS, FADO ou Eurodac. Les 34 000 morts et disparus en Méditerranée depuis 2014 attestent du fait que ce qui arrive aujourd’hui est une violation massive des droits de l’homme et de la femme. Les acteurs européens qui fournissent des solutions techniques à ces politiques d’enfermement et d’exclusion de masse, portent une lourde responsabilité à cet égard.

Mais c’est aussi aux dépens des libertés et de l’autonomie de tes propres citoyens que tes politiques numériques des dernières années ont été développées. Au nom de vagues d’émergences et d’états d’exception permanents, une surveillance massive des populations s’est généralisée. A partir de 2013, la France et le Royaume-Uni se sont dotés d’outils législatifs comme la Loi Renseignement ou le Snoopers’ Charter, qui normalisent l’inspection profonde de paquets sur les réseaux, le traçage permanent des citoyens sur les médias sociaux et la création de « boites noires algorithmiques ». Le tout en se passant des garde-fous juridiques traditionnellement présents dans nos pays. Là aussi, l’obsession GAFAM joue un rôle clé. Les accords entre tes États et les entreprises qui se servent de ces technologies à des fins de surveillance et de répression se multiplient, du déploiement de drones Predator à des fins d’ordre public en Italie au contrat de la DGSI française avec Palantir, multinationale de la surveillance du sulfureux Peter Thiel.

Comment sortir de ce numérique autoritaire ? Non pas en imaginant de reproduire le modèle Silicon Valley de ce côté de l’Océan, mais au contraire en encourageant, par un cadre règlementaire européen, des solutions concrètes. Pour ce faire, trois leviers doivent être envisagés. D’abord, un moratoire sur les politiques intérieures et extérieures de surveillance numérique des dernières années. Quand la sécurité de tes populations est réalisée au moyen de solutions technologiques conçues pour la coercition des populations mêmes, c’est la légitimité démocratique de ces outils qui est à mettre en question. Un numérique inclusif ne signifie pas seulement que le plus grand nombre de personnes auront accès à des technologies qu’elles ont choisies, mais surtout que le plus petit nombre de personnes possible subisse des technologies non choisies.

En second lieu, en articulant une fiscalité numérique bien avisée et des politiques de redistribution et de développement durable, tu peux espérer que tes technologies soient aussi des outils de justice économique et environnementale. La voie d’une fiscalité numérique européenne a été indiquée dans l’expertise rendue à Bercy en 2013 par Pierre Collin et Nicolas Colin. Au lieu de taxer les plateformes numériques sur la base de leurs profits, ce rapport suggérait de lever l’impôt sur les données captées par les entreprises de la tech à partir du « travail gratuit » de leurs usagers sur le territoire national. On peut envisager à l’échelle continentale une mesure de ce type, dont les recettes pourraient servir à financer des politiques publiques en lien avec le numérique : programmes d’éducation et de formation aux technologies, incitations pour réduire l’impact environnemental du numérique, aides sociales voire même un revenu universel européen en lien avec les usages numériques.

Ces politiques permettaient aussi de nous soustraire à la dépendance aux outils des grands plateformes internationales, non pas au nom d’un protectionnisme qui vise à faire émerger leurs homologues européens, mais au nom de la recherche d’alternatives citoyennes. C’est là que le dernier levier du numérique européen serait activé : en encourageant des usages technologiques désintermédiés, distribués et participatifs. Bref, en promouvant une innovation faite de structures développées en commun.

Je comprends que, dans le contexte actuel, ces prospectives d’action peuvent te sembler des vœux pieux. Pour aider ces projets à se généraliser, tu auras besoin d’un cadre législatif éloigné de toute focalisation sur les GAFAM, ainsi que d’une volonté politique qui cesse d’osciller, tel un pendule, entre une extrême-droite souverainiste et une droite extrêmement néo-libérale. C’est à ces conditions seulement que tu pourras d’abord penser, ensuite réaliser, ces impossibilités comme si elles tenaient du possible.



An open letter to tell Google to commit to not weaponizing its technology (May 17, 2018)

Following an invitation by Prof. Lilly Irani (UCSD), I was among the first signatories of this ICRAC “Open Letter in Support of Google Employees and Tech Workers”. The letter is a petition in solidarity with the 3100+ Google employees, joined by other technology workers, who have opposed Google’s participation in Project Maven.

Following our joint action, on June 7 2017 Google has released a set of principles to guide its work in AI in a document titled “Artificial Intelligence at Google: our principles,”. Although the company pledges not to develop AI weapons, it does says it will still work with the military.

Open Letter in Support of Google Employees and Tech Workers

Researchers in Support of Google Employees: Google should withdraw from Project Maven and commit to not weaponizing its technology.

An Open Letter To:

Larry Page, CEO of Alphabet;
Sundar Pichai, CEO of Google;
Diane Greene, CEO of Google Cloud;
and Fei-Fei Li, Chief Scientist of AI/ML and Vice President, Google Cloud,

As scholars, academics, and researchers who study, teach about, and develop information technology, we write in solidarity with the 3100+ Google employees, joined by other technology workers, who oppose Google’s participation in Project Maven. We wholeheartedly support their demand that Google terminate its contract with the DoD, and that Google and its parent company Alphabet commit not to develop military technologies and not to use the personal data that they collect for military purposes. The extent to which military funding has been a driver of research and development in computing historically should not determine the field’s path going forward. We also urge Google and Alphabet’s executives to join other AI and robotics researchers and technology executives in calling for an international treaty to prohibit autonomous weapon systems.

Google has long sought to organize and enhance the usefulness of the world’s information. Beyond searching for relevant webpages on the internet, Google has become responsible for compiling our email, videos, calendars, and photographs, and guiding us to physical destinations. Like many other digital technology companies, Google has collected vast amounts of data on the behaviors, activities and interests of their users. The private data collected by Google comes with a responsibility not only to use that data to improve its own technologies and expand its business, but also to benefit society. The company’s motto “Don’t Be Evil” famously embraces this responsibility.

Project Maven is a United States military program aimed at using machine learning to analyze massive amounts of drone surveillance footage and to label objects of interest for human analysts. Google is supplying not only the open source ‘deep learning’ technology, but also engineering expertise and assistance to the Department of Defense.

According to Defense One, Joint Special Operations Forces “in the Middle East” have conducted initial trials using video footage from a small ScanEagle surveillance drone. The project is slated to expand “to larger, medium-altitude Predator and Reaper drones by next summer” and eventually to Gorgon Stare, “a sophisticated, high-tech series of cameras…that can view entire towns.” With Project Maven, Google becomes implicated in the questionable practice of targeted killings. These include so-called signature strikes and pattern-of-life strikes that target people based not on known activities but on probabilities drawn from long range surveillance footage. The legality of these operations has come into question under international[1] and U.S. law.[2] These operations also have raised significant questions of racial and gender bias (most notoriously, the blanket categorization of adult males as militants) in target identification and strike analysis.[3] These problems cannot be reduced to the accuracy of image analysis algorithms, but can only be addressed through greater accountability to international institutions and deeper understanding of geopolitical situations on the ground.

While the reports on Project Maven currently emphasize the role of human analysts, these technologies are poised to become a basis for automated target recognition and autonomous weapon systems. As military commanders come to see the object recognition algorithms as reliable, it will be tempting to attenuate or even remove human review and oversight for these systems. According to Defense One, the DoD already plans to install image analysis technologies on-board the drones themselves, including armed drones. We are then just a short step away from authorizing autonomous drones to kill automatically, without human supervision or meaningful human control. If ethical action on the part of tech companies requires consideration of who might benefit from a technology and who might be harmed, then we can say with certainty that no topic deserves more sober reflection – no technology has higher stakes – than algorithms meant to target and kill at a distance and without public accountability.

We are also deeply concerned about the possible integration of Google’s data on people’s everyday lives with military surveillance data, and its combined application to targeted killing. Google has moved into military work without subjecting itself to public debate or deliberation, either domestically or internationally. While Google regularly decides the future of technology without democratic public engagement, its entry into military technologies casts the problems of private control of information infrastructure into high relief.

Should Google decide to use global internet users’ personal data for military purposes, it would violate the public trust that is fundamental to its business by putting its users’ lives and human rights in jeopardy. The responsibilities of global companies like Google must be commensurate with the transnational makeup of their users. The DoD contracts under consideration by Google, and similar contracts already in place at Microsoft and Amazon, signal a dangerous alliance between the private tech industry, currently in possession of vast quantities of sensitive personal data collected from people across the globe, and one country’s military. They also signal a failure to engage with global civil society and diplomatic institutions that have already highlighted the ethical stakes of these technologies.

We are at a critical moment. The Cambridge Analytica scandal demonstrates growing public concern over allowing the tech industries to wield so much power. This has shone only one spotlight on the increasingly high stakes of information technology infrastructures, and the inadequacy of current national and international governance frameworks to safeguard public trust. Nowhere is this more true than in the case of systems engaged in adjudicating who lives and who dies.
We thus ask Google, and its parent company Alphabet, to:

  • Terminate its Project Maven contract with the DoD.
  • Commit not to develop military technologies, nor to allow the personal data it has collected to be used for military operations.
  • Pledge to neither participate in nor support the development, manufacture, trade or use of autonomous weapons; and to support efforts to ban autonomous weapons.

__________________________
[1] See statements by Ben Emmerson, UN Special Rapporteur on Counter-Terrorism and Human Rights and by Christof Heyns, UN Special Rapporteur on Extrajudicial, Summary and Arbitrary Executions.

[2] See for example Murphy & Radsan 2009.

[3] See analyses by Reaching Critical Will 2014, and Wilke 2014.

[Séminaire #ecnEHESS] Nikos Smyrnaios “Les GAFAM : notre oligopole quotidien” (20 mars 2017, 17h)

Enseignement ouvert aux auditeurs libres. Pour s’inscrire, merci de renseigner le formulaire.

Dans le cadre de notre séminaire EHESS Etudier les cultures du numérique, nous avons le plaisir d’accueillir Nikos Smyrnaios (Université Toulouse 3) et auteur de l’ouvrage Les GAFAM contre l’internet : une économie politique du numérique (INA Editions, 2017).

Pour suivre le séminaire sur Twitter : hashtag #ecnEHESS.

ATTENTION : CHANGEMENT DE SALLE : La séance se déroulera le lundi 20 mars 2017, de 17h à 20h, salle 13, 6e étage, EHESS, 105 bd. Raspail, Paris 6e arr.

Titre : GAFAM: logiques et stratégies de l’oligopole qui a pris le contrôle de nos outils numériques

Intervenant : Nikos Smyrnaios
Résumé : “Quelques startups autrefois ‘sympathiques’ ont donné naissance à des multinationales oligopolistiques qui régissent le cœur informationnel de nos sociétés au point qu’un acronyme, GAFAM, leur soit dédié. Google, Apple, Facebook, Amazon et Microsoft sont les produits emblématiques d’un ordre capitaliste nouveau qu’ils contribuent eux mêmes à forger, légitimer et renforcer. Cet ordre néolibéral s’inscrit résolument contre le projet originel de l’internet. La conférence s’intéressera précisément aux conditions qui ont permis l’émergence de cet oligopole et aux stratégies que celui-ci met en œuvre pour  contrôler nos outils de communication quotidiens et les plateformes qui nous utilisons pour accéder à l’information et aux contenus en ligne (exploitation du travail, évitement de l’impôt, concentration horizontale et verticale, infomédiation, exploitation des données personnelles etc.).”

Prochaines séances

mturk 10 avril 2017
Mary Gray (Microsoft Research)
Behind the API: Work in On-Demand Digital Labor Markets
datanomix 15 mai 2017
Louis-David Benyayer (Without Model) et Simon Chignard (Etalab)
Les nouveaux business models des données
magna 19 juin 2017
Juan Carlos De Martin (NEXA Center for Internet & Society)
Looking back at the 2015 ‘Declaration of Internet Rights’