admin

Grand entretien pour Le Grand Continent (7 avril 2023)

Conversation avec Victor Storchan dans la cadre de la série Puissances de l’IA dans la revue de géopolitique Le Grand Continent.

L’IA Potemkine et le futur du travail, une conversation avec Antonio Casilli | Le Grand Continent

Les travaux d’Antonio Casilli décrivent les micro tâches d’annotation réalisées par « les petites mains de l’IA », nécessaires au développement des applications comme ChatGPT et souvent invisibles. Nécessaires à la réalisation des prouesses spectaculaires de l’IA, elles relativisent la portée de son « intelligence » et surtout de son autonomie par rapport à un système fondé sur le travail humain peu qualifié qui entretient et exacerbe des inégalités à grande échelle.

Est-ce que vous diriez que nous entrons dans une nouvelle ère pour l’IA avec les LLMs et generative AI ? Bill Gates affirme que ChatGPT va changer le monde là où Yann Le Cun soutient qu’il n’y a rien de révolutionnaire. Pensez vous que nous sommes à un point d’inflexion ? Comment voyez vous l’histoire récente de l’IA ?

Je ne raisonne pas en termes d’évolution du paradigme mais plutôt de tendances historiques et socio-économiques qui s’inscrivent dans le temps. De ce point de vue-là, les LLM nereprésentent pas un changement radical, dans la mesure où il s’agit de machine learning avec une très forte intensité de données. Ce sont des modèles qui deviennent de plus en plus hypertrophiques, avec des trillions de paramètres — pas pour ChatGPT mais pour Google Tense Flow et Alibaba par exemple. On voit la même chose depuis quinze ans.

J’analyse la société civile avec mes lunettes de sociologue mais on ne peut pas faire abstraction du fait qu’il y ait eu le choc exogène du Covid. La pandémie a été le moment de rhétorique ambiante, de discours d’accompagnement et d’éléments de langage marketing de revitalisation des marronniers et  de tous les mots d’ordres qui étaient déjà là il y a dix ans. À l’époque de la première vague, on parlait de  Big data, puis d’algorithmes ; maintenant, dans le langage courant, on ne parle que d’IA. La pandémie a été un moment où, à cause des restrictions de circulation des populations et des biens, on a dû recourir à des méthodes d’analyse des activités qui ne pouvaient plus se faire en présentiel. On a assisté à une floraison de solutions de mise à distance de travail. L’intelligence artificielle a été utilisée pour cela, alors qu’en réalité, dans la plupart des cas, on déléguait ces tâches à des personnes qui se trouvaient à des milliers de kilomètres de distance. Avec mon équipe, notre travail consiste depuis des années à faire le tour du monde pour retrouver les humains qui font les IA.

Le changement semble donc plutôt quantitatif, en termes de ressources, plutôt que qualitatif. Pourriez-vous décrire ce que sont les micro-tâches, indispensables à la production des modèles d’IA tels que ChatGPT aujourd’hui ?

Il y a trois types de micro-tâches : celles qui servent à réparer l’IA, celles qui vérifient l’IA et celles qui imitent l’IA. Les micro-tâches sont informatiques, réalisées par l’intermédiaire de plateformes ; elles consistent à traiter de grandes masses de données en les fragmentant et en les atomisant en petits projets. Des centaines de millions de personnes s’en sont déjà occupé dans le monde, selon les estimations de nos collègues d’Oxford.

Il y a trois types de micro-tâches : celles qui servent à réparer l’IA, celles qui vérifient l’IA et celles qui imitent l’IA.

Antonio Casilli

Il s’agit, par exemple, de générer des échantillons de conversation dans une langue donnée, des images d’animaux ou de mets. Ces données ont besoin d’être enrichies par des micro-tâches qui servent à la préparation de l’intelligence artificielle pour la notation de données. Une même photo d’animaux doit être étiquetée — est-ce des chiens ? des chats ? — pour nourrir les énormes bases de données qui vont servir aux algorithmes pour réaliser l’apprentissage automatique des machines.

Il y a également les micro-tâches de vérification : par exemple, voir si la machine a bien reconnu telle langue et donc vérifier si la langue attribuée à cette conversation est la bonne. Dans ChatGPT, les testeurs-utilisateurs peuvent envoyer des prompts et sont incités à mettre des pouces levés ou baissés pour indiquer s’ils sont d’accord ou non avec le texte généré. En l’occurrence, cette micro-tâche de vérification n’est pas rémunérée, mais d’autres personnes le sont pour faire la même chose.

La troisième activité — celle qui provoque des frissons — comprend les micro-tâches d’imitation de l’intelligence artificielle. D’un certain point de vue, elles relèvent de la fraude à l’intelligence artificielle, ou de l’artificial artificial intelligence. On peut songer, plus loin dans le temps, au turc mécanique, qui était un faux joueur d’échecs automatique, sous lequel se cachait un être humain. Dans nos enquêtes, on rencontre des entreprises qui font de la fausse intelligence artificielle — parce que c’est de la fraude commerciale ou parce que cela fait partie du métier. Le groove of concept se fait souvent grâce à l’aide d’un être humain qui fait semblant d’être une intelligence artificielle. La méthode connue dite du magicien d’Oz, qui consiste à avoir deux machines qu’on connecte — l’une étant utilisée par un véritable utilisateur et l’autre faisant semblant d’être une machine — comme dans un test de Turing,existe depuis bientôt cinquante ans. C’est connu, même si cela fait toujours peur quand on le dit. On nous accuse toujours un peu d’exagérer, mais en vérité ces trois types de micro-tâches sont systématiques, y compris les tâches d’imitation. Parfois, quand la machine dysfonctionne et que l’intelligence artificielle ne marche pas, certaines personnes peuvent donner un petit coup de pouce à l’algorithme. 

Ce sont ces trois types de tâches qui produisent des contributions humaines à l’activité des moteurs de recherche par intelligence artificielle. Ces tâches vont rester nécessaires tant que l’on continue à faire du machine learning. On peut aussi espérer que le paradigme change et qu’on passe à un autre paradigme d’apprentissage, qui pourrait être le grand rival de l’apprentissage symbolique — ou inventer quelque chose de complètement nouveau ; mais pour l’instant, nous sommes dans une situation caractérisée par une immense quantité de travail humain qui doit constamment être injectée pour faire fonctionner l’infrastructure de l’IA.

Nous sommes dans une situation caractérisée par une immense quantité de travail humain qui doit constamment être injectée pour faire fonctionner l’infrastructure de l’IA.

Antonio Casilli

Ce travail, en apparence accessible à la plupart des personnes ayant des compétences de base, exacerbe certaines inégalités, notamment celle de genre. Pourquoi ? 

D’abord, il faudrait rappeler comment on arrive à faire ce micro-travail. Si une personne voulait commencer aujourd’hui à faire du micro-travail, elle devrait d’abord savoir vers où se tourner. Il y a plusieurs manières, la plus simple étant de passer par des plateformes sur Internet. Elles ressemblent à des sites classiques d’annonces d’emplois sauf qu’il ne s’agit pas d’emplois formels. C’est du freelancing extrême parce qu’on vous recrute pendant une minute pour regarder 15 photos ou pour laisser un commentaire sur un moteur de recherche. Vous êtes payés quelques centimes, voire quelques dollars. L’inflation monte, impactant ces micro-tâches. Il y a quinze ans, elles étaient payées quelques centimes ; aujourd’hui elles commencent à être payées autour d’un dollar. Quand on fait des estimations, on voit que la médiane tourne autour de deux dollars de l’heure. Ces personnes-là ne sont pas embauchées pour travailler sous contrat, elles n’ont pas d’horaires à proprement parler, elles sont payées pendant les quelques minutes où elles travaillent.

Quelques mois après le lancement de ChatGPT, le magazine Time a découvert qu’il y avait des personnes au Kenya qui faisaient ce type de micro-tâches, et qui étaient payées entre 1,34 et 2 dollars de l’heure. Ces micro-tâches montrent un changement dans notre manière de fonctionner ; une partie de ces activités se situe en dehors de la civilisation salariale, en dehors de la protection du Code du travail.

Certaines inégalités se manifestent de manière plus forte chez les populations déjà fragilisées et marginalisées, et qui ont déjà des difficultés d’accès au marché du travail. Dans les pays plus riches du Nord, les femmes sont légèrement majoritaires parmi ceux qui travaillent sur ce type de plateforme. En France, dans notre dernière enquête de 2019, 56 % des  micro-travailleurs sont des femmes. Or elles sont systématiquement celles qui gagnent le moins ; celles qui se tournent vers ce type d’activité ont besoin de compléter leur salaire principal, parce qu’elles travaillent à mi-temps. Dans notre enquête, ce sont surtout des femmes vivant seules avec un enfant. Elles doivent jongler entre leur activité principale, le micro-travail, le travail domestique et le soin des enfants. Dans ce contexte-là, elles n’ont pas de temps pour consacrer du temps à chercher les meilleures micro-tâches ou à s’entraîner ; c’est pourquoi elles sont les micro-travailleurs les moins bien payés.

Au Venezuela, le salaire moyen national avoisine les 5 dollars par mois. Si ces personnes arrivent à gagner 2 ou 3 dollars par mois, ils considèrent que c’est un bon complément.

Antonio Casilli

On constate effectivement un effet de surenchère dans la discrimination économique qui s’ajoute à la discrimination de genre. Il y a d’autres types de discriminations, plus graves parce que plus larges ; par exemple, les discriminations liées à l’origine, la langue ou d’autres dimensions de l’ethnicité des personnes. On parle là d’un travail qui a tendance à créer des chaînes de sous-traitance internationale. Les pays dans lesquels on trouve des personnes disposées à travailler pour des faibles rémunérations sont des pays à bas revenus. Mon groupe d’enquêteurs a passé les dernières années entre l’Égypte, Madagascar, le Venezuela, le Chili et la Colombie, des pays dans lesquels on observe des situations très différentes. Là, en revanche, l’écrasante majorité des personnes qui sont sur ces plateformes sont des hommes.

Dans un marché du travail hyper compétitif dans lequel l’accès au travail n’est pas assuré pour tout le monde, ce sont les personnes les mieux positionnées qui cherchent le micro-travail. Certes, il comporte beaucoup de bémols, mais étant donné les niveaux de rémunération et le coût de la vie dans ces pays, cela reste un travail de qualité. À Madagascar, les micro-travailleurs arrivent à avoir un salaire de 95 euros par mois — ce qui n’est pas suffisant pour vivre dans une grande ville comme Tananarive. Au Venezuela, le salaire moyen national avoisine les 5 dollars par mois. Si ces personnes arrivent à gagner 2 ou 3 dollars par mois, ils considèrent que c’est un bon complément, d’autant plus qu’il vient d’une devise stable, à la différence du bolivar, la devise locale, qui se déprécie de jour en jour.

Pensez vous que cette précarité des travailleurs du digital labor soit liée aux efforts déployés pour cacher la dépendance de l’IA à cette main-d’œuvre — un peu comme l’opérateur du turc mécanique, caché sous le plateau d’échec ?

Je suis de moins en moins certain que l’on soit face à une situation dans laquelle un seul facteur, une seule variable impacte ce contexte, qui est quand même assez compliqué. Il y a effectivement un élément lié au type de tâche qui doit être réalisé. On a assisté dans les quinze dernières années à un changement de la manière dont est traitée l’information. Si, auparavant, on cherchait des annotateurs experts en gestion de données, c’était pour entraîner les systèmes. Avec la déferlante du machine learning, on a changé de méthode. Ce ne sont plus des experts qui doivent entraîner ces machines.

Si, auparavant, on cherchait des annotateurs experts en gestion de données, c’était pour entraîner les systèmes. Avec la déferlante du machine learning, on a changé de méthode. Ce ne sont plus des experts qui doivent entraîner ces machines.

Antonio Casilli

Ces personnes sont sollicitées pour faire des annotations qui ne sont pas très sophistiquées ; c’est pourquoi on caractérise le micro-travail comme un travail peu qualifié ; mais en réalité, il est nécessaire de s’y former. C’est une formation pour exprimer sur des données des jugements qui relèvent du sens commun. Est-ce que c’est un chien ou un chat ? Est-ce que cette conversation dans ce fragment audio est celle d’une personne qui chuchote ou d’une personne qui crie ? Ce sont souvent des activités qui, parce qu’elles font appel au sens commun, ont besoin de mobiliser un groupe sur la partie centrale de la distribution : or il vous faut un échantillon important de personnes qui réalisent cette tâche pour pouvoir atteindre cette partie.

Je peux m’imaginer que le métier qui est le vôtre s’est structuré en créant de la distance par rapport aux savoirs non-experts, c’est le b.a-ba de l’histoire des professions. Toute profession, y compris la profession d’algorithmicien, de data scientist ou d’expert en intelligence artificielle doit expliquer pour inventer de la valeur que la compétence qu’elle mobilise n’est pas à la portée de tous.

Le « tous » ainsi entendu, ce sont des centaines de milliers de micro-travailleurs partout dans le monde, lesquels participent exactement au même métier, à la même chaîne de production, et sont par contre considérés comme des personnes sans qualité. Je me souviens de propos particulièrement violents tenus par un ingénieur d’IBM dans une conversation en marge d’un colloque, alors que je lui racontais qu’on étudiait le micro-travail : « ça, ce n’est rien, ce sont de petits indiens qui balaient après qu’on a fini ». Il les assimilait d’une façon très paternaliste et violente à des agents de propreté, qui font du nettoyage. C’est à mon sens quelque chose de particulièrement fort, qui contribue à l’invisibilisation relative de ce travail. Dans les pays du Nord, ces travailleurs sont invisibles car on ne les voit pas. Ils se trouvent à Madagascar, au Venezuela, en Colombie où ils travaillent dans des cybercafés, chez eux ou dans des sociétés qui ont pignon sur rue. Il y a des quartiers entiers dans la capitale de Madagascar où passe une énorme « route des hydrocarbures », un district industriel dans lequel on retrouve beaucoup d’entreprises et de plateformes qui font ce type de travail.

Les gains de productivité massif ont toujours généré des peurs, parfois irrationnelles. En 2013, Osborne et Frey ont prédit que 47 % des emplois aux États-Unis seraient détruits d’ici à 2030 par l’IA et les robots. Quel est votre point de vue ? Est-on dans un cycle schumpétérien classique de « destruction créatrice », ou dans un moment de remplacement par les robots ?

Nous sommes dans un processus de précarisation et de remplacement de personnes par d’autres moins bien protégées. Ce qu’Osborne et Frey avaient dit dans ce rapport a très vite été mis en doute, par pratiquement toute la communauté scientifique. En 2019, année de l’arrivée de la crise sanitaire, on se retrouvait dans une situation où l’emploi ne s’était pas effondré ; donc ce n’était heureusement pas en train de se réaliser. De même, aujourd’hui, avec une crise géopolitique en Europe et une crise sanitaire, nous sommes dans une situation où la perspective n’est pas d’avoir perdu d’ici sept ans 47 % des emplois.

En revanche, on voit qu’il y a deux tendances : la première est une tendance longue à l’érosion des droits et des acquis sociaux du travail. C’est un projet politique des droites conservatrices dans pratiquement tous les pays du monde. Qui dit travailleur moins bien protégé dit aussi salaire plus bas, et qui dit salaire plus bas dit qu’une partie plus importante de la valeur produite pourra aller aux investisseurs ; ces derniers sont donc déjà d’accord avec ce type de projet. L’intelligence artificielle est, de mon point de vue, non pas le cheval de Troie mais une ruse d’érosion des acquis sociaux. La finalité ultime est de discipliner le travail qui reste. Je ne nie pas que des emplois seront détruits mais un emploi détruit ne veut pas dire un robot qui se met au travail. Cela veut surtout dire 56 000 personnes qui font du micro-travail un peu partout dans le monde. C’est malheureusement quelque chose qu’on voit déjà poindre en France, même dans la fonction publique, sans parler des grandes entreprises françaises. Les promesses d’automatisation cachent des projets de micro-travail où l’on récupère du côté des investisseurs ce que l’on va sous-traiterdans d’autres pays.  

Les promesses d’automatisation cachent des projets de micro-travail où l’on récupère du côté des investisseurs ce que l’on va sous-traiterdans d’autres pays.

Antonio Casilli

Il y a un bémol sur lequel j’insisterais : il faut faire une différence entre robotisation et automatisation intelligente. La robotisation a pour vocation de remplacer l’effort humain. C’est le cas depuis des siècles. La réflexion autour des machines à la Renaissance et à la fin du Moyen-Âge  voyait en elles un moyen de limiter l’effort humain. Les robots ont une tendance à remplacer les êtres humains qui réalisent un travail physique. En revanche, l’intelligence artificielle — et surtout l’automatisation intelligente, avec une très forte composante d’opérations à réaliser sur les données — n’a pas vocation à remplacer le travail humain. Au contraire, elle a vocation à le compléter, à l’intégrer, à l’améliorer et à le rafraîchir. De ce point de vue-là, on ne peut pas se passer des êtres humains. Les soi-disant gains de productivité promis ne sont pas au rendez-vous quand on regarde les statistiques au niveau mondial. Le taux de croissance de la productivité est au plus bas depuis ces vingt dernières années. C’est un contresens, c’est un impensé qui ne ressemble pas à un cycle schumpétérien. C’est plutôt une dégringolade ou une longue traîne après une gaussienne si l’on regarde comment l’évolution du taux de productivité s’articule à la croissance de la productivité ces dernières années.

Dans Atlas of AI, Kate Crawford pose la question de la véritable nature de la collaboration entre l’homme et la machine. Cette collaboration refléterait surtout une asymétrie de pouvoir qui ne serait pas négociée équitablement. Elle parle d’engagement forcé — on peut penser aux travailleurs des plateformes de livraison, par exemple. Comment peut-on mieux penser l’automatisation pour inclure l’humain dans la boucle au moment de la conception de ces systèmes ?

Le travail de Kate Crawford  et de toutes les personnes qui l’entourent est très important, surtout parce qu’il s’agit d’une voie d’issue. Des livres comme Atlas of IA soulignent le fait que l’intelligence artificielle n’est pas seulement immatérielle. Au contraire, il s’agit d’une infrastructure globale, qui s’étale sur des dizaines de milliers de kilomètres et qui implique des centaines de millions de personnes. Elle est bien matérielle, avec des données et des algorithmes, mais aussi des batteries, du lithium, du cobalt, des terres rares et de l’étain. À mon sens, l’une des issues possibles est de réfléchir à une articulation entre la partie matérielle — les dispositifs intelligents — et la partie immatérielle — les données. Ce sont des recherches qui sont un peu plus obliques par rapport à nos activités, mais à côté de notre travail sur les travailleurs du clic, nous allons voir ce qu’il se passe dans les mines de nickel et cobalt ou dans les gisements de lithium.

L’une des issues possibles est de réfléchir à une articulation entre la partie matérielle — les dispositifs intelligents — et la partie immatérielle — les données.

Antonio Casilli

Il y a une continuité entre les espaces dans lesquels les données sont produites et ceux dans lesquels cette base minérale de notre intelligence artificielle est extraite. Il faut commencer à réfléchir d’une manière plus globale à la gouvernance de ces chaînes de production. Ce n’est pas seulement une question d’utilisateurs finaux, d’utilisateurs qui se trouvent dans le Nord du monde et ont droit de parole ou de regard sur l’algorithme. Quand on est à la phase de l’algorithme, on est déjà à la fin de la chaîne. Les dégâts ont déjà eu lieu, les problèmes sont déjà survenus ailleurs, et on n’est pas certains d’être arrivés à les résoudre. Il faut remonter la chaîne et résoudre le problème sur l’ensemble de celle-ci. C’est aussi aux grandes multinationales de l’IA et de la tech de faire un effort pour respecter les lois qui existent. Il existe des textes en faveur de la responsabilité sociale et environnementale des multinationales. Les entreprises qui travaillent dans le textile, par exemple, sont responsables de ce qui se passe tout au long de la chaîne de production. Elles sont responsables du respect d’un certain nombre de standards et de lois. Pourquoi les entreprises de la tech ne seraient-elles pas soumises au même type de contraintes ? C’est la question qui reste ouverte.

Je suis prêt à imaginer des grandes utopies, un grand monde d’internationalisation, de plateformes anarchistes organisées sur un mode fédératif. Mais d’abord, faisons en sorte que les lois qui existent déjà et qui protègent effectivement les personnes qui subissent cette transformation soient respectées, et qu’on commence effectivement par limiter ce type de dégâts aujourd’hui.

Dans une note de blog, Sam Altman propose une réforme du capitalisme et de la redistribution des richesses dans un monde où l’IA produirait seule la plupart des biens et des services. Il propose de taxer les revenus du capital plutôt que ceux du travail, qui créeront moins de valeur économique au sens où on l’entend aujourd’hui — soit une taxation des entreprises à hauteur de 2,5 % de la valorisation chaque année, payable en actions et redistribuée à tous les citoyens majeurs. Comment imaginez-vous les implications politiques d’une société avec l’AI et est-ce une question raisonnable à se poser maintenant ?

L’un des points de départ pour ce type de réflexion est d’abandonner les propositions à la Altman, qui sont basées sur le présupposé erroné selon lequel on va vers un monde où l’automatisation est véritablement artificielle. Plus l’intelligence artificielle devient intelligente, moins elle est artificielle. Quand on parle de taxe robot ou de revenu de citoyenneté basé sur le fait que les gens ne travaillent plus, on se trompe d’analyse. Au contraire, il faut inventer des politiques publiques qui davantage mettent sous tutelle des personnes dont le travail demeure nécessaire et devient par ailleurs encore plus nécessaire aujourd’hui, du moins pour entretenir cette énorme infrastructure qu’est l’intelligence artificielle. Il faut reconnaître la nature profondément redistributive de ces mesures. Si on ne raisonne pas en termes de redistribution de la rente ou des richesses — évidemment c’est un gros mot pour un milliardaire américain — l’on va se retrouver confrontés à un problème. S’il n’y a pas de base socio-économique pour justifier ces mesures, elles seront caduques, non applicables et exacerberont les inégalités sociales pour provoquer encore plus de conflictualité. On pourrait même se dire qu’il serait souhaitable d’avoir plus de conflictualité par rapport à la situation actuelle. À mon avis, il faut commencer à réfléchir ; il faut prendre conscience que le revenu de citoyenneté doit être un revenu primaire — qui ressemble beaucoup plus au salaire à vie de Bernard Friot qu’au revenu universel d’Elon Musk.

Il faut prendre conscience que le revenu de citoyenneté doit être un revenu primaire — qui ressemble beaucoup plus au salaire à vie de Bernard Friot qu’au revenu universel d’Elon Musk.

Antonio Casilli

C’est ce que j’évoque à la fin de mon livre En attendant les robots. Il s’agit vraiment de deux visions complètement incompatibles, parce que basées sur des présupposés complètement différents : d’une part, la vision Silicon Valley sous-entend que le travail disparaît et qu’il faut inventer une manière de faire de la bienfaisance, de l’effective altruism ; d’autre part, l’on a le présupposé entièrement différent selon lequel on ne peut pas se débarrasser du travail. Dans ce paradigme, les travailleurs ne disparaissent pas, il y a tout au plus des efforts pour les invisibiliser et les envoyer dans un autre continent, mais la force de travail subsiste et augmente par ailleurs, même au niveau des effectifs. Depuis le Covid-19, il y a eu une montée en flèche sur les plateformes de micro-travail du nombre des personnes inscrites et de l’activité déclarée de ces mêmes plateformes. Auparavant, elles avaient 400 000 ou 500 000 travailleurs ; elles se retrouvent maintenant avec 2 ou 3 millions d’utilisateurs. Il faut prendre ces chiffres avec des pincettes — car elles cherchent à se vanter pour appâter les investisseurs — mais cette force de travail est en train de de monter.

[Vidéo] Intervention au Printemps de l’Economie (7 avril 2023)

11ème édition du Printemps de l’économie Session Les Economiques avec Alternatives économiques, conçue par Christian Chavagneux, éditorialiste à Alternatives économiques, membre du conseil scientifique du Printemps de l’économie • Antonio Casilli, Professeur de sociologie, Télécom Paris • Laurence Devillers, Professeure d’informatique appliqué aux sciences sociales, Sorbonne Université • Tariq Krim, Entrepreneur de la tech • Christian Chavagneux, Éditorialiste, Alternatives Economiques Avec l’arrivée de ChatGPT, l’intelligence artificielle a fait son entrée grand public. De quoi révolutionner le monde du travail (emplois, productivité…) comme jamais ou bien est-ce une évolution technologique comme les autres ? L’Europe est-elle encore une fois distancée par les Etats-Unis et la Chine ? Faut-il encourager son utilisation ou bien en avoir peur ?

Invité au Sénat français à l’occasion de la proposition de loi sur la management algorithmique (6 avril 2023)

J’ai été invité au Sénat français pour présenter une proposition de loi sur la gestion algorithmique du travail sur les plateformes numériques, portée par le sénateur communiste Pascal Savoldelli. Compte rendu dans le quotidian L’Humanité.

Algorithmes, « contremaîtres des temps modernes »

Ubérisation Les travailleurs sous les ordres directs de logiciels sont de plus en plus nombreux. Un projet de loi communiste vise à encadrer cette nouvelle forme de management. Publié leJeudi 6 avril 2023-Pierric MarissalAFP «Voici ton client », «  prends ce chemin », « attention, tu es en retard », « tu es déconnecté »… Voici le type de messages que reçoivent les travailleurs des plateformes, surveillés, dirigés et sanctionnés par des algorithmes. « Ce sont les vrais contremaîtres des temps modernes », résume Pascal Savoldelli, sénateur communiste, auteur d’une proposition de loi sur le management algorithmique, présentée ce mercredi. Composée de trois articles, elle entend proposer une définition juridique de ces programmes informatiques, comme organisation de pouvoir et de contrôle.

Les plateformes se cachent derrière la machine

Elle suggère aussi de créer une obligation de transparence de ces algorithmes pour les membres du CSE, afin notamment qu’ils ne soient pas source de discrimination. « Il y a déjà eu plusieurs exemples, comme les déconnexions abusives chez Deliveroo, ou les discriminations à l’emploi chez Amazon, pointe Pascal Savoldelli, et à chaque fois l’employeur dit : “Ce n’est pas nous, c’est la machine.” Voilà pourquoi on veut replacer l’algorithme dans la chaîne de responsabilité. » Le secrétaire national du syndicat de VTC INV, Brahim ben Ali, est venu au Sénat soutenir le texte, qu’il juge très important. «  La semaine dernière encore, aux prud’hommes, l’avocat d’Uber nous disait que, permettre un droit de regard sur l’algorithme, ce serait comme demander la recette du Coca-Cola, violer un secret industriel, raconte le syndicaliste. Cela voudrait dire qu’on doit les laisser tout faire ? » Dans cette boîte noire sont en effet enfermées les raisons des déconnexions, comment sont construits les tarifs, pourquoi tel client est attribué à tel chauffeur, même s’il n’est pas le plus proche… Des décisions à l’origine humaines, mais les plateformes se cachent derrière la machine pour préserver le secret sur leurs recettes et masquer le caractère parfois antisocial de leurs décisions. Aller chercher l’humain derrière l’algorithme et le mettre en lumière est le cœur du travail du sociologue Antonio Casilli, venu lui aussi apporter son soutien à cette proposition de loi. «  J’ai commencé à réfléchir à la gestion algorithmique du travail dès 2016, avec le syndicat CGIL et des élus en Italie. Nous avons pensé alors le concept de contracter, négocier l’algorithme. À l’époque, c’était considéré comme abstrait, mais aujourd’hui on se rend compte de cette nécessité : l’algorithme et ses réglages doivent faire l’objet d’une négociation. »

100 000 milliards de paramètres dans GPT 4

Alors, évidemment, le chercheur souligne que de tels audits ne seront pas simples à réaliser, quand GPT 4, par exemple, comporte plus de 100 000 milliards de paramètres. « On se voit réduit à observer le comportement de l’algorithme, et à corriger les dégâts, résume le chercheur. Cette proposition de loi est en tout cas un premier pas, qui va dans le bon sens, et pose les bons termes. » En effet, Pascal Savoldelli n’ambitionne pas de régler d’un coup tous les problèmes liés à la plateformisation de l’économie, mais il entend maintenir le sujet dans le débat public. « Cette proposition de loi peut servir de levier, de béquille, quand il s’agira de faire rentrer dans le droit français la directive européenne sur les travailleurs des plateformes », précise le sénateur.

Intervista su ChatGPT e il lavoro digitale (Il Manifesto, 1 aprile 2023)

Conversazione con Roberto Ciccarelli nel quotidiano Il Manifesto di sabato 1 aprile 2023.

ChatGpt, Antonio Casilli: Il lato oscuro dell’algoritmo è la forza lavoro | il manifesto

Nel comunicato del garante della Privacy che blocca l’assistente virtuale ChatGpt c’è un passaggio illuminante in cui si osserva che l’illecita raccolta dei dati personali avviene in mancanza di una «base giuridica» e «allo scopo di addestrare gli algoritmi sottesi al funzionamento della piattaforma».

L’«addestramento» è stato effettuato dagli utenti di questo software che, stimolati dalla stupefacente operazione di marketing basata sull’immaginario apocalittico della sostituzione del lavoro, e persino degli esseri umani, da parte dei robot nelle ultime settimane hanno lavorato gratuitamente, e probabilmente inconsapevolmente, allo sviluppo di ChatGpt bombardandolo con le richieste più singolari e divertenti. Ciò ha permesso alla società OpenAI che ha lanciato anche ChatGpt, fondata a San Francisco nel 2015, di raccogliere fondi da decine di miliardi di dollari, e investimenti cospicui da parte di Microsoft.

Oltre alle questioni legate alla privacy, e all’intelligenza artificiale presentata con una dose di pensiero magico, c’è il «machine learning», i sistemi di apprendimento macchinico attraverso i quali un’altra forza lavoro diffusa nel Sud globale preleva e raffina i dati che permettono di migliorare il rendimento di un software adattandolo ad altri contesti e prodotti.

Al centro di questo sistema c’è la forza lavoro, la merce più preziosa per il capitalismo digitale, quella che alimenta l’inesausta produzione di dati sia a monte che a valle di un’intelligenza che è artificiale nella misura in cui è prodotta dall’interazione con gli umani. È pronta a produrre volontariamente il valore quando è stimolata da un hype pubblicitario pazzesco.

La forza lavoro è il lato oscuro del capitalismo digitale. O meglio, diciamo in chiaroscuro. Perché il suo ruolo non è del tutto ignoto.

Alcuni ricercatori di OpenAI lo hanno parzialmente raccontato in uno studio di 60 pagine pubblicato il 23 marzo scorso in cui descrivono anche il lavoro fatto per migliorare l’algoritmo. Il lavoro sul «modello linguistico» è stato realizzato attraverso test ostili che hanno tentato di costringere l’Intelligenza Artificiale relazionale a esprimersi in maniera pericolosa, controversa o illegale.

Questi tipi di test sono usati per limitare l’attività dei software e impedirgli di riprodurre atteggiamenti pregiudiziali, violenti o anche razzisti che vengono trascinati nel corso della «mietitura dei dati» in quantità mai vista e realizzata anche a partire dalle piattaforme digitali più comune.

«Davanti a una raccolta dati di queste dimensioni va fatta una constatazione. I dati non possono essere usati allo stato grezzo – osserva Antonio Casilli, professore all’Institut Polytechnique de Paris e autore di Schiavi del clic. Perché lavoriamo tutti per il nuovo capitalismo? (Feltrinelli) – Hanno bisogno di essere filtrati, selezionati e arricchiti. Chi fa questo lavoro di selezione sono esseri umani malpagati per fare il data work. Nel caso di ChatGpt c’è stato prima un lavoro di pre-addestramento tra le Filippine, la Turchia, l’India, il Sudafrica e il Kenya. Di quest’ultimo caso ha parlato il Time il 18 gennaio scorso. A noi utenti è toccato il post-addestramento in cui abbiamo fornito una serie di dati personali».

In che modo?

Quando ChatGpt ti dà una risposta appare un pollice elevato e uno abbassato che permettono di dire se la risposta è di buona o cattiva qualità. Tu stesso stai annotando dati che vengono immessi in un data base e usati per riaddestrare l’intelligenza artificiale. C’è un filo rosso che lega chi addestra questo assistente virtuale in tutto il mondo e i suoi utilizzatori. Solo che ci sono tante persone che lo fanno gratis, mentre altrove altre lo fanno quasi gratis, per pochi centesimi o dollari. Del resto lo dice l’acronimo stesso di ChatGpt. La “P” significa «pre-trained», cioé «pre-addestrati». Dietro questa tecnologia c’è un’enorme quantità di lavoro sui dati fatto realizzato da grandi masse di persone».

Più che la sostituzione degli esseri umani da parte dei robot qui stiamo parlando di esseri umani che lavorano per le aziende che producono «intelligenza artificiale». È così?

Sì, nello studio sulla scheda di sistema GPT-4, OpenIA di cui stiamo parlando ha pubblicato una prima stima del numero di posti di lavoro che sarebbero stati esposti a un’intelligenza artificiale, l’80 per cento sarebbero stati trasformati o forse addirittura eliminati da ChatGpt e altre tecnologie. In realtà stiamo assistendo a tutt’altro processo: tanti più posti di lavoro cerchi di sopprimere nell’ambito del lavoro formalmente inquadrato, tanto più saranno creati micro-lavori ultra-precari nel mondo per fare esistere tecnologie come ChatGpt. Anche questo software si trova alla fine a precarizzare il lavoro che c’è e che ci sarà sempre.

ChatGPT banned over data privacy: a very Italian story

The recent ban of ChatGPT by the Italian data authority, Garante della privacy, has caused quite a stir in the tech community. In the wake of a “privacy incident” caused by a bug that displayed other users’ chat history, on March 31, 2023, the authority announced that it was banning the AI language model in Italy due to non-compliance with GDPR regulations. However, the service remained accessible to Italian users. Until, later that day, OpenAI decided to do something about it…

In the evening, Sam Altman, the CEO of OpenAI, which created ChatGPT, announced that the service would no longer be available in Italy. Altman stated that the decision was made out of deference to the Italian government and its privacy laws.

The famous “it is impossible for me to have violated the privacy of Italian users because I like gelato” defense.

This tweet contains some inaccuracies. The Italian “government” has nothing to do with this story. Garante delle privacy is an independent data protection authority. Moreover, OpenAI made this decision on its own, and not because the European authority seized their servers or data centers. The Italian privacy regulator lacks the technological capabilities to shut down the service.

The Garante just ordered “a provisional limitation of the processing of personal data” of persons residing on the Italian territory (regardless of citizenship or residence), effective immediately. A 20-day period was allowed for OpenAI to inform the authority of its progress toward compliance.

The company still had time to address any issues. The decision to discontinue the service appears to be a corporate one, presumably to elicit sympathy from the public and force the data authority to reconsider its decision. An odd move for a company that in its GPT-4 Technical Report earlier this month emphasized the need for “effective regulation.”

gpt-4-2

It’s hard not to see this as a ruse reminiscent of old-time television tycoons trying to rally the audience against law enforcement. There is an obvious parallel here with a very Italian story from 1984, when Silvio Berlusconi was illegally broadcasting three national TV networks through a web of small local stations. When judges in a few Italian cities intervened, Berlusconi could have complied with the law by broadcasting only locally. Instead, he decided to shut down his networks. Next thing you know, people were out in the streets, chanting the names of the suspended channels. Ad-hoc legislation was passed in a rush by the then prime minister. Despite the opposition of left-wing parties, three “decreti Berlusconi” (Belusconi bills) sanctioned the tycoon’s system.

For more on how Berlusconi managed to build an illegal media empire, see “Il Venditore” by Giuseppe Fiori, published in 2004.

The historical example serves as a warning of what could happen if policymakers succumb to such blackmailing tactics. Altman’s decision to discontinue ChatGPT in Italy is not an isolated incident. If other companies follow suit, it could set a dangerous precedent. It’s essential that tech companies comply with privacy laws and regulations, but it’s equally important that they don’t use their power to manipulate public opinion or bully regulators.

Acknowledgments: My thanks go out to Italian lawyers Giovanni B. Gallus and Carlo Blengino, whose insightful comments helped me revise and correct some inaccuracies in the first draft.

Artificial intelligence doesn’t destroy jobs, it precarizes them (op-ed Domani, March 24, 2023)

Today, the Italian newspaper Domani published an op-ed that I penned in the wake of the publication of the study “GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models“. You can find the Italian version of my article on the website of Domani, and read the English version here.

Artificial intelligence will increasingly make the world of work precarious

Antonio A. Casilli

  • Systems like ChatGpt won’t completely disrupt work as we know it, but it will create a new class of “click slaves,” paid (very poorly) to train algorithms.
  • This is a more real risk than science fiction scenarios, where robots would completely take over human labor. OpenAi itself already uses these micro-workers.
  • A few months after ChatGpt was launched, a TIME magazine exposé disclosed that Kenyan workers were being paid less than $2 per hour to train artificial intelligence.

A study analyzing the impact of artificial intelligence on the labor market was published this week. Its authors examined so-called “pre-trained models” of the Gpt family. These pieces of software learn from a large amount of data to perform tasks that they then adapt to new contexts. Three of the four authors of this study are employees of OpenAi, the company that in recent months has launched Dall-E 2, an image-generating system, and of course ChatGpt, the virtual assistant that has become a cultural phenomenon.

According to the study, about 80% of the workforce could be exposed to this innovation, and for some of them 50% of tasks could change dramatically. Even highly educated people would be affected by this development.

The conditional is a must, because the study has more limitations than results. It relies on opaque data, adopts an abstruse methodology and, as a cherry on top, uses a Gpt to analyze the effects of other Gpts.

The new Frey & Osborne

The study matters more for its ambition than for its results. Doubtlessly, the article aspires to be the “Frey & Osborne report of the 2020s,” after the two Oxford researchers who published in 2013 an analysis predicting that 47% of jobs would be destroyed by 2030. It is a highly cited and heavily criticized work given that, despite a pandemic, a geopolitical crisis and a climate emergency, their forecasts are far from coming true.

Both the 2013 article and the one just published by OpenAi researchers reduce human work to a series of “tasks.” Like all reductionist analyses, they should be greeted with healthy distrust. To say that a nurse’s job is reduced to 10 tasks (caring for patients, filling out forms, etc.) and to say that some of them might be exposed to ChatGpt use does not mean that the nurse will be fired. Her job will change.

A marketing operation

Maybe with the excuse that new technology saves time, employers will find new ways to add tasks to employees while keeping real wages at a minimum. Despite utopian visions and fears regarding automation, historically this is what has happened, much to the chagrin of OpenAi researchers.

Their article is largely a marketing tool designed to help their company get noticed by the media. Every time OpenAi launches a product, a debate rages in the news and on social media about the threats artificial intelligence poses to journalists, illustrators, teachers. It just so happens that the jobs that are threatened to disappear are precisely those that the American company sells as services: text and image generation, training, etc. It is not the robots that are destroying jobs. It is OpenAi that is destroying competition.

Out of control

But sadly, this is not good news. The effects of these technologies on jobs are indeed there, but they are different. To really detect them we have to read the System Card of Gpt-4, OpenAi’s latest software. A hundred or so pages describe the tests by which the AI was trained. The testers often pushed Gpt-4 to perform dangerous or illegal actions in order to teach the artificial intelligence to avoid them.

But during the tests, Gpt-4 escaped its controllers, and attempted a cyberattack on a website. The latter, however, was protected by ReCaptcha, those pop-ups that require proving you are not a robot by solving a puzzle. Unfortunately, Gpt-4 is a robot. To solve the puzzle, it then turned to an on-demand platform to recruit a pieceworker to solve the ReCaptcha on its behalf.

Micro-work

But ReCaptchas do more than just protect against cyberattacks. They are also used to train artificial intelligence. When they prompt us to transcribe words, they use them to digitize Google Books. When we are invited to spot a traffic light, they calibrate Waymo’s autonomous driving systems. This raises a mind-boggling question: can Gpt-4 be used to recruit workers who in turn train other AIs?

In fact, more or less automated systems for recruiting freelance workers to train algorithms have existed for decades. Amazon Mechanical Turk is a site where, for a few cents, companies recruit for less than a quarter of an hour hundreds of thousands of people to generate data, transcribe text, and filter images. Other platforms, such as Australia’s Appen, employ more than ten million people. Can we really talk about jobs? These are micro jobs with poverty wages, which are largely performed by workers from developing countries.

Replacement

Paradoxically, OpenAi itself uses these “click slaves.” A few months after ChatGpt was launched, a TIME magazine exposé revealed that Kenyan workers were being paid less than $2 per hour to train the chatbot. In other documents uncovered shortly thereafter, the U.S. company claimed it contracted workers in the Philippines, Latin America and the Middle East to train its algorithms.

Thus, the true impact on the work of Gpt software has been revealed. Artificial intelligence automates the process of selecting, hiring, and firing precarious workers. This is not the usual science fiction scenario where robots replace humans. It is one where permanent employees being replaced with underpaid pieceworkers hired and fired on digital platforms. This trend is already underway, and companies like OpenAi are escalating it.

Pas de panique : GPT-4 ne va pas voler votre emploi (il va simplement recruter une foule de micro-tâcherons sous-payés)

Tl;dr L’IA a bien un impact sur le marché du travail, mais ce n’est pas la catastrophe robotique que redoutent les prophètes de l’apocalypse. Ne perdez pas votre temps à combattre un faux ennemi.

OpenAI a récemment publié la GPT-4 System Card, un document de 50 pages détaillant les tests effectués par des “red-teamers” (c’est-à-dire des testeurs hostiles) qui ont tenté de contraindre l’IA à effectuer des actions dangereuses, controversées ou illégales. Ce type de test est essentiel afin de mettre en place des garde-fous pour empêcher GPT-4 de se livrer à de telles activités. Entre autres, GPT-4 a réussi à engager un travailleur de Taskrabbit pour résoudre un ReCaptcha, une simple tâche cognitive utilisée pour entraîner des IA. Cela soulève la question suivante : peut-on l’utiliser pour recruter automatiquement des annotateurs de données à la demande ?

Un extrait du GPT-4 System Card : dans un test dans, l’IA a recruté un travailleur sur une plateforme en le convainquant qu’elle n’est pas un robot pour lui faire réaliser une tâche qu’un robot ne pourrait pas réaliser…

En fait, des systèmes permettant de recruter des sous-traitants sous-rémunérés en ligne existent depuis près de 15 ans. Des solutions logicielles telles que TurkIt (2009) automatisent la publication de tâches sur Amazon Mechanical Turk, tandis qu’Automan (2016) intègre le calcul numérique et le calcul à base d’humains.

Néanmoins, GPT-4 soulève des inquiétudes quant à son impact sur le marché du travail, car il pourrait accélérer la tendance au remplacement des employés permanents par des micro-tâcherons précaires, embauchés et licenciés par un simple “prompt”. C’est le triomphe de ce que l’on appelle Humans as a service, pour reprendre le titre d’un beau livre de Jeremias Adams-Prassl (publié en Français sous le titre L’ubérisation du travail).

Cela ne signifie pas que “les robots vont piquer votre boulot”. GPT-4 est simplement un robot qui automatise l’embauche de travailleurs précaires qui effectuent les mêmes tâches que des humains mieux rémunérés. Il s’agit d’une vraie problématique sur les effets domino de l’IA, et non d’un scénario de science-fiction sur un prétendu soulèvement des robots.

Attention : la System Card est un pas dans la bonne direction pour garantir que la technologie ne soit pas utilisée pour porter atteinte aux droits des travailleurs. Toutefois, il faut faire plus. Par exemple, créer une commission d’enquête internationale pour exiger d’OpenAI qu’elle divulgue le code de ses IA, ses paramètres et surtout d’où proviennent les données qu’elle utilse pour les entraîner

ChatGPT y “el trabajo sucio de l’IA” (entrevista en El Mercurio, Chile, 26 febr. 2023)

En el diario chileno El Mercurio, el periodista Juan Rodríguez me hizo algunas preguntas sobre el reciente éxito de ChatGPT…

Mercurio-HD

Entrevista Lo humano y lo artificial

Conversar con el ChatGPT: ¿qué hay detrás de la pantalla?

Ha sido la canción del verano: en estos meses el comentario obligado es el chat que responde preguntas sobre los más variados temas, desde filosofía hasta el de la capacidad lectora de los chilenos. El sociólogo Antonio Casilli, autor del libro “Esperando los robots”, ha estudiado la realidad y retórica detrás de estas nuevas tecnologías y aquí da algunas claves para entenderlas.


“Compara las concepciones de virtud de Kant y Aristóteles”, le pidió al ChatGPT Raimundo Cox, del Instituto de Filosofía de la Universidad de los Andes.

“La concepción de virtud de Aristóteles se basa en la idea de eudaimonía, o felicidad, o prosperidad”, dijo el robot en parte de su respuesta. “Kant, por otro lado, se enfoca en las motivaciones detrás de nuestros actos”.

La respuesta es algo genérica y esquemática, pero acertada.

El lingüista Guillermo Soto, director de la Academia Chilena de la Lengua, le preguntó por el estereotipo “los chilenos no entienden lo que leen”.

“No, no es verdad que los chilenos no entienden lo que leen. Como en cualquier otra población, los chilenos varían en sus niveles de alfabetización y habilidades de comprensión lectora. Sin embargo, es injusto y equivocado hacer una generalización sobre toda una población basado en las acciones de unos pocos individuos”.

El periodista chileno Gazi Jalil le pidió ayuda literaria: “¿Quién me recomiendas para leer estos días: Gabriela Mistral o Lucila Godoy?”.

“Gabriela Mistral y Lucila Godoy son dos importantes poetas de América Latina y es una buena idea leer a ambas”, dijo, ecuánime y confundida, la inteligencia artificial (IA).

ChatGPT es uno más de varios robots que, se supone, hacen cosas que eran privilegio humano. Es un programa o inteligencia artificial diseñado para simular o mantener conversaciones con usuarios humanos, o sea, un chatbot. Fue lanzado el 30 de noviembre de 2022 y en principio es gratuito, pero se supone que se comenzará a cobrar. Ya en diciembre tenía un millón de usuarios.

La sigla secreta

Antonio Casilli es sociólogo y profesor del Instituto Politécnico de París. Se ha dedicado a investigar el impacto e influencia de la cultura digital en la vida cotidiana. Es autor, entre otros libros, de “Esperando a los robots” (Lom), un ensayo que alude a “Esperando a Godot” en el que revela el trabajo humano y precarizado que hay detrás de esa “magia” que parece ser la inteligencia artificial.

Casilli ha usado el ChatGPT, pero no para conversar: “Lo utilizo a diario como asistente de escritura, para redactar correos electrónicos, tomar notas o corregir y acortar textos. Para mi trabajo de autor, no es ni más ni menos revolucionario que la introducción de los primeros programas que permitieron dar formato a los textos, el siglo pasado”.

—¿Qué impresión le ha dejado el chat?

“A pesar de la retórica general, no le veo nada extraordinario en comparación con otros ejemplos de inteligencia artificial de este tipo. Son software que manejan un número enorme de parámetros (en el ChatGPT, hablamos de más de 170.000 millones) y que ‘aprenden’ a hablar y a generar texto a partir de ejemplos tomados de la web. La riqueza de ChatGPT reside en que dispone de un número impresionante de ejemplos, es decir, de datos. Utiliza una solución llamada Common Crawl, que lleva más de diez años tomando imágenes, videos, audio y texto de la web”.

—Vamos a lo básico, ¿cómo se programa un chat así?

“El secreto de cómo se programa reside en el acrónimo que encierra su nombre: esas misteriosas letras G-P-T. Empecemos por el final. La última letra, T, significa ‘Transformador’. Es el tipo de programa que se utiliza para descubrir regularidades en grandes masas de datos. En este caso, descubre correlaciones entre palabras. Predice, por ejemplo, que si se dice ‘no vayas a la derecha, ve a la…’ lo más probable es que la siguiente palabra sea ‘izquierda’. Por eso el chat parece entender el lenguaje humano. En realidad, lo único que hace es calcular probabilidades. En base a estas probabilidades puede generar textos, lo que explica la primera letra, G, que significa ‘Generativo’”.

—¿Y la P?

“Significa ‘Preentrenado’, lo que alude al hecho de que el chat no aprende a calcular todas las probabilidades en el momento en que uno lo utiliza, sino que se ha ‘preentrenado’ a sí mismo a partir de la enorme masa de datos que ya ha estudiado. En algún lugar hay alguien que enseña a este chat a generar textos. Ese alguien no es quien cabría esperar, como los científicos que lo crearon, sino gente que hace ‘el trabajo sucio de la IA’. Estas personas se contratan a través de plataformas especializadas que encuentran trabajadores independientes, dispuestos a trabajar por salarios muy bajos. Por eso suelen ser de países de renta baja, como Kenia o Filipinas”.

—En enero, la revista Time reveló que OpenAI usó trabajadores kenianos, a quienes pagó menos de dos dólares por hora, para hacer que ChatGPT fuera “menos tóxico”.

“Los ingenieros consideran este trabajo indigno de ellos. He mantenido muchas conversaciones con arquitectos de sistemas informáticos. Un ingeniero de IBM que me dijo: ‘Conseguimos ‘pequeños indios’ para que hagan el trabajo de preparar los datos, ellos son los que hacen el barrido después de que nosotros pasemos’. En resumen, el trabajo del clic que se subcontrata a Kenia, India o Venezuela está infravalorado, pero es necesario para crear los datos que constituyen los ejemplos sobre los que ChatGPT se ‘preentrena’. Es el corazón de toda inteligencia artificial, pero es un trabajo repetitivo”.

Casi nada que temer

En un artículo titulado “El sueño de la máquina creativa”, el filósofo español Daniel Innerarity explica por qué no hay que tenerles miedo al ChatGPT ni al arte generado por inteligencia artificial. Dice que la IA “crea” identificando y reproduciendo patrones, mientras que la creatividad humana “implica siempre una cierta transgresión”.

“Estoy de acuerdo”, dice Casilli. “Lo que dice Innerarity es cierto en el campo del arte y la creación humana, y también lo es en el campo de la informática. Los modelos matemáticos que subyacen a ChatGPT buscan descubrir regularidades. La inspiración, en cambio, es hija de la conexión inesperada, del gesto irracional, de la excepción”.

“Por supuesto, se podría argumentar que se trata de una visión idealizada y romántica de la cultura humana”, agrega Casilli. “A veces el propio arte es imitación, repetición de lo idéntico, manierismo. Pero no creo que el problema se plantee en términos de ‘¿cuál es la esencia del espíritu humano? ¿Puede la IA reproducirla?’”.

—¿Por qué no?

“No creo que ninguna de las personas que construyen hoy los grandes sistemas de aprendizaje automático se plantee: ‘Ahora quiero construir un cerebro artificial’. Al contrario, las personas que he conocido se hacen preguntas mucho más terrenales. ‘¿Cómo puedo optimizar estos parámetros?’. ‘¿Cómo puedo obtener esta herramienta sin pagar millones?’”.

“Quienes tienen grandes pretensiones filosóficas de revolucionar el mundo y renovar el espíritu humano con la IA son los dueños de las empresas para las que trabajan estos científicos. Los Elon Musk, los Jeff Bezos… esta generación que cree haber encontrado la clave para interpretar el universo. Pero ellos nunca han puesto sus manos en el juego. No son técnicos, son demagogos. Nadie está trabajando realmente para construir una inteligencia artificial sobrehumana”.

—¿A qué sí habría que temer?

“Mientras todo el mundo está ocupado preguntándose ‘esta IA ¿es consciente?’, no nos hacemos otras preguntas. Por ejemplo, si esta IA es segura o si contiene riesgos potenciales. ¿Qué pasaría si una organización criminal o un régimen autoritario la utilizaran a gran escala? ¿Se han examinado estos riesgos? Parece que no”.

—¿Ha habido problemas?

“Microsoft es uno de los grandes financistas de ChatGPT y utilizó esta tecnología para mejorar su motor de búsqueda Bing. El resultado fue desastroso. Pocos días después de lanzarlo entre un número limitado de usuarios, Bing empezó a acosarlos con peticiones amorosas, amenazó con revelar supuestos delitos, sugirió formas de robar un banco y otras amenidades. ¿Era Microsoft consciente de ello? Aparentemente sí, porque ya había probado la IA de Bing en la India hace cuatro meses e incluso entonces había mostrado un comportamiento aberrante. ¿Qué se hizo para mejorarlo? No mucho, porque la empresa estaba demasiado ocupada impulsando debates sobre si su IA era realmente animada o no”.

Entre la pedagogía y el peligro de plagio

Antonio Casilli sabe que sus colegas en la universidad recurren a este tipo de chat robot o simplemente chatbot: “He conocido a un par que lo usa para escribir informes sobre sus actividades o para empezar a apuntar ideas para las clases, que luego desarrollan, por supuesto”, cuenta. “En cuanto a mis estudiantes, sé que lo utilizan porque me lo han confesado sinceramente”. Para él no es problema, no teme al plagio, y hasta puede ser una oportunidad; ha hecho experimentos pedagógicos que bautizó como “Challenge ChatGPT”. “Por ejemplo, les digo a mis estudiantes que busquen información con la IA; luego, que la consulten en los libros de texto; y después, que cuestionen la información proporcionada inicialmente por el chatbot”.

“En mi profesión, cada diez años hay un nuevo pánico moral, una nueva amenaza que pretende perturbar todo y destruir el pacto pedagógico que supuestamente existe entre profesores y discentes. Primero el uso de Google parecía un desastre; luego el uso de Wikipedia parecía un cataclismo y hoy ChatGPT. Mi estrategia siempre ha sido decirme a mí mismo ‘mis estudiantes y yo vivimos en la misma realidad, y aprendemos juntos utilizando las herramientas que tenemos a nuestra disposición’. Si la herramienta hoy es ChatGPT, usémosla”.

—Con todo lo que ya sabes del ChatGPT, ¿qué le preguntarías hoy?

“Puede que te sorprenda, pero para mí, ChatGPT es solo una herramienta, como un frigorífico o una calculadora. ¿Qué le pedirías a tu refrigerador? Que guarde comida. Pero no le harías ninguna pregunta. Y lo mismo a la calculadora. Esperarías que hiciera cálculos exactos, pero no querrías considerarla un ser humano sensible y consciente con el que pudieras mantener conversaciones. No querrías ‘antropomorfizarla’. Lo mismo puede decirse de ChatGPT. Aunque su interfaz es la de un bot de chat, no son preguntas lo que le haces: son instrucciones que le das a una máquina”.

Comment enseigner à l’heure de ChatGPT (Le Parisien, 22 févr. 2023)

Dans le quotidien Le Parisien, la journaliste Claire Barthelemy relate d’une expérience que j’ai conduit dans le cadre de mon cours ‘Internet & Society’ à Télécom Paris | Institut Polytechnique de Paris. Mes étudiant•es ont été invité•es à participer à un ChatGPT challenge…

Pour la petite histoire, j’ai résumé mon approche à ChatGPT dans le contexte de l’enseignement universitaire dans ce fil Twitter, où je fournis par ailleurs quelques exemples d’expériences pédagogiques basées sur l’IA.

D’autres expériences assez intéressantes sont présentées, en anglais, dans ce billet du blog d’Ethan Mollick, professeur de gestion à l’Université de Pennsylvanie.


ChatGPT : « Il ne faut pas faire semblant d’être dans un monde qui ne travaille qu’avec son cerveau »

Par Claire Berthelemy Le 22 février 2023 à 16h47


On ne présente plus ChatGPT, l’intelligence artificielle qui fait peur à de nombreux enseignants. Pas tous visiblement, puisqu’un prof de l’Institut Polytechnique de Paris a décidé d’intégrer le système avec un objectif : l’apprentissage de ses élèves. Antonio Casilli enseigne la sociologie à des étudiants d’école d’ingénieurs « de niveau master 1», précise-t-il sur son post Facebook.

Son idée ? Demander à ses étudiants d’utiliser ChatGPT pour leur apprendre à vérifier l’information fournie par l’outil « et réviser les bases de sociologie grâce à une phase de travail bibliographique et l’envoi de toute la conversation pour évaluation ».

Un exercice 100% basé sur ChatGPT

Ainsi en TD, les élèves ont eu à se lancer dans un ChatGPT Challenge, « comme j’ai déjà fait faire des Wikipedia challenge, où les élèves devaient alimenter des pages Wikipedia », précise Antonio Casilli pour qui ChatGPT n’est pas un outil de triche mais peut être un outil d’apprentissage.

30 minutes pour poser des questions à ChatGPT « pour générer une conversation qui répète ce qui a été dit en classe la semaine d’avant » et qui leur impose d’avoir compris et « de poser les bonnes questions pour avoir les bonnes réponses » ; 20 minutes ensuite pour travailler sur la bibliographie du texte puis à vérifier la véracité des réponses de ChatGPT.

Des élèves soulagés

Côté étudiants, après les nombreuses interdictions de s’en servir dans l’enseignement supérieur, l’utilisation de ChatGPT peut être difficile à assumer. Pas chez les étudiants d’Antonio Casilli : « Il y a eu un certain soulagement, de ne pas avoir à mentir en disant qu’ils n’avaient jamais utilisé l’outil. Mais ils ont été aussi soulagés quand je l’ai évoqué parce que leurs enseignants sont parfois méfiants dans d’autres contextes. Je sais que certains, qui font du code notamment, ont du mal à s’en saisir, car quand ils lui demandent du code, ChatGPT leur produit d’énormes erreurs. »

Ils savent aussi que d’autres exercices vont pouvoir leur être proposés. « Utiliser différents prompts pour obtenir la même réponse, ou des réponses qui se ressemblent énormément, pour voir ce qu’est un consensus et ce qu’est une connaissance consensuelle ; ou leur donner n’importe quel texte scientifique post 2021 et voir comment à partir de différents prompts ChatGPT est capable de le reproduire », énumère l’enseignant.

« Si avant on utilisait la calculette, les processeurs, on peut utiliser ChatGPT »

Il nous précise : « ChatGPT n’est en soi pas révolutionnaire, l’IA propose juste de générer des textes sans expliquer pourquoi. C’est excellent pour improviser, pour faire de la mise en forme de texte ou de la traduction, mais pas pour une recherche factuelle d’infos. D’autre part, ce sont des fonctionnalités que d’autres logiciels permettaient de faire avant. »

L’enseignant de socio, « assez vieux pour [se] servir de Google ou de Wikipedia », a intégré l’outil dans sa pratique avec ses élèves pour une raison simple : « Il ne faut pas faire semblant d’être dans un monde qui ne travaille qu’avec son cerveau uniquement. Je travaille avec les outils dont les élèves et moi disposons. Si avant on utilisait la calculette, les processeurs, on peut utiliser ChatGPT pour enseigner. »

[Video] Lanzamiento de mi libro “Esperando a los robots” (LOM Ediciones) (Santiago, Chile, 26 enero 2023)

Conversación con Pablo Pérez Ahumada sobre mi libro Esperando a los robots. Investigación sobre el trabajo del clic. Evento organizado en Librería Ulises, Santiago de Chile, el 26 de enero de 2023, por LOM Ediciones y el Instituto Francés de Chile.

Para Casilli, los sueños de los robots inteligentes solo benefician a los grandes oligopolios digitales, representados por el acrónimo GAFAM (Google, Apple, Facebook, Amazon, Microsoft). Detrás del discurso promocional del reemplazo de trabajadores humanos por las tecnologías smart, lo que hacen las plataformas es más bien ocultar la realidad del mercado laboral: un trabajo no remunerado o mal remunerado, sin garantías ni protecciones laborales.