Monthly Archives: June 2014

Wait… Facebook dit what now? Ethics, experiments, and the algorithmic manipulation of everyday life

I’m rushing to finish up a numer of things before flying to Spain for a conference. So Facebook chose the wrong possible moment to do what Facebook does best – manipulate data and algorithms without giving a damn about the well-being of a billion users. Except this time it was not done for profit, but for science. Controversy ensued nonetheless.

Unfortunately, I don’t have time to write a 5,000 word essay about this. Moreover, as an academic I’m fed up with being an accessory to Big Platform storytelling. So, I point you to a couple of nice articles written by colleagues. They all make really valid points, and you should probably read them if you want to overcome the rhetoric conveyed by the press and the TV, which boils down to saying “you should be outraged because during the last 10 years you’ve been more interested in crap stories about Web celebrities, adorable dogs, and violent teenagers that we’ve been feeding you in our technology columns, and you never took the time to realize that the very mission of a medium like Facebook is to manipulate people’s feelings, opinions, and moods”.

So, without further ado, here are the recommended readings. You can use them to outsmart your geeky friends during your Summer outings.

Excerpt: “(…) it’s not clear what the notion that Facebook users’ experience is being “manipulated” really even means, because the Facebook news feed is, and has always been, a completely contrived environment. I hope that people who are concerned about Facebook “manipulating” user experience in support of research realize that Facebook is constantly manipulating its users’ experience. In fact, by definition, every single change Facebook makes to the site alters the user experience, since there simply isn’t any experience to be had on Facebook that isn’t entirely constructed by Facebook. When you log onto Facebook, you’re not seeing a comprehensive list of everything your friends are doing, nor are you seeing a completely random subset of events. In the former case, you would be overwhelmed with information, and in the latter case, you’d get bored of Facebook very quickly. Instead, what you’re presented with is a carefully curated experience that is, from the outset, crafted in such a way as to create a more engaging experience (read: keeps you spending more time on the site, and coming back more often). The items you get to see are determined by a complex and ever-changing algorithm that you make only a partial contribution to (by indicating what you like, what you want hidden, etc.). It has always been this way, and it’s not clear that it could be any other way. So I don’t really understand what people mean when they sarcastically suggest–as Katy Waldman does in her Slate piece–that “Facebook reserves the right to seriously bum you out by cutting all that is positive and beautiful from your news feed”. Where does Waldman think all that positive and beautiful stuff comes from in the first place? Does she think it spontaneously grows wild in her news feed, free from the meddling and unnatural influence of Facebook engineers?”

Excerpt: “I identify this model of control as a Gramscian model of social control: one in which we are effectively micro-nudged into “desired behavior” as a means of societal control. Seduction, rather than fear and coercion are the currency, and as such, they are a lot more effective. (Yes, short of deep totalitarianism, legitimacy, consent and acquiescence are stronger models of control than fear and torture—there are things you cannot do well in a society defined by fear, and running a nicely-oiled capitalist market economy is one of them).

The secret truth of power of broadcast is that while very effective in restricting limits of acceptable public speech, it was never that good at motivating people individually. Political and ad campaigns suffered from having to live with “broad profiles” which never really fit anyone. What’s a soccer mom but a general category that hides great variation? With new mix of big data and powerful, oligopolistic platforms (like Facebook) all that is solved, to some degree. Today, more and more, not only can corporations target you directly, they can model you directly and stealthily. They can figure out answers to questions they have never posed to you, and answers that you do not have any idea they have. Modeling means having answers without making it known you are asking, or having the target know that you know. This is a great information asymmetry, and combined with the behavioral applied science used increasingly by industry, political campaigns and corporations, and the ability to easily conduct random experiments (the A/B test of the said Facebook paper), it is clear that the powerful have increasingly more ways to engineer the public, and this is true for Facebook, this is true for presidential campaigns, this is true for other large actors: big corporations and governments.”

Excerpt: “(…) on the substance of the research, there are still serious questions about the validity of methodological tools used , the interpretation of results, and use of inappropriate constructs. Prestigious and competitive peer-reviewed journals like PNAS are not immune from publishing studies with half-baked analyses. Pre-publication peer review (as this study went through) is important for serving as a check against faulty or improper claims, but post-publication peer review of scrutiny from the scientific community—and ideally replication—is an essential part of scientific research. Publishing in PNAS implies the authors were seeking both a wider audience and a heightened level of scrutiny than publishing this paper in a less prominent outlet. To be clear: this study is not without its flaws, but these debates, in of themselves, should not be taken as evidence that the study is irreconcilably flawed. If the bar for publication is anticipating every potential objection or addressing every methodological limitation, there would be precious little scholarship for us to discuss. Debates about the constructs, methods, results, and interpretations of a study are crucial for synthesizing research across disciplines and increasing the quality of subsequent research.

Third, I want to move to the issue of epistemology and framing. There is a profound disconnect in how we talk about the ways of knowing how systems like Facebook work and the ways of knowing how people behave. As users, we expect these systems to be responsive, efficient, and useful and so companies employ thousands of engineers, product managers, and usability experts to create seamless experiences.  These user experiences require diverse and iterative methods, which include A/B testing to compare users’ preferences for one design over another based on how they behave. These tests are pervasive, active, and on-going across every conceivable online and offline environment from couponing to product recommendations. Creating experiences that are “pleasing”, “intuitive”, “exciting”, “overwhelming”, or “surprising” reflects the fundamentally psychological nature of this work: every A/B test is a psych experiment.”

[UPDATE 29.06.2014] Just when folks in the academic community were finally coming back to their senses, the first author of the Facebook study issued an “apology” that will go down in the annals of douchebaggerdom.

“The reason we did this research is because we care about the emotional impact of Facebook and the people that use our product. We felt that it was important to investigate the common worry that seeing friends post positive content leads to people feeling negative or left out. At the same time, we were concerned that exposure to friends’ negativity might lead people to avoid visiting Facebook. We didn’t clearly state our motivations in the paper. (…) And we found the exact opposite to what was then the conventional wisdom: Seeing a certain kind of emotion (positive) encourages it rather than suppresses is.”

[Shakespearean aside: The key sentence here is “we were concerned that exposure to friends’ negativity might lead people to avoid visiting Facebook”: so this study demonstrates that if Facebook just suppresses every hint of negativity and forcefeeds users with sugar-coated unicorns, people won’t develop some kind of “diabetes of the soul”. ]

“Nobody’s posts were “hidden,” they just didn’t show up on some loads of Feed.”

[Shakespearean aside: Why, that reassur… wait a minute! Isn’t “not showing” synonymous with “hiding”?]

Having written and designed this experiment myself, I can tell you that our goal was never to upset anyone. I can understand why some people have concerns about it, and my coauthors and I are very sorry for the way the paper described the research and any anxiety it caused.

[Shakespearean aside: Wouldn’t want to overinterpret that, but he seems to say he’s sorry for the anxieties caused by the publication of the paper, not for the anxieties allegedly caused by the experiment itself…]

Digital Labor (Transform!, Hongrie, 27 juin 2014)

Le magazine d’analyse politique hongrois Transform! publie une interview avec le sociologue Antonio Casilli au sujet du digital labor (initialement publié dans le quotidien L’Humanité).

Digital Labor – Közös ingyenmunka a webmultik hasznára

Az alábbi, izgalmas témájú interjú alanya napjaink egyik érdekes kérdését feszegeti: amikor használjuk a közösségi oldalakat, szinte minden kattintásunkkal olyan személyes adataink jutnak vállalkozások kezére, amelyek ebből kereskedelmi haszonra tesznek szert és még adó formájában sem juttatnak vissza semmit a társadalomnak. Méltányos lenne, ha a közösségi oldalakról ingyen szerzett, majd haszonná konvertált információk értékéből az azt akaratlanul megtermelő köz is részesülne egy „digitális adó” formájában…

„Már nem vagyunk urai azoknak az adatoknak, amelyeket mi magunk produkálunk” – interjú Antonio Casillivel, a digitális bölcsészeti konferencia szervezőjével, arról a láthatatlan munkáról, amelyet a világháló olyan óriásai, mint a Google és a Facebook számára naponta végzünk.

casilli red002b canatolivlassov

Antonio Casilli annak a digitális bölcsészeti konferenciának (Digital Humanities) a szervezője, melyet a Telecom Paris Tech szervezett, valamint a Centre Edgar-Morin de l’EHESS kutatója. A Springernél jelentette meg az „Against the Hypothesis of the End of Privacy. An Agent-Based Modelling Approach to Social Media” (A magánélet végének hipotézise ellen. A szociális média ügynökalapú modellje) című munkáját, melyet Paola Tubaroval és Yasaman Sarabival közösen írtak.

Meg tudná határozni, mi is a Digital Labor?

Antonio Casilli: A Digital Labor, az interneten folyó, vagy az információs és kommunikációs technológia révén mediatizált összes nem szakmai tevékenységet jelenti, amely értéket teremt, főleg azzal, hogy adatokat állít elő.

Ez nem szakmai munka, hanem azt jelenti, hogy bármely felhasználó, aki az adott pillanatban vagy helyen rákattint egy kapcsolatra, megnéz egy videót vagy belép egy közösségi hálóra, ezt teszi. Ezek banális tevékenységek, de a maguk együttesében óriási adatbázisok felépítését táplálják, amelyekből pénz nyerhető. Ez olyan értéktermelés, amelyet nem neveznek nevén.

Miért vezették be az angol „Digital Labor” terminológiát a francia nyelvbe?

Antonio Casilli: Ha megpróbálom ezt lefordítani, mint «számítógépes munkát», abban az esetben inkább mérnökökre gondolnánk, akik kódolnak valamit, akik az interneten dolgoznak. Vagy még inkább a «számítógépes munka» minden olyan emberhez kapcsolódik, akik valamilyen számítógépes munkát végeznek. A Google mérnökei, a kis start-up cégek alkalmazottai, egészen a kínai munkásokig, akik az Ön okostelefonját készítik. Hogy elkerüljünk minden ilyen fajta félreértést, továbbra is a Digital Labor meghatározást használjuk.

A Digital Labor szükségszerűen adatbázisok létrehozásához kapcsolódik?

Antonio Casilli: Az a példa, amit szeretek használni, a Mechanical Turk*. Ez olyan munkákat jelent, amikor a gépek valami nagyon rosszul csinálnak: embereket vagy tárgyakat azonosítanak fényképeken, zenei listákat állítanak össze műfajok alapján (Playlist), vagy egy szóban összegzik azokat az érzelmeket, amelyeket egy üzenet kivált. Az Amazon munkásai, a „törökök” néhány centet kapnak azért, hogy ezeket megcsinálják, de ez pontosan az, amit akkor teszünk, ha összeállítunk egy lejátszási listát a Deezer-en vagy a Spotify-on, vagy amikor egy «tag-et» teszünk egy Facebook foto mellé. Törököket alkalmaznak arra is, hogy a linkekre kattintsanak, «like-oljanak» a Facebook-on, vagyis olyan tevékenységekre, amelyeket normális esetben magunk is csinálunk az interneten. Az egyedüli különbség a munka tárgyiasítása. A munkatevékenység és a szórakozás közötti határ elmosódik, ezért a szociológusok olyan új fogalmakat használnak, mint a Playbor, ami a Play, vagyis a játék, és a Labor, vagyis a munka összekapcsolása.

Főleg azonban, ahhoz, hogy felépítsék hatalmas előrejelző algoritmusaikat, a Google-nak vagy az Amazonnak szüksége van arra, hogy felhasználók százezreinek viselkedését elemezze. Ez jellemzi igazán ezt a szolgáltatást, ezek különösen kíváncsiak azokra a személyes adatokra, amelyeket maguk a felhasználók „termelnek”. Ezek a platformok olyan gépezetek, amelyeknek üzemanyagát a személyes adatok jelentik. Ezek a vállalkozások folyamatosan ösztönöznek a felhasználói adatokat termelő tevékenységekre: regisztrálj, kattints azokra a tartalmakra, amelyek lelepleznek bizonyos preferenciákat… És amikor ezt csináljuk, egy óriási méretű adatbázishoz járulunk hozzá, amelyet prediktív algoritmusok kezelnek; képesek előre jelezni vásárlási vágyainkat vagy viselkedésünket. Ez kettős problémát vet fel, a kereskedelmi felhasználásét és a magánélet védelmét. Többé nem birtokoljuk azokat az adatokat, amelyeket mi magunk állítunk elő.

A Digital Labor esetében valóban beszélhetünk felhasználásról?

Antonio Casilli: Teljes mértékben. Ezek a tevékenységek egy olyan forrást táplálnak, amelyet később kereskedelmi célra használnak fel. Ez a kihasználás gazdasági értelemben, mint értéktermelés jelenik meg, de szembe kell néznünk a marxista értelemben vett kizsákmányolással is, mert a platformok tulajdonosai kisajátítják a hozzáadott értéket, és újra befektetik egy termelési ciklusba. Mindamellett nem hasonlíthatjuk a Google-t a XIX: század gyáraihoz, mert egy kétoldalú piacról van szó. Már a televízió is egy ilyen kétoldalú piac: egy olyan piac, ahol a tulajdonos áll az egyik oldalon és a felhasználók a másikon. A közönség egyidejűleg ügyfél és dolgozó. Továbbá, minél többen vannak, annál több értéket termelnek a tulajdonos oldaláról. (1) Ez érvényes volt a hagyományos médiára is, de még inkább az a „szociális” médiára. Ha rákattintunk a «like»-ra egy cikknél, vagy megnézünk egy videót, ez ebben az értelemben közmunka, amelyet közvetlenül a tulajdonosok javára végzünk.

Megbecsülhető, mekkora a termelt érték?

Antonio Casilli. Túl szép lenne, ha lennének számaink. Mindez hónapról hónapra nagymértékben változik. De megjegyezhetjük, hogy tendenciájában egy olyan platform, mint a Facebook veszít vonzerejéből a hirdetők számára. Egy üzenetnek egyre kevesebb az esélye arra, hogy hatásos legyen, mert vannak bizonyos önvédelmi dinamizmusok, és azután ott van a click farm problémája, ami nagyban csökkenti a visszatérést a hirdetők befektetéseire [Szó szerint kattintó farmok. Egy egyre jobban terjedő csaló gyakorlat: alulfizetett dolgozók nagy csoportjai töltik napjaikat azzal, hogy rákattintanak reklámokra vagy követnek, vagy «like»-olnak embereket vagy márkákat a közösségi hálókon – a szerk.].


Mi az ellenállás módja?

Antonio Casilli: Az ellenállás első logikai lépése, hogy bevezetjük a konfliktust, szakítunk a szociális hálózatokon uralkodó mindenáron való baráti, „ökumenikus” logikával. Fel kell ismerni a konfliktusos elemeket, nem pedig kitörölni azzal, hogy garantáljunk egy úgynevezett civilizált internetet. Egyébként azok a politikák, amelyek az «internet civilizálására», irányulnak, olyanok, mint amelyeket Nicolas Sarkozy kezdett el, és sajnos, a jelenlegi kormány is folytatni akar, eltitkolva a valóságot a konfliktusok egyfajta elnyomásával. Minden felhasználói csoport mögött, amely veszekszik, emberek vannak, akik egy pillanatra abbahagyták a munkát, hogy érdekes adatokat termeljenek a hirdetőknek.

Lehet-e kollektivizálni az adatokat?

Antonio Casilli: Voltak ellentmondásos, kivételesen erőszakolt kollektivizálási formák az elmúlt években, például a hacktivisták, például az Anonymous vagy a Lulzsec részéről. Amikor meghekkelték, majd publikálták a Sony több mint egymillió felhasználójának személyes adatait. Olyan adatokat, amelyeknek óriási értékük volt a termelők számára. Ez a kollektivizálás erőszakos formája, amely megszüntette ezeknek az adatoknak a plusz értékét, bár veszélyt jelenthettek a felhasználók számára. A kollektivizálás soha nem megy megrázkódtatások nélkül.

Úgy gondolom, hogy inkább a megtermelt javak újraelosztásán kellene gondolkodni. Vissza kellene adni a «köznek» [a közösségnek, amely a közjavak termelője – a szerk.]. Vegyük például a digitális adózást. Felismertük, hogy a felhasználók személyes adatai értéket termelnek a vállalkozások számára, el kell tehát gondolkodni azon, hogy a személyes adatok felhasználásával termelt értékkel arányos adót vessünk ki rájuk. Ez volt például a gondolata a Colin és Collin jelentésnek, amelyet a Bercy** számára készítettek 2012-ben. Ez arról szólt, hogy ahogyan lehetetlen óránként kivetni az adót az internet óriásaira, mivel fennáll a területi probléma, mert ezeket az amerikai vállalatokat adóparadicsomokban jegyzik be. A felhasználók személyes adatai értéket termelnek a vállalatok számára, ki kell dolgozni tehát egy adórendszert, hogy a felhasználók személyi adataival szerzett profit arányosan adózzon. Franciák milliói dolgoznak naponta a Google-nak, fizessen tehát a Google ezzel arányosan adót.

(1) CF. Dallas Walker Smythe a «Communications: Blindspot of Western Marxism»-ban. (Kommunikáció: a nyugati marxizmus vakfoltja) Megmutatja, hogyan alakítja át a kapitalizmus az élet minden pillanatát munkaidővé és hogyan termel értéket abból az egyszerű tényből, hogy létezik egy közösség.

* itt a mechanikus munkát végző alulfizetett munkást jelenti

** a francia pénzügyminisztérium

Az interjút Pierric Marissal készítette.

Fordítás: Hrabák András

Mechanical Turk:


PRISM : la Cour de justice européenne devra se pencher sur le rôle de Facebook et l'accord Safe Harbor

Il y a un an, lors des révélations de Snowden sur l’affaire PRISM, Max Schrems de l’association Europe v. Facebook avait lancé cinq plaintes en trois pays (Irlande, Allemagne, Luxembourg où Apple, Facebook, Yahoo et Microsoft ont leurs sièges européens), demandant l’ouverture d’une enquête pour transfert illégal de données vers les Etats-Unis. L’une de ces plaintes, visant Facebook, avait été prestement rejetée par le DPC (la CNIL irlandaise) et qualifiée de “frivole”. Europe v. Facebook avait alors demandé à la Haute Cour de justice irlandaise de juger de la légitimité de ce refus.

Aujourd’hui, le juge Hogan a tranché et sa décision pourrait avoir d’énormes conséquences pour tout utilisateur résidant en dehors des Etats-Unis. Il a en fait demandé à la Cour de Justice européenne de se pencher sur le cas. Non pas sur la plainte en soi, mais sur l’application et la légitimité même de l’accord Safe Harbor qui regroupe aujourd’hui presque 4000 entreprises américaines et qui leur permet de transférer des données personnelles de l’Europe vers les États-Unis. L’accord est actuellement au centre d’une controverse entre Commission Européenne et Etats-Unis. Plusieurs recommandations pour harmoniser les législations européennes et américaines sur la protection des données sont en discussions… à suivre.

Bonus : Le communiqué de presse de Europe v Facebook

Irish High Court: European Court of Justice will decide over Facebook/PRISM
Unexpected Ruling by Judge Hogan: He refers the matter to the EU Courts

[Slides] Séminaire EHESS 'Le mouvement open data : histoire et controverses' Simon Chignard & Samuel Goëta

Pour la dernière séance de l’année de mon enseignement EHESS Étudier les cultures du numérique : approches théoriques et empiriques, nous avons eu le plaisir d’accueillir Simon Chignard (auteur de l’ouvrage Open Data, Fyp Editions, 2012 et editeur de, plateforme ouverte d’Etalab) et Samuel Goëta (doctorant Telecom Paristech et co-fondateur d’Open Knowledge Foundation France). Le séminaire, centré sur les données ouvertes, a eu lieu le lundi 16 juin 2014, à l’EHESS, Paris. Voilà les slides :

Titre : Les controverses de l’open data au regard de l’histoire du mouvement

L’open data ou ouverture des données désigne la mise à disposition de manière publique, gratuite et proactive de données que chacun peut librement consulter, modifier et utiliser. Le G8 de Lough Erne en 2013 a acté que l’open data devait devenir la pratique par défaut des administrations des pays signataires. Alors que l’ouverture des données semble devenir une priorité des gouvernements, comment le mouvement open data est parvenu à s’imposer dans le débat public comme une revendication essentielle de transparence, d’innovation et de modernisation des administrations ? Quelles sont ses racines profondes ? Quels réseaux d’acteurs ont été mobilisé pour aboutir à la stabilisation progressive des définitions et des pratiques de l’ouverture de données ? Au regard de cette histoire ancienne, il s’agit aussi de comprendre comment les contradictions du mouvement continuent d’influencer les controverses actuelles autour de l’ouverture des données. Nous discuterons les débats suivants en particulier : l’anonymisation des données, les risques d’enclosures, les réticences administratives et la difficile participation des citoyens à la réutilisation des données.


Slides des séances passées :

• 18 nov 2013
Antonio A. Casilli (Telecom ParisTech, EHESS)
Le rôle des visualisations de données dans la recherche sur les cultures numériques

• 16 déc 2013
Anne Dalsuet (philosophe, auteure de ‘T’es sur Facebook’, Flammarion 2013), Stéphane Vial (Université de Nîmes)
Amitié et manifestation d’autrui : pour une philosophie des réseaux sociaux numériques

• 20 janv 2014
Nicolas Colin (The Family)
L’Âge de la multitude : Enjeux économiques et de gouvernance après la révolution numérique   

• 17 févr 2014
Estelle Aubouin (CELSA), Sylvain Abel (ISCOM)
Le web éphémère : de 4chan à Snapchat

• 17 mars 2014

Paola Tubaro (U. of Greenwich, CNRS), Antonio A. Casilli (Telecom ParisTech, EHESS)
Web et privacy : le renoncement à la vie privée n’a jamais eu lieu

• 28 avril 2014

Nicolas Auray (Telecom ParisTech, EHESS)
Débattre de l’officieux. Une contradiction interne au hackérisme

• 19 mai 2014

Louise Merzeau (Paris Ouest Nanterre La Défense)
Présence numérique : traces, éditorialisation, mémoire