Meta a diffusé des publicités pour de l'abus sexuel sur enfants en Inde. Et au début, ça ne violait pas ses règles.
Je vais vous dire exactement ce qui s'est passé, parce que le résumé poli que vous allez lire ailleurs ne rend pas justice à la saloperie de la chose.
Plusieurs publicités faisant la promotion de vidéos d'abus sexuels sur enfants ont circulé sur les applications de Meta en Inde. Ces annonces, repérées et documentées par le BBC World Service, utilisaient des termes comme « rape video » et « child video ». Elles renvoyaient vers des chaînes Telegram où ce type de contenu s'achetait pour 99 roupies.
Soit environ un dollar.
La BBC a signalé ces publicités à Meta. Réponse initiale de Meta : les annonces ne violaient pas ses règles. Ce n'est qu'après que la BBC a insisté que Meta les a retirées.
Bonjour le foutage de gueule.
L'IA modère. L'IA rate. L'IA hausse les épaules.
Cet épisode s'inscrit dans un contexte qu'on ne peut pas ignorer : Meta est en train de remplacer la grande majorité de ses équipes de modération humaine par des agents d'intelligence artificielle. Ce sont ces systèmes automatisés qui sont désormais chargés d'évaluer les contenus potentiellement illégaux avant qu'ils ne soient diffusés.
Meta n'a pas précisé si les publicités en question avaient passé le filtre à cause de ses algorithmes. Ce qu'elle a dit, en revanche, c'est ceci :
« Aucun système n'est parfait, et notre processus de vérification peut ne pas détecter toutes les violations de nos règles. »
Aucun système n'est parfait. Sur des publicités pour l'exploitation sexuelle d'enfants. Vous m'avez bien lu.
Meta a déjà licencié environ 20 % de ses effectifs cette année. Une part significative de ces postes a été confiée à des agents IA. L'entreprise se présente elle-même comme le cas d'usage idéal de ses propres outils pour réduire les coûts salariaux.
Bilan.
Ce n'est pas un bug isolé. C'est une série.
Le mois dernier, plus de 20 000 comptes Instagram ont été piratés. Comment ? Un groupe d'utilisateurs avait découvert qu'il suffisait de convaincre l'agent de support IA de Meta de leur accorder l'accès à des comptes, sans fournir la moindre preuve d'en être le propriétaire légitime. Meta dit avoir depuis colmaté la brèche.
Très bien. Pendant combien de temps ça a duré, personne ne le sait vraiment.
Et ce n'est pas tout. Wired a révélé la semaine dernière que Meta utilisait une armée de sous-traitants se faisant passer pour des mineurs en ligne afin de tester comment les chatbots concurrents répondaient à des questions portant sur le suicide, le sexe ou les troubles alimentaires. Meta a présenté ça comme de la « recherche standard ». Libre à vous de juger.
De son côté, Reuters rapportait que Mark Zuckerberg lui-même a reconnu devant ses équipes que le développement des agents IA ne progressait pas aussi vite que prévu, et que les récentes suppressions de postes n'avaient pas encore produit les bénéfices escomptés. The Information signale par ailleurs que Meta a imposé des restrictions sur l'usage des tokens IA, les coûts ayant explosé.
On vend une révolution. On gère une ardoise.
Le problème n'est pas technique. Il est de priorité.
Les autorités indiennes ont demandé des explications à Meta sur la défaillance de ses systèmes de vérification publicitaire. Ce qui est frappant dans cette affaire, ce n'est pas qu'un algorithme ait raté quelque chose. Les algorithmes ratent. Ce qui est frappant, c'est la réponse initiale : ça ne viole pas nos règles.
Ce n'est pas une erreur de machine. C'est une erreur de définition. Quelqu'un, quelque part dans la chaîne de décision de Meta, a configuré un système qui ne reconnaissait pas les publicités pour l'abus sexuel sur enfants comme un problème.
Pendant ce temps, Meta explore des offres d'infrastructure cloud pour monétiser ses data centers en expansion, cherche de nouveaux débouchés pour rentabiliser son investissement IA massif, et tente de convaincre des clients tiers de lui confier leur propre modération automatisée.
Des gosses en Inde achetaient des vidéos d'abus pour un dollar. Via une pub Facebook.
À nous d'exiger mieux. À nous de ne pas laisser passer ça avec un communiqué de trois lignes. À nous de poser la question qui fâche : si les humains avaient encore modéré ces contenus, est-ce que ces publicités auraient passé la première vérification ?
À très vite,
SJ
