Des nouvelles des IA : Grok et les images CSAM générées, Réactions à la publication du 16/01/2026

[Paul Emploi]

Oui moi, je n'ai pas mis ma photo dans le bain...

Nous avons Grok, l'IA de X/Twitter, qui fait des images évidemment fake, tout à la fois de personnes adultes pour du "revenge porn" (habituellement se "venger" d'un ex-partenaire, ce qui est du harcelement sexuel) qui sont souvent diffusées sur Internet, ou transmis à des proches (tout aussi dégueulasse), mais aussi des images de mineurs dans des postures ou des actes sexuels, là aussi diffusées ou conservées de manière privée.

CSAM signifie pédo-pornographie. On en est là. Générée par une IA. Par Grok !

Autant vous dire que je suis extrêmement choqué, le mot est faible, je ne peux écrire vraiment ce que j'en pense. Depuis que j'ai 10ans je connais ce monde.
Je n'ai pas essayé : "À manger avec le diable, la fourchette n’est jamais trop longue".

Des gouvernements et leurs agences sont en train d'examiner cela.
On doit mettre fin à ces exactions. Quitte à virer Grok partout. Aucune excuse. Aucun pardon.

Quand va-t-on rendre les créateurs des IA responsables des crimes de leurs créations ?!?
Notez que ça vaut aussi pour Google Gemini et ses officiers nazis noirs... En attendant Siri.
Le "code" n'est pas une excuse, pas plus qu'avoir suivi les ordres l'a été !

Lien vers le billet original

[DiarOne]

Cela ne m'étonne guère...

X (ex Twitter) est une plateforme ou la haine est la discrimination n'est pas modérée, ou les gens crachent leur venin pour un oui ou non... Des dérives dans tous les sens.

J'y reste par obligation pro et associatif, mais quelle plaie ce réseau.

Ce message a été modifié par DiarOne - 16 Jan 2026, 17:15.

[Paul Emploi]

Je sépare X/Twitter de Grok. Ça n'a rien à voir.
L'un est pour la liberté d'expression, de toutes les expressions, même celles qui ne nous plaisent pas, l'autre créé des images pédo-pornographiques ainsi que du "revenge porn". La pédopornographie n'est ni de droite ni de gauche, c'est à vomir tout simplement.
C'est disjoint pour moi.

[hyokz]

Bonjour,

Je partage l'indignation sur les sujets problématiques.
Mais je trouve que tu fais un amalgame entre l'outil et la personne qui l'utilise. Si je prends mon couteau de cuisine ou ma voiture pour aller tuer des gens, faut-il blâmer le fabricant ou l'outil lui-même ?
De plus, les LLMs sont par nature non déterministes. On ne peut pas prédire ni contrôler parfaitement toutes leurs sorties. Faut-il alors bannir tous les modèles d'IA générative ? Interdire Photoshop parce qu'on peut truquer des photos ? Interdire Internet parce qu'on y trouve du contenu illicite ?

[Paul Emploi]

Bonjour,

Je partage l'indignation sur les sujets problématiques.
Mais je trouve que tu fais un amalgame entre l'outil et la personne qui l'utilise. Si je prends mon couteau de cuisine ou ma voiture pour aller tuer des gens, faut-il blâmer le fabricant ou l'outil lui-même ?
De plus, les LLMs sont par nature non déterministes. On ne peut pas prédire ni contrôler parfaitement toutes leurs sorties. Faut-il alors bannir tous les modèles d'IA générative ? Interdire Photoshop parce qu'on peut truquer des photos ? Interdire Internet parce qu'on y trouve du contenu illicite ?

J'adhère a une part de ce que tu dis, l'outil, où un couteau de cuisiner peux tuer, ou créer soi-même des images pédo-pornographiques avec Photoshop.

Sauf que là, le créateur n'est pas l'utilisateur, le créateur est l'IA Grok.
Si je te demande de générer des contenus illégaux, tu vas refuser.
Si je le demande à Grok, il va les générer.

[malloc]

Bonjour,

Je partage l'indignation sur les sujets problématiques.
Mais je trouve que tu fais un amalgame entre l'outil et la personne qui l'utilise. Si je prends mon couteau de cuisine ou ma voiture pour aller tuer des gens, faut-il blâmer le fabricant ou l'outil lui-même ?
De plus, les LLMs sont par nature non déterministes. On ne peut pas prédire ni contrôler parfaitement toutes leurs sorties. Faut-il alors bannir tous les modèles d'IA générative ? Interdire Photoshop parce qu'on peut truquer des photos ? Interdire Internet parce qu'on y trouve du contenu illicite ?

Exactement.
A force de prendre les IA génératives pour Skynet, on finit par leur prêter des intentions.

En France, on a réglé le problème de manière brutale, mais efficace: produire ou diffuser une représentation graphique d'acte pédopornographique est répréhensible, quelle que soit la manière utilisée, et même si la personne n'est pas réelle. C'est vrai pour le fait de prendre des photos, mais aussi des produire un photomontage. Ca va jusqu'au fait de les dessiner, et couvre bien entendu la génération par IA.

L’article 227-3 du Code pénal fait débat, parce que certains arguent qu'il vaut mieux que les violeurs en puissance "se calment" sur des représentations que passent à l'acte. Mais en tout cas, il existe, et il est clair.

Donc dans le cas présent, il y a génération de l'image par l'utilisateur (Grok n'est pas plus auteur que photoshop ou qu'un stylo), mais aussi diffusion par Grok. Qui aurait des moyens techniques de l'empêcher. Donc ça retombe sous le coup du 227-3.

[Cronos]

virer le réseau X et Musk et Trump avec

[cboudier]

J'adhère a une part de ce que tu dis, l'outil, où un couteau de cuisiner peux tuer, ou créer soi-même des images pédo-pornographiques avec Photoshop.

Sauf que là, le créateur n'est pas l'utilisateur, le créateur est l'IA Grok.
Si je te demande de générer des contenus illégaux, tu vas refuser.
Si je le demande à Grok, il va les générer.

Est-ce que ce pourrait-être un choix délibéré de non-prise de responsabilité ?

Si le fabricant du couteau « s’engage » à ce qu’il ne puisse pas couper de « viande », et que quelqu’un y arrive quand même, alors le fabricant peut être impliqué (oui je sais, cet exemple est débile ). Et les lois n’étant pas les mêmes partout, ça devient vite compliqué de toutes les appliquer.
S’il ne s’engage à rien et met seulement en garde (cf. la prolifération des mentions sur certains produits et dans certains pays), il reporte sur l’utilisateur la responsabilité (du moins il fait tout ce qu’il peut pour ça).
Si c’est bien comme ça que ça fonctionne (c’est une question, je n’en sais rien), alors les éditeurs d’IA n’ont aucun intérêt à mettre des verrous qui les engagent s’ils n’y sont pas contraints.
Certains objets dangereux sont encadrés par la loi (armes ou assimilées). Au delà (ou en sus) c’est le comportement des personnes qui est encadré par la loi (e.g. si je demande à mon logiciel de messagerie de diffuser des images interdites, il va le faire).

Cette question de (partage de) responsabilité se retrouve déjà du côté des voitures ayant un mode de conduite autonome (qui a déjà causé des morts). Les constructeurs se sont déchargés de leur responsabilité en précisant que le conducteur doit garder la maîtrise du véhicule (ce que dit aussi la loi française). Dans certains cas, des pannes sont la cause des accidents —> le partage des responsabilités n’est pas simple : le conducteur reste responsable, mais comme il ne pouvait pas agir librement, il doit se retourner contre le constructeur…

Ce message a été modifié par cboudier - 17 Jan 2026, 10:19.

[Paul Emploi]

Évidemment il y a une responsabilité énorme de l'utilisateur.

Mais quand on met des outils entre les mains des gens, on s'assure qu'ils soient les plus sûr possibles, y-compris en cas d'erreur de manipulation ou de manipulation dangereuse.
Dans ce cas précis, on aurait attendu des garde-fous du coté de Grok.

Il y a aussi un autre problème: les IA ne créent pas, elles se "souviennent" de ce qui devrait statistiquement apparaître.
Comment se fait-il que Grok ai été alimenté avec du contenu pornographique?!?

[glyoscar]

l'IA est un outil, comme tout outil, on peut l'utiliser dans l'usage initialement prévu, ou pas
Apres c'est une interprétation purement morale, subjective, et sociétale
L'appréciation que l'on donne a son usage est personnelle, l'IA ayant été conçu par des humains, aucune limite a ce que l'outil réponde a la sollicitation humaine, et cela rendrait l'outil complètement incomplet, si on lui interdisait de faire ceci ou cela, voir idéologiquement oriente
Donc de mon point de vu il faut laisser l'IA construire les monstruositées les plus abominables, Sinon l'outils est un outil bancale
Seul le concepteur et le client de cette production sont coupables.
On produits des autos dont la puissance est sans commune mesure avec l'usage courant de l'objet en question
On a clairement identifié l'excès que son usage au delà des normes établies pouvait amener, et pourtant tout les jours on en observe le résultat mortifère
Cela n'empêche pas toute une catégorie de gens de revendiquer la liberté d'utiliser ce type d'objet, et n'essayer pas de les en empêcher
Malgres les milliers de morts annuel en France, des véhicules continuent d'afficher des dizaines, des centaines de chevaux complètement inutiles au déplacement d'un point A vers un point B
Écologiquement nuisible et potentiellement mortel
C'est la logique du monde d'aujourd'hui, l'IA appartient a cette définition, et peut importe qui fait quoi
Si quelqu'un sait comment faire évoluer cet état d'esprit qui ne date pas d'aujourd'hui, merci de préciser les recettes