01. Demandes interdites
Au cours de l’année écoulée, quiconque passe du temps avec de grands modèles linguistiques s’est probablement heurté à ce qu’on appelle une « politique de sécurité ». Vous tapez une invite – parfois légèrement suggestive, parfois simplement visuellement expressive – et vous attendez un résultat créatif. Au lieu de cela, vous recevez un message de refus.
Cela ressemble généralement à ceci : "Désolé, votre demande enfreint notre politique de sécurité."
Que vous utilisiez ChatGPT, Gemini, ou d'autres modèles majeurs, le résultat est souvent le même : le système refuse catégoriquement. Même les systèmes de génération d’images bloqueront les sorties violentes ou à thème adulte.
Pour les utilisateurs, cela peut avoir l'impression d'aller dans un restaurant haut de gamme et de commander des plats épicés, pour ensuite se voir servir des légumes bouillis nature avec l'explication : "Pour votre sécurité, nous ne servons pas de plats épicés."
Cela soulève une question simple : pourquoi les systèmes d’IA les plus puissants d’aujourd’hui, capables de rédiger des essais, de résoudre des mathématiques et de générer des images, deviennent-ils si restrictifs lorsqu’il s’agit de contenu NSFW ?
02. Deux mondes : plateformes fermées et écosystèmes open source
Modèles commerciaux en source fermée : le « parc à thème géré »
Considérez des entreprises comme OpenAI ou Google comme les exploitants d’un immense parc à thème soigneusement géré. Ils ont investi d’énormes ressources pour créer un environnement sûr et fiable auquel des millions d’utilisateurs peuvent accéder chaque jour.
Imaginez maintenant qu'un visiteur se comporte soudainement de manière inappropriée au milieu du parc : ignorant les règles, s'exposant ou causant du mal aux autres.
Du point de vue de l’opérateur, la réponse est immédiate : supprimer l’utilisateur. S’ils n’agissent pas rapidement, les régulateurs pourraient intervenir, la confiance du public pourrait s’effondrer et l’ensemble de l’entreprise pourrait être en danger.
C’est la réalité à laquelle sont confrontés les fournisseurs commerciaux d’IA. Pour eux, le contenu NSFW n’est pas seulement un problème technique : c’est un risque juridique, de réputation et financier.
En conséquence, la plupart des entreprises adoptent une stratégie simple : il vaut mieux trop bloquer que laisser passer quelque chose de catastrophique.
Modèles open source : le « far west »
De l’autre côté se trouve l’écosystème open source (par exemple, Stable Diffusion et les modèles associés). Une fois les poids des modèles publiés, n'importe qui peut les exécuter localement, les modifier et supprimer complètement les filtres de sécurité.
Cela crée un environnement très différent : plus flexible, plus expérimental, mais aussi moins contrôlé.
03. Comment les systèmes d'IA restreignent le contenu NSFW
On croit souvent à tort que la sécurité est mise en œuvre avec de simples filtres par mots clés, tels que :
if (contains_sensitive_words) {
reject_request;
}
En réalité, les systèmes de sécurité modernes sont superposés et beaucoup plus complexes.
Couche 1 : Filtrage de pré-génération
Avant qu’une invite n’atteigne le modèle, elle est souvent évaluée par un système de modération distinct. Si l'entrée est signalée comme risquée, elle est immédiatement bloquée et n'atteint jamais le modèle principal.
Après la génération, des filtres supplémentaires peuvent également analyser la sortie avant qu'elle ne soit présentée à l'utilisateur. Si le contenu est considéré comme dangereux, il est bloqué ou supprimé.
Cela inclut la détection de la nudité, de la violence et d’autres catégories sensibles.
Couche 2 : RLHF (Apprentissage par renforcement à partir de la rétroaction humaine)
Un mécanisme plus important est le RLHF, qui aligne le comportement du modèle sur les attentes humaines.
Pendant la formation, le modèle reçoit à plusieurs reprises des exemples de réponses et est classé par des évaluateurs humains. Les sorties qui violent les règles de sécurité reçoivent un retour négatif, tandis que les réponses sûres et appropriées sont récompensées.
Au fil du temps, le modèle apprend à éviter certains schémas. Il développe une tendance interne à refuser les demandes sensibles ou à répondre sur un ton prudent et neutre.
04. Le coût de l’alignement : le « refus excessif »
Ce processus d’alignement strict comporte un compromis, souvent appelé « taxe d’alignement ».
Pour éviter les sorties nuisibles, les modèles sont formés pour éviter tout ce qui ressemble même à un contenu sensible. Cependant, cela peut aussi les rendre trop conservateurs.
Par exemple, un modèle pourrait refuser :
- Références artistiques impliquant la nudité, même dans des contextes historiques
- Discussions médicales ou anatomiques qui mentionnent la violence
- Scènes de fiction impliquant le tabagisme ou d'autres comportements à risque
En conséquence, le système devient parfois moins flexible et moins utile pour des tâches créatives ou éducatives légitimes. Ce phénomène est souvent décrit comme refus excessif.
05. Deux voies : systèmes contrôlés ou liberté ouverte
L’écosystème de l’IA s’est effectivement divisé en deux directions.
Les systèmes fermés donnent la priorité à la sécurité, à la conformité et à la protection de la marque. Ils sont étroitement contrôlés, fortement filtrés et conçus pour minimiser les risques.
Les systèmes open source donnent la priorité à la flexibilité et au contrôle des utilisateurs. Les utilisateurs peuvent modifier librement les modèles, mais doivent également assumer la responsabilité de la manière dont ils sont utilisés.
Dans un cas, vous vous trouvez dans un environnement hautement réglementé. Dans l’autre, vous opérez effectivement dans un espace informatique sans restriction.
06. Pensées finales
Le débat sur le contenu NSFW dans l’IA reflète une tension plus profonde : l’équilibre entre la liberté d’expression et le contrôle des risques sociétaux.
Les systèmes d’IA eux-mêmes n’ont aucune moralité. Ce sont des modèles statistiques entraînés sur des données. Ce qu’ils sont autorisés à générer est entièrement déterminé par les choix de conception humaine et les contraintes politiques.
À mesure que les systèmes deviennent plus puissants, ces contraintes deviennent plus strictes, non pas parce que les modèles sont « moralement conscients », mais parce que les conséquences d’un échec deviennent plus graves.
En bref: les limites de l’IA reflètent les limites de la société elle-même.
Les discussions futures porteront probablement non seulement sur ce que l’IA peut faire, mais également sur la manière dont les utilisateurs tentent de contourner ces contraintes grâce à une ingénierie rapide et au « jailbreak ».