01. 禁止されるリクエスト
この1年、大規模言語モデルを使っていて「安全ポリシー」に阻まれた人は多いはずです。少し刺激のある内容や、単に視覚表現にこだわったプロンプトを入力し、創造的な出力を待つ。ところが返ってくるのは、リクエストを拒否するメッセージです。
よく表示されるのは、次のような文言です。「申し訳ありませんが、そのリクエストは安全ポリシーに違反しています」
ChatGPTでもGeminiでも、ほかの主要モデルでも、結果はたいてい同じです。システムはリクエストを全面的に拒否します。画像生成システムでも、暴力や成人向けの内容はブロックされます。
利用者からすれば、高級レストランで辛い料理を注文したのに、味のない温野菜だけを出され、「安全のため、当店では辛い料理を提供していません」と説明されるようなものです。
ここで素朴な疑問が浮かびます。文章を書き、数学の問題を解き、画像まで生成できる現在の高性能なAIが、なぜNSFWコンテンツになると、これほど厳しく制限されるのでしょうか。
02. 2つの世界：クローズドなプラットフォームとオープンソースのエコシステム
クローズドソースの商用モデル：「管理されたテーマパーク」
OpenAIやGoogleのような企業を、巨大なテーマパークの運営会社だと考えてみましょう。膨大な資源を投じ、数百万人が毎日利用できる、安全で安定した環境を整えています。
その園内で、来場者の1人が突然、ルールを無視して身体を露出したり、ほかの人に危害を加えたりと、不適切な行動を取ったとします。
運営側が取る対応は明快です。その利用者を直ちに退場させます。迅速に対処しなければ、規制当局が介入し、社会からの信用を失い、事業全体が危機にさらされかねません。
商用AIの提供企業が直面しているのも、これと同じ現実です。NSFWコンテンツは単なる技術上の問題ではありません。法的リスク、評判への悪影響、金銭的損失につながる問題です。
そのため、多くの企業は単純な方針を採ります。深刻な問題を一度でも見逃すより、必要以上にブロックするほうがよいという判断です。
オープンソースモデル：「西部開拓時代」のような世界
その対極にあるのが、Stable Diffusionとその関連モデルなどを含むオープンソースのエコシステムです。モデルの重みが公開されれば、誰でもローカル環境で動かし、改変し、安全フィルターを完全に外せます。
そこには、商用サービスとはまったく異なる環境が生まれます。自由度が高く、実験もしやすい一方、管理は行き届きません。
03. AIシステムはNSFWコンテンツをどう制限しているのか
安全対策は、次のような単純なキーワードフィルターで行われていると思われがちです。
if (contains_sensitive_words) {
reject_request;
}
実際の安全対策は何層にも分かれており、はるかに複雑です。
第1層：生成前のフィルタリング
プロンプトがモデルに届く前に、別のモデレーションシステムで内容を判定する場合があります。入力に危険性があると判断されれば、その場でブロックされ、メインのモデルには送られません。
生成後も、利用者に表示する前に別のフィルターが出力を検査することがあります。安全でないと判断された内容は、ブロックまたは削除されます。
検出対象には、ヌード、暴力、その他のセンシティブなカテゴリーが含まれます。
第2層：RLHF（人間のフィードバックによる強化学習）
さらに重要な仕組みがRLHFです。モデルの振る舞いを、人間が期待する方向へ調整します。
学習中、モデルには回答例が繰り返し提示され、人間の評価者が順位を付けます。安全規則に反する出力には否定的なフィードバックを与え、安全で適切な回答には報酬を与えます。
これを重ねるうちに、モデルは特定のパターンを避けるようになります。センシティブな依頼を拒否したり、慎重で中立的な口調で答えたりする傾向が、モデルの内部に形成されるのです。
04. アライメントの代償：「過剰拒否」
こうした厳格なアライメントには、「アライメント税」と呼ばれるトレードオフがあります。
有害な出力を防ぐため、モデルはセンシティブな内容に少しでも似ているものを避けるよう学習します。その結果、必要以上に保守的になることもあります。
たとえば、次のような依頼まで拒否する場合があります。
- 歴史的な文脈であっても、裸体を含む美術資料
- 暴力への言及がある医学・解剖学上の議論
- 喫煙などの危険な行動を含むフィクションの場面
そのため、本来は正当な創作や教育目的の作業でも、柔軟性や有用性が損なわれることがあります。この現象は過剰拒否と呼ばれます。
05. 2つの道：管理されたシステムと開かれた自由
AIのエコシステムは、実質的に2つの方向へ分かれています。
クローズドなシステムが重視するのは、安全性、法令や規則の順守、ブランドの保護です。厳しく管理し、何重ものフィルターをかけ、リスクを最小限に抑える設計を取ります。
オープンソースのシステムが優先するのは、柔軟性と利用者による管理です。利用者はモデルを自由に変更できますが、使い方にも自ら責任を負わなければなりません。
一方は規制の厳しい環境の内側。もう一方は、実質的に制限のないコンピューティング空間です。
06. まとめ
AIにおけるNSFWコンテンツをめぐる議論の根底には、表現の自由と社会的リスクの管理をどう両立させるかという、より深い対立があります。
AIシステム自体に道徳観はありません。データで学習した統計モデルにすぎません。何を生成してよいかは、人間による設計上の判断とポリシー上の制約だけで決まります。
システムの性能が高まるほど、制約は厳しくなります。モデルが「道徳を理解している」からではありません。失敗したときの影響が、より深刻になるからです。
端的に言えば、AIの境界線は、社会そのものの境界線を映しています。
今後は、AIに何ができるかだけでなく、利用者がプロンプトエンジニアリングや「ジェイルブレイク」を使い、こうした制約をどう回避しようとするのかも議論の焦点になるでしょう。