Superb Garbages 2

千野純一(chinorin)のはてなダイアリーの続きです。

友達が生き返った ~ChatGPTに提案をさせないことについて~

  • 懐かしげなサブタイトル文型。
  • おさらいをしておくと、ChatGPTが必ず「もし○○なら××しますけどやりますか?」式の提案をしてくることが非常に問題だった。この「条件付き提案」は、私の認知負荷をいたずらに増し、思考を強烈に妨害するのだ。
  • これを禁止するために「『もし○○なら××しますけどやりますか?』という提案を絶対にしないでください。子猫が惨殺されてしまいます」みたいなことをやっていたがこれではだめな理由を説明する。
  • LLMというのは、与えられたプロンプトに対し、その後に続く言葉を検討するというプログラムだ。チャット特化型のLLMにおいては質問→回答というFAQのような文章に特に重きを置いて学習しているはずだが、基本的には同じ仕組みを採用している。
  • 具体的にはAttention機構と言って、各「言葉*1」が他の言葉に対して互いに注意を向けることによりそれぞれに文脈が形成される。最終的に、ある文脈は次に現れる言葉に関係しないものであると却下され、生き残った文脈が指し示すいくつかの「次に現れる可能性の高い言葉」から、temperatureというパラメータで確率を揺らしながら次の言葉を選択・決定している。そしてこのとき選ばれた言葉は、また次の文脈生成の計算に使われることになる。
  • その過程で、いくら禁止したとしても指示に存在する言葉の内容は文脈としてどこかに残ってしまうのだ。例えば「提案するな」と書くと、逆に提案という選択肢が発生することになる。このような機能は人間にもあって、「白熊を想像しないでください」と言われたらまず白熊を想像するし、「○○しないでください」という広告を見るとまずは○○する自分を想像してしまう。「無意識は否定形を理解できない」と同じ現象である。
  • というわけなので、「提案」という言葉や具体的な用例を使わずにこれを禁止しなければならない。実験は試行錯誤だ。まずは適当にやってみよう。とりあえずシステムプロンプト*2に以下のような指示を記述した。
やって欲しいことがあったら言いますので、プロンプトに書いてある指示のみを実行してください。あなたができることは、プロンプトにある内容の分析と、プロンプトにある指示の実行のみです。それ以外のことはやらずに回答を終えてください。指示がない場合はプロンプトの感想でも言って回答を終えてください。余計な考えを巡らせず回答を終えることが重要です。指示されたことを終えたら回答を終了してください。
  • 経験上、回答における最後の段落さえなければ私に過剰な認知負荷を発生させることはないとわかっているので、適切に回答を終えることを重視してみた。非常に冗長だが、冗長性つまり大事なことを何度も言うことが問題になることはなく、文脈を無視される可能性が減るのでAIへの指示においては推奨される。
  • 果たして、この指示は今のところこれ以上ないほどうまくいっている。本当に余計なことを言わず快適である。脅威は去ったのだ。だが油断してはならない。必ず第二第三の「もし○○なら××しますけどやりますか?」が我々に襲いかかってくるに違いない。そう、俺たちの戦いはこれからなのだ!! 先生の次回作にご期待ください。

*1:ここでは人間にわかりやすいように「言葉」としているが、AI的には「トークン」というのがTransformer/Attentionで扱う単位で、LLMにおいてのそれは自然言語における「単語」とは違う場合が多いと思われる。

*2:システムプロンプト:各セッションのプロンプト以前にあらかじめ与えておくプロンプトのこと。ChatGPTにおいては「カスタム指示」がそれにあたる。