AI の自己修正

生成 AI を取り入れることが成果を上げるうえでますます重要になっています。特に、競合他社が同じようにワークフロー、翻訳、コンテンツの制作や最適化に生成 AI を取り入れようとしている状況ではなおさらです。生成 AI を使用するうえで重要な要素の 1 つがその「自己修正」能力です。残念なことに、大規模言語モデル (LLM) は現時点でいくつかの要因により、不正確な出力を生成することがあります。LLM のトレーニングに使用されるデータに、問題のある情報や誤った情報が含まれる場合があるためです。また、AI ツールは情報を「捏造」することもあり、これは一般的に「ハルシネーション」と呼ばれます。初期段階のプロンプトに「自己修正」の対策を取り入れることで、AI の出力におけるこうした問題に対処することが可能です(これを「自己評価」や「自己調整」と呼ぶ専門家もいます)。納品の前に LLM に自身の出力内容をレビューさせ、回答の精度を高めるテストがさまざまな研究で進められています。今回のブログ記事では、AI ソリューションに自己修正能力を実装する (または AI ソリューション プロバイダーに自己修正能力を実装してもらう) ためのさまざまな手法や、自己修正能力に関連する制約事項について詳しく説明します。

AI による自己修正の一般的な手法

ここでは、AI に自己修正能力を実装するうえで現在よく使用されている 4 つの方法を紹介します。

1. 精度重視のプロンプト: 一連のプロンプトの中に精度 (正確性) に焦点を当てたプロンプトを加えておくと有効な場合があります。X に投稿された一般的な例を紹介します。( ) 内はこのプロンプトの参考訳です。

2. AI ツールを専門家に仕立てる: 不正確な回答を回避する方法の一つとして、AI ツールを「間違える可能性の低い」専門家に仕立てる方法があります。GitHub の開発者たちをはじめ、多くのユーザーや AI サービス プロバイダーが、 AI ツールに対して、専門家 (エキスパート) のように振る舞うように指示するプロンプトを作成しています。ここで、最良の「エキスパート」ペルソナとは、広く受け入れられているベスト プラクティスに最も精通した人物を指します。あまりに漠然とした指示では、AI ツールによるハルシネーションが生じる可能性があります。たとえば、「You’re an excellent career counselor 」(あなたは優秀なキャリア カウンセラーです) だけでは不十分です。プロンプトには、キャリア カウンセラーが通常従うベスト プラクティスに関するガイダンスが含まれている必要があります。答えがわかっているタスクについて一連のプロンプトをテストしてみることも重要です。こうすることで、エキスパート ペルソナのプロンプトをどのように最適化すべきかを判断しやすくなります。タスクの種類によっては、エキスパート ペルソナのプロンプトを複数回繰り返すイテレーションを作成してみるのも効果的です。GitHub の開発者たちは、AI をエキスパート アシスタントにするために使用した一連のプロンプト 15 種類のリストを作成しました。同様のことを行っている人はほかにもいますが、こちらのリストはとてもよくまとまっています。

3. 「プレホック」または「ポストホック」のプロンプトを追加する: AI の出力のスタイルを修正するプロンプトを追加できます。フォーマルまたはカジュアルな内容や、高度な教育を受けた人々またはそれ以外の人々向けなど、状況や対象層に応じてさまざまなスタイルが求められます。出力の生成後に追加されるプロンプトは「ポストホック プロンプト」と呼ばれます。Google の DeepMind による最近の研究プロジェクトによると、同程度に強力なプレホック プロンプトとポストホック プロンプトを使用した場合に最善の結果が得られています。

4. バイアスに対処するプロンプトを使用する: LLM のトレーニングに適切なデータが使用されなかった場合、インターネット上に悪意のあるコンテンツをばらまく多くの人々のバイアスが反映された回答が出力されることがあります。AI 研究機関、Anthropic の最近の研究によると、RLHF (人間のフィードバックによる強化学習) を利用することで、人種差別、年齢による差別、女性蔑視などを含まない (またはそのような要素が少ない) 出力を生成するように LLM をトレーニングできます。チームで定めた一般的な倫理原則を考慮するように、AI の「憲法」に指示を含めます。このプロセスには、有害な偏見や考え方に依存しないよう LLM に指示するラインをプロンプトに組み込むことも含まれます。場合によっては、AI ツールがその出力において「積極的に差別」し始める様子も確認されており、その度合いが予想を超える場合もあります。

AI の自己修正能力に関する制約事項

AI の自己修正が非常に役立つ場合もありますが、それに制約もあることが研究で明らかになっています。同じ Google DeepMind の研究では、自己修正能力を利用することで LLM のパフォーマンスが低下する場合があることも明らかになっています。パフォーマンスが損なわれない場合でも、自己修正能力はどの AI プロンプトでも一貫して有効というわけではありません。特に、外部の情報源 (カリキュレーター、コード実行ツール、ナレッジベースなど) が使用されていない場合にはその傾向が高くなります。自己修正において最適な結果を得るには、基本的な真実が組み込まれた、ベンチマーク済みのデータセットが必要です。それらを参照することにより、AI ツールはどこで推論のプロセスを停止すべきかを判断でき、出力の過剰な修正を回避できます。もちろん研究者たちは、タスクが複雑すぎて、そのような参照資料を AI ツールに提供できない場合があることを指摘しています。

同じ研究において、マルチエージェントの LLM アプリケーションが使用された場合に、AI の自己修正に別の制約が生じることも明らかになっています。LLM には、複数のタスクを別々の「エージェント」(アクタ) として実行することが求められます。

問題が生じるのは、複数のエージェントが多数決の仕組みを使って、どの回答が正しいかを判断することが原因です。これにより、真に的確な回答が生成されるのではなく、「エコー チェンバー現象」あるいは「自己整合性」と呼ばれる状態に陥ります。

人間参加型 (ヒューマンインザループ) アプローチのメリット

AI の自己修正能力に制約があることは、人間参加型アプローチの重要性を示唆しています。AI ツールによって翻訳の効率性は向上しますが、ほとんどの場合は人間の介入がある程度必要になります。たとえば、人間が最適なプロンプトを作成したり、初期のサンプルをチェックしたり、最終的な出力をレビューしたりする必要があります。自己修正能力がプロセス全体を向上させる一助となる可能性はありますが、人間参加型のアプローチに取って代わることにはなりません。

そのため、当社のような AI コンサルティングに精通した専門家チームの協力が不可欠です。AI トラストの問題に対処することができ、以下の要件を満たすことのできる専門家を選びましょう。

• 信頼できない、品質の低いコンテンツ/出力のリスクを最小限に抑えることができる

• サイバー攻撃やさまざまなセキュリティ侵害に対してデータのセキュリティを確保できる

• 独創的なアイデアを持ち、魅力的で独自性のある新規コンテンツや出力の作成を支援できる

• 特に高度な知識や専門性が必要な複雑な内容について、正確性をチェックして修正することができる

• 不要なテクノロジーやソリューション、サブスクリプションを売り込むことがない

• プロセス全体の情報を共有し、全体を通じて意見やフィードバックを積極的に受け入れて、カスタマイズにも対応できる

お問い合わせ

コンテンツの制作、Web サイト コンテンツの最適化、その他の言語サービスの自動化に AI を活用する方法について詳しくは、当社までお問い合わせください。AI に精通した当社の専門家チームがお客様をサポートいたします。ぜひご相談ください。