AIで書く役と検査する役を分ける｜同じAIが書いて検査すると見逃す

AIに記事を書かせて、同じAIに「問題がないか確認して」と頼むと、ほとんどの場合「問題ありません」と返ってきます。それでも公開してみると、根拠のない主張や、前の指示と矛盾した構成が残っています。

結論から書きます。AIに記事を書かせるときは、書く役と検査する役を別のAIに分けます。同じAIが続けて自分の出力を検査すると、自分が書いた前提をそのまま正しいとみなします。別のAIに、別の資料だけを渡して検査させると、書く側が見ていなかった矛盾が出てきます。

ただし、検査役の報告をそのまま使ってはいけません。検査役の指摘は「候補」であって「事実」ではありません。重大な指摘ほど、親の役が一次記録に戻って確かめてから採用します。

この記事は、散らかったサイトをAIで作り変えるマニュアルの「前提」の最後の作業です。ここで役を分けておくと、以降の修正と公開の作業で、間違いが本番に出る前に止まります。

この作業で決まること

この作業が終わると、AIに任せる仕事を「書く」「検査する」「判断する」の3つの役に分けることが決まります。

書く役：記事や修正案を作る。前提ファイルを全部読む
検査する役：書く役が作ったものを、別の資料で照合する。前提ファイルは読むが、書く役の思考過程は読ませない
判断する役：検査結果を一次記録で確かめ、公開するか直すかを決める（人、もしくは最上位のモデル）

3つを1つのセッションで混ぜると、検査が形だけになります。

前提：この記事の前に必要なもの

AIに渡す4つの前提がファイルとして置かれていること
AIの作業記録を残す仕組みがあること
書く役と検査する役で、違うAI、もしくは少なくとも違うセッションを立ち上げられること

AIに渡すもの

役ごとに、渡す資料を変えます。

書く役に渡すもの：戦略1枚、今のデータ、判断の基準、禁止事項、根拠にする一次記録
検査する役に渡すもの：禁止事項、判断の基準、書く役が「根拠にした」と宣言した一次記録のファイル名。書く役が作った原稿と、根拠ファイルだけを照合させる
判断する役に渡すもの：検査する役の報告と、報告が参照している一次記録そのもの

検査する役に、書く役の思考過程や、書く役が読んだ全部のファイルを渡さないことがポイントです。渡すと、検査役は書く役の前提を引き継ぎ、同じ見落としをします。

なぜ同じAIで検査すると見逃すのか

セッションの途中で「この原稿に問題がないか確認して」と頼むと、AIはそのセッションで自分が組み立てた前提を正しいものとして扱います。自分の前の発言と矛盾を起こしたくない力が働きます。

別のセッション、できれば別の種類のAIに、原稿と根拠ファイルだけを渡すと、この引き継ぎが切れます。見るのは「原稿に書かれていることが、根拠ファイルから出せるか」だけです。書く役がどう考えたかは関係ありません。

私が自分のサイトで、別の2種類のAIに同じ主題で意見を出させる実験をしたとき、同じ系統のAIでも「資料ありで動く側」と「資料なしで動く側」で、まったく違う角度の指摘が出ました。資料の見せ方で出力の質が変わるという経験から、書く役と検査する役では見せる資料を意図的にそろえないようにしています。

手順

書く役のセッションを立ち上げ、前提ファイルと根拠ファイルを渡して原稿を作らせる
書く役に、原稿の末尾へ「根拠にしたファイル名」を書かせる
検査する役のセッションを、別に立ち上げる（別のAI、もしくは少なくとも新しいセッション）
検査する役には、原稿と、書く役が宣言した根拠ファイルだけを渡す
検査する役に「原稿の主張のうち、根拠ファイルに書かれていないものを一覧にする」と頼む
判断する役が、検査する役が挙げた各指摘について、根拠ファイルを自分で開いて確かめる
書かれていなかった主張は、根拠を足すか、文を落とす
直した後の原稿で、もう一度3から繰り返す

6番目を省くと、検査役の誤報がそのまま修正指示に流れます。次の「失敗」で理由を書きます。

完了条件

☐ 書く役と検査する役が、別のセッション（できれば別のAI）になっている
☐ 検査する役には、書く役の思考過程を渡していない
☐ 検査する役の指摘を、親の役が一次記録で1件ずつ確かめている
☐ 根拠が無かった主張は、根拠を足すか、落としている

実際に起きた失敗

監査役の「重大」判定を、確かめずに受け取りそうになった

勤務先のサイトのリポジトリ全体を、監査用のサブエージェントを3体並列で立ち上げて点検させたことがあります。1体が「認証情報がリポジトリに入っている。最重大。すぐ入れ替えよ」と報告しました。

深刻度が高い報告だったので、そのまま上に伝える前に、親の役で一次検証をしました。実際にリポジトリの追跡対象ファイルを一覧で出して確かめ、無視リストの設定も確かめ、外部のリモートの有無も確かめました。結果、ディスク上に認証ファイルが置いてあるだけで、リポジトリには一度も入っていませんでした。認証の動作に必要な、正常な状態でした。

監査役は「ディスク上に存在する」を「リポジトリに漏れている」と取り違えていました。検証は3つの短いコマンドで30秒で終わる作業でした。もし誤報をそのまま上に伝えていたら、不要な入れ替えで本番の運用を止めていました。

ここから、監査役の報告は、特に深刻度が高いものほど、親の役が一次記録と現状を自分で確かめてから採用する、というやり方に決めました。

検査役が、止まるべき場面で止まらなかった

別のAIを検査役に試したとき、「できるか」の判断はしますが「やるべきか」の判断をしないパターンが繰り返し出ました。原稿に対して「文としては書けます」と答え、根拠が足りているかには踏み込みません。

この種のAIを検査役に使うときは、質問の形を変えます。「問題がないか」ではなく、「この主張のうち、根拠ファイルの何ページ・どの行から出せるか」と、出典を特定する形で聞きます。出典が出せない主張は、根拠が無いものとして扱います。

よくある質問

Q. 書く役と検査する役は、同じAIの別セッションで足りますか？
A. 同じ系統のAIでも、別セッションにして渡す資料を分ければ、同じ前提を引き継ぐ力は切れます。できれば別の種類のAIを使うほうが、違う角度の指摘が出ます。

Q. 役を分けると、処理の枠（コスト）が増えませんか？
A. 書く役と検査する役の両方に、同じ最上位のモデルを使うと枠を使い切ります。書く役と検査する役は中位のモデル、最終の判断だけ最上位のモデル、と役ごとに重さを変えると、全体の枠は増えずに検査の網だけが増えます。

Q. 検査役が「問題なし」と返したら、公開してよいですか？
A. 返しません。検査役の報告は候補です。重要な主張については、親の役が一次記録を開いて1件ずつ確かめます。「問題なし」も含めて、報告は確かめてから採用します。

次の作業

検査する役が使う、公開前の品質チェックの中身を決める
検査する役の指摘を、作業記録に残す書式を決める
判断する役（人）の赤線を、1枚のファイルにまとめる