ChatGPT や AI に過去ログを渡したのに、答えが毎回ぶれることはありませんか。原因は、AIの性能だけではなく、見せる情報の置き場所が整理されていないことにあります。
過去ログ、記憶、Wikiは同じものではありません。過去ログは整理前の材料、記憶は毎回見せる固定情報、Wikiは必要なときに見る整理済み資料です。
この記事では、AIに渡す判断材料をどこに置くべきかを整理します。読後には、何を毎回見せるのか、何を必要なときだけ見せるのか、何をそのまま渡してはいけないのかを判断できる状態を目指します。
AIが判断を間違える原因
ChatGPT や AI の答えが毎回変わると、AIそのものが信用できないように見えます。
でも、原因はAIの性能だけではありません。何を見せるか、どこまで見せるか、どの情報を見せないかが整理されていないと、AIは判断材料を正しく選べません。
ここでは、AIの答えがぶれる原因を「何も見せない」「全部見せる」「分けて見せる」の3つに分けて整理します。
何も見せないとAIは推測する
AIに何も見せずに質問すると、AIはその場の質問文だけを材料にして答えます。
たとえば、「この方針で進めていいですか」とだけ聞いても、過去に何を決めたのか、どの案を捨てたのか、何を優先しているのかは分かりません。するとAIは、不足している部分を推測で補おうとします。
これがいわゆるAIの吐く嘘です。俗に言うところのハルシネーションの原因の一つです。この推測が外れると、事実ではない内容をもっともらしく答えるハルシネーションにつながります。AIが突然おかしな答えを出すのではなく、判断材料が足りない状態で答えを作ろうとすることが原因です。
この状態では、回答がそれらしく見えても、こちらの前提とはずれることがあります。AIが間違えたというより、判断に必要な材料が足りていない状態です。
全部見せるとAIは古い情報まで拾う
では、過去ログや資料を全部渡せばよいかというと、それも危険です。
過去ログには、今は使っていない案、途中で撤回した判断、感情的に書いたメモ、まだ確定していない話が混ざります。AIに全部渡すと、それらを同じ重さの判断材料として読んでしまうことがあります。
その結果、現在の方針ではなく、古い前提や目立つ一文を拾って答えることがあります。情報が多すぎると、AIは賢くなるのではなく、どれを採用すればよいか迷いやすくなります。
分けて見せると判断が安定する
AIの答えを安定させるには、情報を全部渡すのではなく、役割ごとに分けて見せる必要があります。
毎回見せる固定ルール、必要なときだけ見る整理済み資料、整理してから渡す過去ログ、AIに見せない情報を分けます。こうすると、AIは今どの材料を見ればよいか判断しやすくなります。
大事なのは、AIに覚えさせる量を増やすことではありません。判断に使う材料の置き場所を分けることです。置き場所が分かれていれば、AIの答えが過去のログや未確定メモに引っ張られにくくなります。
たとえば、AIに依頼するときは、次のように分けて書きます。
| 区分 | AIに伝える内容 |
|---|---|
| 毎回守る前提 | この記事は一般読者向けに書く。専門語から始めない。古い案は採用しない。 |
| 今回だけ見る材料 | 下に貼る整理済みメモだけを判断材料にする。 |
| 判断材料にしないもの | 過去ログ全文、途中で出た未確定案、感情的なメモは使わない。 |
| 依頼内容 | この前提で、今の方針に矛盾がないか確認する。 |
このように分けて渡すと、AIは「毎回守るもの」「今回だけ見るもの」「見てはいけないもの」を区別しやすくなります。
大事なのは、AIに覚えさせる量を増やすことではありません。判断に使う材料の置き場所を分けることです。置き場所が分かれていれば、AIの答えが過去のログや未確定メモに引っ張られにくくなります。
過去ログ・記憶・Wikiの違い
過去ログ、記憶、Wikiは、どれもAIに見せる情報に関係します。
でも、役割は同じではありません。過去ログは整理前の材料、記憶は毎回見せる固定情報、Wikiは必要なときに見る整理済み資料として分けて考えます。
ここを混ぜると、AIは古い話、固定ルール、整理済みの判断材料を同じ重さで読んでしまいます。
過去ログは整理前の材料
過去ログは、会話や作業の流れがそのまま残ったものです。
その中には、最終的に採用した結論だけでなく、途中で迷った案、あとで取り消した判断、感情的に書いた言葉、今は使っていない前提も混ざります。だから、過去ログをそのままAIに渡すと、AIはどれが現在使う情報なのか判断しにくくなります。
過去ログは捨てるものではありません。ですが、そのまま見せるものでもありません。現在も使う結論だけを抜き出し、古い前提や未確定の話を外してから、判断材料として使います。
記憶は毎回見せる固定情報
記憶は、AIに毎回思い出してほしい固定情報です。
たとえば、文章の口調、守るべき方針、絶対に使わない表現、作業で優先する判断基準のように、長く変わらないものを置きます。毎回変わる作業メモや、一度だけ使う資料を入れる場所ではありません。
記憶に入れる情報が多すぎると、AIは毎回その情報に引っ張られます。必要なのは、AIにずっと守らせたい少数のルールだけです。記憶は便利な置き場所ですが、何でも入れる場所ではありません。
Wikiは必要なときに見る整理済み資料
Wikiは、整理済みの資料を必要なときに見るための場所です。
手順、判断基準、過去の整理メモ、作業で再利用する知識を、あとから見つけやすい形で置きます。過去ログのような生の会話ではなく、結論や要点を抜き出して、読み返せる形にした資料です。
AIに毎回すべてを見せる必要はありません。必要な場面で、該当するWikiを参照できれば十分です。過去ログを整理し、記憶に入れるほどではないが再利用したい情報を置く場所がWikiです。
AIに見せる情報の置き場所
AIに見せる情報は、ひとつの場所にまとめて置くと混ざります。
毎回見せるもの、必要なときだけ見るもの、整理してから渡すもの、見せないものを分けておくと、AIが判断材料を選びやすくなります。
ここでは、AIに渡す情報の置き場所を4つに分けて整理します。
毎回見せる場所
毎回見せる場所には、AIにいつも守ってほしい情報を置きます。
たとえば、文章の口調、作業方針、禁止事項、判断基準のように、長く変わらないものです。毎回の作業で必ず前提にしてほしい内容だけを置きます。
ここに大量のメモや過去ログを入れると、AIは毎回それを読んでしまいます。今は関係ない情報まで判断に混ざるため、答えがぶれる原因になります。
毎回見せる場所は、情報を増やす場所ではありません。AIにずっと守らせたい固定ルールだけを置く場所です。
必要なときだけ見る場所
必要なときだけ見る場所には、整理済みの資料を置きます。
たとえば、手順書、判断基準、過去事例、よく使う説明、あとから見返したい整理メモです。毎回読む必要はないけれど、必要な場面では参照したい情報を置きます。
この場所があると、AIにすべての資料を毎回見せる必要がなくなります。質問や作業内容に合わせて、必要な資料だけを見ればよくなります。
AIにとっても、人間にとっても、整理済み資料の置き場所があると、同じ説明を何度も繰り返さずに済みます。
整理してから渡す場所
整理してから渡す場所には、そのままではAIに見せにくい情報を置きます。
たとえば、会話ログ、作業ログ、調査メモ、途中の案、まだ確定していないメモです。これらは大事な材料ですが、そのまま渡すと古い前提や未確定の話まで混ざります。
この場所では、いったん材料を集めます。その後、現在も使う結論、残す判断、参照したい要点だけを抜き出して、整理済み資料へ移します。
過去ログは、ここに一度置いてから使う情報です。すぐにAIへ渡すものではなく、判断材料に変える前の素材として扱います。
見せない場所
見せない場所には、AIに渡してはいけない情報を分けて置きます。
たとえば、パスワード、APIキー、個人情報、顧客名、契約内容、公開できない内部情報です。これらは判断材料ではありません。
AIに見せる情報を整理するときは、「何を見せるか」だけでなく、「何を見せないか」も決める必要があります。見せない情報が混ざると、情報漏れや不要な参照の原因になります。
見せない場所を分けておくことで、AIに渡す資料側を安全に保てます。判断に使う材料と、絶対に見せない情報を混ぜないことが重要です。
一般論の回答から過去記録に基づく回答への変化
実際に、過去の業務資産を整理したWikiに質問すると、単なる一般論ではなく、自分の過去案件に基づいた回答が返ってきます。
たとえば、WebLogicからJBossへの載せ替え案件の相談が来たとき、「自分は過去にWebLogicやJBossを設計していたのか」と確認しました。
通常のAIであれば、WebLogicとJBossの違いや、移行時の一般的な注意点を説明するだけで終わります。しかしWikiを参照した回答では、過去に扱ったプロジェクト名、記録ファイル、検索した語句、確認できた範囲、確認できなかった範囲まで分けて返ってきました。
その結果、JBossについては、過去にJBoss EAP環境での設計、実装、単体テスト、運用手順整備、トラブル対応まで経験していたことが確認できました。一方で、WebLogicについては、ミドルウェア本体の構成設計ではなく、WebLogicを扱う運用処理の設計経験として整理するのが安全だと分かりました。
この違いは大きいです。
「経験があります」と曖昧に言うのではなく、どの範囲なら言えるのか、どこから先は言い過ぎになるのかを、過去の記録から切り分けられます。案件面談や営業への回答でも、過大に見せず、かといって自分の経験を過小評価しない形で説明できます。
Wikiを作る意味は、情報を保管することだけではありません。過去の業務経験を、今の判断に使える形で引き出せることにあります。
過去ログをそのまま渡してはいけない理由
過去ログは、AIに見せる判断材料として使えます。
ですが、そのまま渡すと危険です。過去ログには、古い前提、途中の迷い、感情的なメモ、まだ確定していない話が混ざっているからです。
ここでは、過去ログをそのまま渡すとAIの答えがぶれる理由を整理します。
古い前提が混ざる
過去ログには、その時点では正しかった前提が残ります。
たとえば、以前は採用する予定だった方針、あとで変更した条件、今は使っていない判断基準などです。人間なら「これは古い話だ」と分かる場合でも、AIにそのまま渡すと、現在も有効な情報として読まれることがあります。
すると、今の判断ではなく、過去の条件に引っ張られた答えになります。過去ログを使うときは、現在も使う前提だけを残し、古い前提は外してから渡す必要があります。
感情や未確定メモが混ざる
過去ログには、感情的な言葉や未確定のメモも残ります。
作業中に書いた不満、迷っている途中の案、あとで考えるつもりだったメモ、まだ決めていない仮の判断などです。これらは作業の記録としては意味がありますが、AIの判断材料としてはそのまま使えません。
AIに渡すと、感情的な一文や未確定の案まで材料として拾われることがあります。その結果、まだ決まっていない話を決定事項のように扱ったり、今の方針と違う答えを返したりします。
必要なのは現在使える結論
AIに必要なのは、過去ログ全体ではありません。
必要なのは、現在も使える結論です。どの方針を採用したのか、何をやめたのか、何を優先するのか、どの条件で判断するのかが整理されていれば、AIは判断しやすくなります。
過去ログは、判断材料そのものではなく、判断材料を作るための素材です。まず過去ログから現在も使える結論を抜き出し、それを記憶やWikiに置くことで、AIの答えはぶれにくくなります。
まず作る置き場所
AIに見せる情報を分けるといっても、最初から大きな仕組みを作る必要はありません。
まずは、固定ルールを書く場所、整理済み資料を置く場所、未整理ログを置く場所、秘密情報を分ける場所の4つを作ります。
この4つがあるだけで、AIに何を見せるか、何をまだ見せないか、何を絶対に渡さないかを判断しやすくなります。
固定ルールを書く場所
固定ルールを書く場所には、AIに毎回守ってほしいことだけを置きます。
たとえば、文章の口調、作業の進め方、禁止事項、判断するときの優先順位です。長く変わらないルールだけを置くことで、AIは毎回同じ前提で答えやすくなります。
ここに作業ログや途中メモまで入れると、固定ルールと一時的な話が混ざります。固定ルールを書く場所は、情報をたくさん入れる場所ではありません。AIにずっと守らせたいことだけを置く場所です。
整理済み資料を置く場所
整理済み資料を置く場所には、あとから何度も使いたい情報を置きます。
たとえば、手順書、判断基準、作業メモから抜き出した結論、過去に整理したノウハウです。必要なときに見返せる形で置いておくことで、AIにも人間にも使いやすい資料になります。
重要なのは、ここへ生のログを入れないことです。迷っていた途中の話や、古い前提が混ざったままだと、整理済み資料として使えません。現在も使える内容に整えてから置きます。
未整理ログを置く場所
未整理ログを置く場所には、まだ整理できていない材料を一時的に置きます。
たとえば、会話ログ、作業中のメモ、調査メモ、判断前の案、あとで読み返したい記録です。これらは大事な材料ですが、そのままAIに見せると答えがぶれる原因になります。
未整理ログは、捨てる場所ではありません。あとで結論、判断基準、残すべき前提を抜き出すための材料置き場です。ここから整理済み資料へ移すことで、過去ログがAIに使える判断材料に変わります。
秘密情報を分ける場所
秘密情報を分ける場所には、AIに見せてはいけない情報を置きます。
たとえば、パスワード、APIキー、個人情報、顧客名、契約内容、公開できない内部情報です。これらは判断材料ではなく、漏らしてはいけない情報です。
AIに見せる資料と秘密情報が同じ場所にあると、誤って渡してしまう危険があります。だから、最初から場所を分けておきます。AIに使わせる情報と、絶対に見せない情報を分離することが、安全にAIを使うための前提になります。
まとめ
AIに正しく判断してもらうには、たくさん情報を渡すことよりも、どの情報をどこに置くかを分けることが重要です。
何も見せなければAIは推測します。全部見せれば古い前提や未確定の話まで拾います。だから、毎回見せる情報、必要なときだけ見る情報、整理してから渡す情報、見せない情報を分ける必要があります。
過去ログは、整理前の材料です。そのままAIに渡すのではなく、現在も使える結論だけを抜き出してから使います。
記憶には、毎回守らせたい固定情報だけを置きます。Wikiには、必要なときに参照する整理済み資料を置きます。秘密情報は、判断材料とは分けて、AIに見せない場所に置きます。
AIの答えがぶれるときは、AIだけを見るのではなく、判断材料の置き場所を見直す必要があります。置き場所が分かれていれば、AIに何を見せるか、何を見せないかを判断しやすくなります。
