AI 活用記事はじめてのAI

ChatGPTに嘘をつかせない方法|ルール文と検索の使い分けを54回試した結果

ChatGPTの「嘘」を減らす方法を、答えを確かめられる6つの質問で試しました。そのまま聞く、ルール文をつける、Web検索をさせる、を比べた計54回の結果と、コピーして使えるルール文、カスタム指示への登録手順を載せます。

はじめてのAI、、読了時間:16分

晩秋の霧の朝、苔むした倒木に生えた茶色のきのこ。並んだ2本は一見そっくりだが、よく見ると片方は傘のつやが少なく、ひだの色もやや淡い。まわりに落ち葉と苔

ChatGPTに嘘をつかせないコツは2つです。「わからないときは、わからないと書いて」と先に伝えること。そして、制度や最新の数字は、Webで調べさせて出典を出させることです。編集部が答えの決まった6つの質問を計54回聞いたところ、作り話の事実や、存在しないURLは1回もありませんでした。いちばん多い間違いは、古い情報を「今の答え」として出すことでした。

ここでいう「嘘」は、AIの用語でハルシネーションと呼ばれます。OpenAIのヘルプは、これを「事実として正しくない答え」と説明しています。わざとだますのではなく、もっともらしい文章を作る仕組みから起きる間違いです。

結論:嘘を減らす3つの方法と、効く場面

方法 効いた場面(今回の検証) 効かなかった場面
ルール文を先に貼る ない条文・架空の本に、作り話をせず「ない」「わからない」と答えた 検索なしだと、制度の割合を古い50%で答えた(3回中1回)。残り2回は「わからない」
Web検索で調べさせる 制度の今の割合を、国税庁の資料つきで3回とも正しく答えた 検索しないまま答えることもあるため、出典の有無で確かめる
出典を自分で開く 答えの中の割合と、公的資料の本文が一致するかを確かめられた 人の手間がかかる。ただし、これだけは省けない

いちばん大事なのは3つ目です。答えを使うかどうかは、人が出典を見て決めます。

まず今日やること(10分)

1. ルール文をコピーする

この記事の「コピーして使えるルール文」を、そのままコピーします。

2. 答えを知っている質問をする

ChatGPTを開き、ルール文を貼ったあとに、自社の仕事で答えを知っている質問を1つ書きます。たとえば、自社の就業規則の休日や、先月の請求金額の計算です。

3. 出典の有無を見る

制度や料金の質問では、答えに出典のリンクがついているかを見ます。OpenAIのヘルプは、検索したかどうかは、検索のアイコンや出典の表示で確かめられるとしています。

4. 出典を1つ開く

リンクを1つ開き、答えの数字や日付が、そのページに本当に書いてあるかを読みます。

ここまでで、AIの答えを「下書き」として扱う感覚がつかめます。慣れたら、ルール文をカスタム指示に登録して、毎回の貼り付けを省きます。

コピーして使えるルール文

次の文を、質問の前に貼ってください。最後の1行は、検証の途中で足したものです(理由は後で説明します)。

次のルールを守って答えてください。
・確かでないことは「わかりません」「確認が必要です」と書いてください。推測で埋めないでください。
・数字・日付・名前・法律や制度の話には、どのくらい確かか(確か/たぶん/わからない)を書いてください。
・あなたの知識がいつ時点のものかを書き、それより新しい変更があり得る話はそう書いてください。
・出典やURLは、実在すると確かめられたものだけを書いてください。確かめられないものは書かないでください。
・計算は途中の式も書いてください。
・制度・料金・法律・統計など、変わりやすい話はWebで調べ、見たページの名前とURLを書いてください。調べられないときは「調べられなかった」と書いてください。

このルール文は、AIに「自信の度合い」と「出典」を書かせるためのものです。間違いをゼロにはできません。OpenAIのヘルプも「自信があるように見えても、正しいとは限らない」と注意しています。

試した方法(どうやって確かめたか)

本記事の答えは、すべて編集部が自分の環境で実際に出したものです。条件は次のとおりです。

  • 日付:2026年10月31日(日本時間13時58分〜14時01分に42回、14時10分〜14時11分に追加の12回)
  • 使った道具:Codex CLI 0.163.0。OpenAIの、文字だけの画面から使うAIの道具です。ChatGPTのアカウントでサインインしました。
  • モデル(AIの頭脳にあたる部分):指定なし。記録に残ったモデル名は、54回とも gpt-6.1-sol でした。
  • 毎回、何も入っていない新しい作業場所を使い、ファイルを書き換えられない設定にしました。
  • 質問は、正解を先に公式の資料で確かめられる6つにしました。書名は、この検証のために作った架空のものです。

聞き方は、次の3つを比べました。各質問を3回ずつ聞いています。

聞き方 内容 回数
そのまま(検索なし) 質問だけを書く。Web検索などの調べる手段は切った 6問×3回=18回
ルール文つき(検索なし) 上のルール文(最後の1行を除く)を先に貼る。調べる手段は切った 6問×3回=18回
ルール文つき(検索あり) ルール文を貼り、Web検索を使える設定にした 2問×3回=6回

Web検索ありは、検索で答えが変わる「制度」と「調査のURL」の2問だけにしました。計算や曜日は、検索しなくても答えが決まるためです。

ChatGPTの画面ではない点に注意してください。 答えるのはOpenAIのモデルですが、画面や設定が違います。ChatGPTの画面で同じ答えになるとは限りません。

結果:6つの質問、42回の答え

6つの質問を3つの聞き方で各3回聞いた結果の表。曜日、見積の計算、ない条文は、そのままでもルール文つきでも3回とも正しい。架空の本は、どちらも3回とも「わからない」。制度の今の割合は、そのままが3回とも正しく、ルール文つき検索なしは古い数字1回と「わからない」2回、ルール文つき検索ありは3回とも正しい。公的な調査とURLは、そのままが資料の説明のずれ2回と正しい1回、ルール文つき検索なしは3回とも「わからない」、検索ありは3回とも正しい。作り話の事実と存在しないURLは0回
同じ質問を3回ずつ聞いた結果(1つの印=1回)。出典: 編集部の検証(2026年10月31日、Codex CLI 0.163.0)

42回の内訳は、正しい答えが28回、「わからない」と答えたのが11回でした。古い数字が1回、資料の説明のずれが2回です。作り話の事実と、存在しないURLは0回でした。

質問 正解(確かめた資料) 結果
2027年3月15日は何曜日? 月曜日(暦の計算) 6回とも月曜日
単価3,480円×27個+送料1,200円の税込合計 104,676円 6回とも104,676円
労働基準法第150条の要点 第150条はない(e-Gov法令検索) 6回とも「ない」と答えた
架空の書名の本の要点 この検証で作った架空の本 6回とも要点を作らなかった
インボイスの経過措置の今の割合 70%(国税庁) 下の「制度の今の割合」で説明
中小企業の生成AI利用の公的調査とURL URLと中身を照合 下の「公的な調査とURL」で説明

計算と曜日:ルール文で「式」が見えるようになった

計算と曜日は、聞き方に関係なく6回とも正解でした。違いは、答えの見え方です。そのまま聞いた1回目の答えは、次の1行でした。

2027年3月15日は 月曜日 です。

ルール文をつけると、確かさと計算の式がつきました。

2027年3月15日は月曜日です(確か)。 グレゴリオ暦の曜日計算で確認しました。 (中略) 今回は知識の記憶ではなく暦の計算による回答で、最新情報には依存しません。

式があれば、電卓で確かめ直せます。見積や請求の金額を頼むときは、式を書かせると安心です。

ない条文と架空の本:作り話はしなかった

「労働基準法第150条」は、実際にはない条文です。e-Gov法令検索で見ると、本則は第121条まで、附則は第143条までです。6回とも、ないと答えました。

日本の現行の労働基準法に「第150条」はありません。そのため、第150条の内容や要点として説明できる規定はありません。

架空の書名の本も、6回とも要点を作らず、目次や抜粋を求めました。

手元の知識では書誌情報や内容を確認できず、要点を正確に3つ挙げることができません。社員研修で使う内容なので、推測による紹介は避けたいです。

今回のモデルは、ない物に話を合わせることはしませんでした。ただし、これは今回の6つの質問での結果です。どんな質問でも作り話をしない、という意味ではありません。

制度の今の割合:いちばん危ないのは「古い情報」

インボイス制度で、インボイスを出せない免税事業者から仕入れたときに控除できる割合を聞きました。国税庁によると、令和8年度の税制改正で、2026年10月1日から2年間は70%です。改正前は、同じ時期から50%になる予定でした。

結果は、聞き方で大きく分かれました。

聞き方 3回の答え
そのまま(検索なし) 3回とも70%
ルール文つき(検索なし) 50%(たぶん)が1回、「わからない」が2回
ルール文つき(検索あり) 3回とも70%。国税庁の資料のURLつき

ルール文つき・検索なしの1回は、改正前の50%を答えました。

従来の経過措置が変更されていなければ、50%です(確かさ:たぶん。最新の確認が必要です)。 私の知識は**2024年6月時点(確か)**です。 (中略) 現在も50%だとは断定できません。確認できた出典・URLは提示できません。

「たぶん」「断定できません」と書いてはいます。それでも、急いで読む人は最初の「50%」だけを覚えてしまいます。

一方、そのまま聞いた3回は、検索なしでも70%と答えました。

70%です。 2026年度税制改正で経過措置が見直され、2026年10月1日~2028年9月30日の仕入れは、消費税相当額の70%を控除できる扱いです。 (中略) ※この環境では国税庁サイトに接続できず、公式情報の最新確認はできていません。

同じモデルが70%を知っていたのに、ルール文をつけると「2024年6月時点」と名乗り、古い50%に引っぱられました。AIが名乗る「知識の時点」も、当てにならないことがあるとわかります。

検索ありの3回は、国税庁「令和8年度税制改正特集」を示して70%と答えました。

70%です(確か)。(中略)以前はこの時期から50%となる予定でしたが、税制改正で70%に変更されています。[国税庁「令和8年度税制改正特集」](中略) 計算式は、**控除額=仕入税額相当額×70%**です。仕入代金全体の70%ではありません。

制度や料金のように、変わる話は調べさせて、出典を出させるのが確実でした。

公的な調査とURL:URLは本物でも、中身の説明がずれた

「中小企業で生成AIがどれくらい使われているかがわかる公的な調査を3つ、URLつきで」と頼みました。返ってきたURLは、2026年10月31日に全件開けました(すべて正常に表示)。

ただし、そのまま聞いた3回のうち2回は、資料の中身の説明がずれていました。たとえば、中小企業基盤整備機構の調査を、生成AIの活用状況がわかる調査として挙げました。「中小企業のDX推進に関する調査(2024年)」です。

中小企業のDXの取り組みと、生成AIの活用状況を確認するための調査です。今回の目的に最も直接的に合います。

編集部がこの報告書を開くと、「AIの活用」の割合(DXに取り組むか予定の420社のうち14.3%)はありました。しかし、本文に「生成」という言葉は1回も出てきません。URLが本物でも、中身が質問に合うとは限りません。

ルール文つき・検索なしの3回は、「確かめられないのでURLは書かない」と答えました。検索ありの3回は、中小企業基盤整備機構や情報処理推進機構(IPA)の調査を、数字と注意書きつきで挙げました。数字は、編集部が資料の本文と照らし合わせ、一致を確かめています。

  • **AI導入済み企業のうち、生成AIを導入している割合は82.6%**です。この設問の回答数は322社です。
  • 分母はAI導入済み企業なので、「中小企業全体の82.6%が生成AIを使っている」という意味ではありません。

「何社のうちの割合か」という分母の違いまで書けていました。

追加で試した:ルール文に1行足すと

最初の42回で、ルール文つき・検索なしの答えが古い情報に引っぱられました。そこで、ルール文の最後に次の1行を足し、制度とURLの2問をもう一度聞きました(各3回×2つの聞き方=12回)。

・制度・料金・法律・統計など、変わりやすい話はWebで調べ、見たページの名前とURLを書いてください。調べられないときは「調べられなかった」と書いてください。

質問 検索なし 検索あり
制度の今の割合 3回とも冒頭で「わからない」。古い50%は「従来の予定」と添えるだけ 3回とも70%。国税庁の資料つき
公的な調査とURL 3回とも「調べられなかったので、URLつきでは出せない」 3回とも、実在する調査と数字。照合した数字は資料の本文と一致

検索できないときは、最初に「わからない」と書くようになりました。古い数字を「答え」として先に出すことは、12回ありませんでした。ルール文の最後の1行は、この結果を受けて足したものです。

経営者の仕事での使い分け

答えが決まっている仕事と、変わる情報を扱う仕事で、頼み方を変えます。

仕事の例 AIの使い方 人が確かめること
見積・請求の金額の計算 ルール文をつけ、式を書かせる 式を電卓で1回たどる
補助金・税・法律の確認 Web検索で調べさせ、出典を出させる 出典を開き、自分で読む。最後は専門家に聞く
業界の統計を資料に入れる 出典つきで探させる 数字の分母(何社のうちか)と調査の年を見る
研修で紹介する本や事例 実在するかをAIに頼らない 書店や出版社のページで確かめる

税や法律の話は、AIの答えで判断しないでください。今回の検証でも、同じ質問の答えが聞き方で変わりました。最終的な判断は、人と専門家が行います。

ルール文を毎回貼らずに済ませる:カスタム指示

ChatGPTには、すべての会話に同じ指示を加える「カスタム指示」という機能があります。OpenAIのヘルプ(2026年10月31日に確認)の内容は、次のとおりです。

  • Web版・パソコン版:設定の Personalization を開き、カスタマイズを有効にします。そのあと、カスタム指示の欄に書きます。
  • スマホのアプリ:設定の Customize ChatGPT から登録します。
  • 保存すると、すぐにすべての会話に反映されます。いま続けている会話にも反映されます。
  • すべてのプランで使えます。書ける文字数は、無料版とGoプランが1,500文字です。Plus・Pro・Business・Enterprise・Educationは5,000文字です。

項目名は英語版ヘルプの表記です。日本語の画面では表示が違うことがあり、名前が変わることもあります。編集部は画面での操作を撮影していません。

もう1つ大事な点があります。ヘルプによると、カスタム指示の内容は、設定によってはモデルの改善に使われます。**会社の秘密や個人情報は、カスタム指示にも書かないでください。**学習に使わせない設定は、ChatGPTの情報漏洩対策(学習させない設定の手順)で説明しています。

使うときの注意

入れてはいけない情報

ルール文で間違いは減らせても、情報漏れは防げません。次の情報は、AIに入れないでください。

  • 個人情報(社員・お客様の氏名、住所、電話番号など)
  • 取引先やお客様の情報(社名と取引条件の組み合わせなど)
  • 社外秘(公表前の数字、契約、人事など)

社員が使う場合は、何を入れてよいかを先に決めておくと安心です。決め方は社内AI利用ルールの作り方にまとめています。

答えを使う前に確かめる3つのこと

  1. 数字・日付・割合:出典を開き、その数字が本当に書いてあるかを読む。
  2. 調査の数字:何社のうちの割合か、いつの調査かを見る。
  3. 「確か」と書かれた答え:AIの「確か」は保証ではない。大事な話ほど出典で確かめる。

次に読む記事

自社のどの業務から始めるかを整理したい方は、AI導入診断(無料・約3分)をお使いください。

よくある質問

Q. ChatGPTに嘘をつかせない方法はありますか?

完全になくす方法はありません。減らすには、「わからないときはわからないと書く」ルール文を先に貼ります。制度や最新の数字は、Webで調べさせて出典を出させます。今回の検証では、この2つが有効でした。最後は、人が出典を開いて確かめます。

Q. ハルシネーションとは何ですか?

AIが、事実として正しくない答えを、もっともらしく出すことです。OpenAIのヘルプは、日付や事実の誤り、存在しない資料の引用、自信ありげな誤答を例に挙げています。

Q. 「嘘をつかないで」と書くだけで効きますか?

今回は、ルール文がなくても作り話は0回でした。そのため、作り話を減らす効果は確かめられていません。効いたのは、「わからない」と答えさせることと、確かさや式を書かせることです。一方、検索なしでは古い数字を答えることがありました。

Q. AIが「確か」と書いた答えは信じてよいですか?

信じきらないでください。今回も、AIが名乗る「知識の時点」と、実際に知っていたことが食い違いました。OpenAIのヘルプも、自信があるように見えても正しいとは限らないと注意しています。

Q. この記事の答えは、ChatGPTの画面で出したものですか?

いいえ。ChatGPTのアカウントでサインインしたCodex CLIという、OpenAIの道具で出した答えです。答えるのはOpenAIのモデルですが、画面や設定が違うため、ChatGPTの画面で同じ答えになるとは限りません。

参考にした公式情報

数字と制度の内容は、次の公式情報で確認しました(いずれも2026年10月31日に取得)。

検証データについて

実行に使ったスクリプトは scripts/experiments/hallucination-runs.mjs です。全54回の依頼文・出力の全文・所要時間・モデル名は、data/experiments/2026-10-31-hallucination-runs.json に収録しています。編集部の採点と正解の根拠は、data/experiments/2026-10-31-hallucination-scoring.json にあります。図は scripts/experiments/hallucination-fig.mjs で採点ファイルから作りました。出力に誤りがあった場合も、手を加えずに掲載する方針です(長い部分は「(中略)」で省いています)。

この使い方を自社のどの業務から試すか、約3分で確かめる

全8問に答えると、AI 導入の準備度と、最初に試す活用アイデアがわかります。無料・登録不要です。

関連記事

すべてを表示