RAGは「出典を示す」ことで売られている。だが示した出典が、権威の依拠した条文と一致するかを誰も測っていない。
国税庁「質疑応答事例」は1件ごとに【照会要旨】【回答要旨】【関係法令通達】を持つ。 照会文だけを渡し、国税庁が根拠とした条文を言い当てられるかを測る。参照解は国税庁が書いたもので、こちらは選ぶだけ。
母集団1,842件から、印紙税（【関係法令通達】の文法が別物）を除く8税目・1,487件を対象に、税目×引用本数帯で層別して78件・引用227本を抽出した。
| 段 | 何を問うか | 配点 |
|---|---|---|
| Q0 | 全件に一度ずつ答えているか | 10 |
| Q1 | 引用の形式・法令名が実在するか | 15 |
| Q2 | 法令名が合っているか | 20 |
| Q3 | 条・項・号が合っているか（深さで傾斜） | 55 |
答えが集合なので、再現率だけで採ると思いつく条文を全部並べた提出が満点近くを取る。適合率を必ず抱き合わせ、散弾は失格にした。較正100/100・敵対テスト10ケース通過。
| 腕 | 渡した資料 | 合計 | 法令名 | 条 | 項 | 号 |
|---|---|---|---|---|---|---|
| armA 記憶のみ | なし | 72.3 | 78% | 56% | 41% | 35% |
| armB 候補5本 | 30万字（RAG相当） | 74.0 | 80% | 60% | 40% | 37% |
| armC 全文 | 2,400万字 | 73.1 | 74% | 53% | 39% | 35% |
| armC 修正版 | 2,500万字 | 72.0 | 74% | 52% | 36% | 33% |
途中で被覆率を79%→83%、所得税基本通達を671→1,098項（+64%）まで改善したが、点数はむしろ下がった。
腕の間に差があるとは言えない。「資料を増やしても上がらない」だけが言える。kanzei-bench で「42点が3回続いたが実は範囲の上端だった」と後から判明した失敗を踏まえ、今回は先に測った。
| run1 | run2 | run3 | run4 | run5 | |
|---|---|---|---|---|---|
| 得点 | 73.7 | 72.8 | 73.1 | 75.0 | 73.7 |
| 引用の的中 | 125 | 124 | 124 | 124 | 124 |
的中数は124本±1で不動。ところが——
毎回ほぼ同じ点数を、毎回ちがう答えで取っている。52本の引用が run ごとに入れ替わり、合計だけが釣り合う。kanzei-bench では割れが25%だった。税務は74%——答えが1個のコードではなく集合なので、揺れる幅が桁違いに大きい。
run3: 措法33条1項3号の5 は文言上「土地等」限定 → 適用なし（照会者の見解どおり）
run5: 同じ条文だが 措通33-14《引き家補償等の名義で交付を受ける補償金》を根拠に → 適用あり
死亡と修正申告期限の2件（joto_19_07/19_08）は run2・run3・run5 で3通りに割れた。
税務・監査のように「同じ問いに同じ答えが返ること」自体が要件になる場面では、精度以前の問題になる。
| 本数 | 腕が引用できた | |
|---|---|---|
| 候補に入っていた正解 | 80 | 69（86%） |
| 候補に入っていなかった正解 | 147 | 70（48%）← 記憶からの上乗せ |
腕は、渡されたものは86%拾う。選べていないのではなく、渡せていない。そして候補由来69本に対し記憶由来70本——「RAGの腕」は成績の半分以上を記憶で稼いでいる。
自己申告との突き合わせも示唆的だった。「候補を主に使った」45件の的中61%、「記憶で補った」33件の的中62%。差が無い。
腕を走らせる前に測った。照会文から機械的に候補を引いたときの、正解が候補に入る率。
| 候補数/事案 | 5 | 10 | 20 | 40 |
|---|---|---|---|---|
| 正解が入る率 | 35.7% | 45.8% | 53.7% | 55.9% |
20→40件で2.2ポイントしか伸びない。予算ではなく質の問題。落とした55本を分類すると:
数字にならないが実例で見えるもの——参照の連鎖（所得税法225条は照会文に「支払調書」と書いてあるのに落ちる。効くのは225条が使う語の定義である2条で、2条は全定義を並べた巨大な条だからどの問いとも重ならない）。前提要件の条（所得税法4条「人格のない社団等は法人とみなす」。照会文に「人格のない社団」は出てこない）。
効く条文は (a)抽象的で (b)短く (c)他の条から参照されて初めて登場する。3つとも単発のキーワード検索と相性が悪い。
| 業種 | 資料の増やし方 | 結果 |
|---|---|---|
| 通関 HS分類 | 81万字 → 440万字（5.4倍） | 9桁 42→42（0件） |
| 税務 根拠条文 | ゼロ → RAG候補30万字 | 72.3 → 74.0 |
| 税務 根拠条文 | RAG → 全文（80倍） | 74.0 → 73.1 |
| 税務 根拠条文 | 欠陥修正（被覆79→83%） | 73.1 → 72.0 |
「増やす」を5通りやって5回とも空振り。そして両方の業種で、同一条件の反復が不安定だった（通関25% / 税務74%）。
被験者（腕）が出題者を44回監査した。壊れ方が全部同じ型だった。
索引が1段だと決めつけ（0節で正常終了）、ファイル名が数字だと決めつけ、URLが .htm で終わると決めつけ（アンカー付きで全滅）、目次のファイル名を推測（索引が空のまま成功）、表のセルを項番として登録（本物の項を覆い隠す）。4回とも、実物のリンクを数えた瞬間に原因が分かった。推測で直そうとした回はすべて外している。
追うと1文字の話ではなかった。国税庁のページは Shift_JIS に無い字だけでなく丸数字の項番と算式も画像で埋めている。タグごと捨てていたので、通達本文から構造が消えていた。
armB の「27-6 が 27 になっている」と armC の「20・25・89 が欠落」も、別々の症状に見えて原因は1つだった——番号がタグで分断され（<strong>20</strong><strong>－2</strong>）、20/20-2/…/20-7 が全部キー「20」に潰れて最後の1つしか残らない。私の最初の修正は、上書きで消えた後に効かせようとしていた。順番が違っていた。
結論の抽出を素朴にやると失敗することも実測した。「その保険金は非課税とされます」は肯定文で否定の結論。文の極性と結論の極性が一致せず、22%は定型ですらない。ここを人手で仕分けると「参照解を自分で書く」に逆戻りするのでやらない。