なぜやるか
日本で「AIは専門職をどこまで代替するか」を語るとき、いまだに引かれているのは
2015年の野村総研×オックスフォードの推計である。行政書士93.1%、税理士92.5%、弁理士92.1%。
だがあれは職業属性からの回帰推計であって、誰も一度も実務をやらせて測っていない。
LLM以前の数字が、11年後の今も既定値として流通している。
ここでやるのは1つだけ。成文化された基準を持つ専門職の実務を、実際にAIにやらせて、権威が確定させた正解と突き合わせる。
いま出ている、いちばん重い結果
2業種・5通りの増やし方で再現
資料を増やしても、正答率は上がらない
そして両業種とも、同一条件で繰り返すと答えが安定しない。
通関で25%、税務では74%の事案が、毎回ちがう答えになった。
税務では点数のほうは 124本±1 でほぼ不動——毎回ほぼ同じ点数を、毎回ちがう答えで取っている。
「精度が足りない」より先に来る話がある。同じ問いに同じ答えが返らない。
税務・監査・通関のように再現性そのものが要件になる場面では、精度以前の問題になる。
測った業種
公開済み通関 HS分類
貨物の説明から輸入統計品目番号9桁を決める。参照解は税関の事前教示回答。
権威を5.4倍にして正答数が1件も動かなかった
公開済み税務 根拠条文
税務の照会に対し、国税庁が根拠とした条文を当てる。RAGは出典を示すことで
売られているが、その出典が正しいかを誰も測っていない
公開済み建築2D図面（DXF）
間取りを完全に与えて作図能力だけを測る。幾何はもう飽和していて、
30本で点差を作ったのはライブラリの既定値だけだった
準備中積算・土木CAD・地盤・機械・BIM
残り5業種。実測は済んでいて、リポジトリと DOI は公開してある。
ここに出していないのは、n=1 のまま順位を語らないという下の作法に合わせるため
（地盤・機械・BIMは n=3 まで来ている）。条文を渡す価値は、その知識の有名度に反比例する
作法
- 参照解は自分で書かない。権威が確定させた正解が公開されている業種だけを選ぶ
（税関の事前教示回答、国税庁の質疑応答事例）。自作した参照解は検査できない。
建築CADだけは例外で、答えは仕様から決定論で導けるが
何を検査項目に選ぶかはこちらの判断が入る。そこは配点の28%として項目単位で開示した
- 採点する前に、採点器を採点する。参照解が満点を取るか（較正）と、
実務では使えない提出が点を取らないか（敵対テスト）を通してから数字を出す
- 予想を先に書いて commit する。外れてもそのまま残す。5業種で立てた予想のうち、
当たったより外れたほうが学びが大きかった
- n=1 で順位を語らない。同一条件を5回回して揺れ幅を測ってから比べる
- こちらの誤りも載せる。被験者（AI）が出題側の欠陥を指摘した回数は、
2業種で通算44件。全部記録してある
測り方の詳細 →