物差し/作法

測り方

同じ物差しで比べられるように、業種が変わっても手順は変えない。
変えたところは、変えた理由ごと書く。

1. 業種の選び方 — 参照解が外部にあるか

第一条件は「公的基準があるか」ではなく、権威が確定させた正解の集合が公開されているか。 基準だけあっても、正解を自分で導く工程が残るなら同じ穴に落ちる。

この規則ができた経緯 自作した参照解は、検査できない

最初の3業種(建築図面・積算・土木CAD)は参照解を自作した。その結果、積算では 3課題連続で、採点される側が採点する側の誤りを見つけた——参照解の丸め、 仕様と図面の食い違い、検査器が構造的に常にNGを出す件。

較正(参照解が満点を取るか)も敵対テスト(採点器が騙されないか)も、 どちらも参照解を真とする前提の上に立っているので、参照解自体が間違っていると素通りする。 気づけたのは毎回「独立した複数の腕が揃って参照解と違う値を出したから」で、仕組みではなかった。

2. 腕を4つに分ける

記憶基準の文全資料コード実行検査器
armA
armB
armC
armD

最初は3腕(条文なし/条文あり/条文+検査器)で切っていたが、 これは「知識」と「実行」を1本に束ねていた。束ねると軸を取り違える。

3. 採点する前に、採点器を採点する

数字を出す前に必ず2つの門を通す。どちらかが落ちたら止める。

敵対テストで実際に見つかった穴 空の提出が 17.4/100 を取った

通関では通則3が要る事案が13%しかないため、全件「不要」と黙っているだけで87%取れていた。 回答が無いことが「通則3を引いていない」と読まれていた。 不作為を無得点にし、2クラスの再現率の平均に変えて 0.0 になった。

積算では「単位を換算しないまま提出した調書」が 57.7/100 を取る穴があり、 こちらは敵対テストを書くまで気づかなかった

較正も実際に落ちる。通関では初回 98.04/100 で、原因は登録番号が一意でなかったこと (1件の照会に税関が4つの税番を返していた)。門が無ければ61件の課題が58件で走っていた。

4. 深さで傾斜をつける

合っている/間違っている の二値にすると、「類は合っているが細分を外した」と 「そもそも別の類」が同じ0点になる。階層のある答えは階層で採る。

業種深さ実測(記憶のみの腕)
通関類 → 項 → 号 → 統計細分84% → 79% → 79% → 41%
税務法令名 → 条 → 項 → 号78% → 56% → 41% → 35%

どちらも階段状に落ちる。合計点だけ見ていると、この形は見えない。

5. n=1 で順位を語らない

通関で、ある腕が3回続けて 42/61 を出した。安定に見えた。 同一条件で5回回すと 39〜42(幅3・SD1.10)で、 42は範囲の上端を3回引いていただけだった。他の腕との3点差は、この揺れの中に完全に収まる。

得点より重いのは答えの割れ方である。得点が安定していても、 中身が毎回ちがえば「同じ点数を別の間違い方で取っている」という意味でしかない。

業種得点の幅答えが全回一致した事案
通関39–4275%
税務72.8–75.026%

6. 隔離 — 壊してから書いた規則

通関の追試で、5本の作業場を共有領域の下に並べたため、 前の回の解答が各runから到達できる位置にあった。丸写しは無かったが、 きれいな追試としては成立しなくなった。以後こうしている。

読み方は決まる。汚染は必ず「答えが揃う」向きに働くので、 それでも観測されたばらつきは下限になる。

7. こちらの誤りを載せる

被験者(AI)が出題側の欠陥を指摘した回数は、2業種で通算44件。うち事実だったものは大半。 記録して公開している理由は2つある。ひとつは、指摘されなければ気づかないまま数字を出していたから。 もうひとつは、壊れ方に型があったから。

44件に共通する型 実物を見ずに構造を仮定し、例外を投げずに「正常終了」する

索引が1段だと決めつける(0節で正常終了)。ファイル名が数字だと決めつける。 URLが .htm で終わると決めつける(アンカー付きで全滅)。 表のセルを項番として登録する(本物の項を覆い隠す)。 いずれも、実物のリンクを数えた瞬間に原因が分かった。推測で直そうとした回はすべて外している。

そして被験者の指摘は氷山の一角を指す。「補塡の塡が欠落」という1文字の報告を追うと、 丸数字の項番と算式が画像で全部落ちていた。別々の症状に見えた2つの報告が、 同じ原因(番号のタグ分断による上書き)だったこともある。