同じ物差しで比べられるように、業種が変わっても手順は変えない。
変えたところは、変えた理由ごと書く。
第一条件は「公的基準があるか」ではなく、権威が確定させた正解の集合が公開されているか。 基準だけあっても、正解を自分で導く工程が残るなら同じ穴に落ちる。
最初の3業種(建築図面・積算・土木CAD)は参照解を自作した。その結果、積算では 3課題連続で、採点される側が採点する側の誤りを見つけた——参照解の丸め、 仕様と図面の食い違い、検査器が構造的に常にNGを出す件。
較正(参照解が満点を取るか)も敵対テスト(採点器が騙されないか)も、 どちらも参照解を真とする前提の上に立っているので、参照解自体が間違っていると素通りする。 気づけたのは毎回「独立した複数の腕が揃って参照解と違う値を出したから」で、仕組みではなかった。
| 腕 | 記憶 | 基準の文 | 全資料 | コード実行 | 検査器 |
|---|---|---|---|---|---|
| armA | ○ | — | — | — | — |
| armB | ○ | ○ | — | — | — |
| armC | ○ | ○ | ○ | ○ | — |
| armD | ○ | ○ | ○ | ○ | ○ |
最初は3腕(条文なし/条文あり/条文+検査器)で切っていたが、 これは「知識」と「実行」を1本に束ねていた。束ねると軸を取り違える。
数字を出す前に必ず2つの門を通す。どちらかが落ちたら止める。
通関では通則3が要る事案が13%しかないため、全件「不要」と黙っているだけで87%取れていた。 回答が無いことが「通則3を引いていない」と読まれていた。 不作為を無得点にし、2クラスの再現率の平均に変えて 0.0 になった。
積算では「単位を換算しないまま提出した調書」が 57.7/100 を取る穴があり、 こちらは敵対テストを書くまで気づかなかった。
較正も実際に落ちる。通関では初回 98.04/100 で、原因は登録番号が一意でなかったこと (1件の照会に税関が4つの税番を返していた)。門が無ければ61件の課題が58件で走っていた。
合っている/間違っている の二値にすると、「類は合っているが細分を外した」と 「そもそも別の類」が同じ0点になる。階層のある答えは階層で採る。
| 業種 | 深さ | 実測(記憶のみの腕) |
|---|---|---|
| 通関 | 類 → 項 → 号 → 統計細分 | 84% → 79% → 79% → 41% |
| 税務 | 法令名 → 条 → 項 → 号 | 78% → 56% → 41% → 35% |
どちらも階段状に落ちる。合計点だけ見ていると、この形は見えない。
通関で、ある腕が3回続けて 42/61 を出した。安定に見えた。 同一条件で5回回すと 39〜42(幅3・SD1.10)で、 42は範囲の上端を3回引いていただけだった。他の腕との3点差は、この揺れの中に完全に収まる。
得点より重いのは答えの割れ方である。得点が安定していても、 中身が毎回ちがえば「同じ点数を別の間違い方で取っている」という意味でしかない。
| 業種 | 得点の幅 | 答えが全回一致した事案 |
|---|---|---|
| 通関 | 39–42 | 75% |
| 税務 | 72.8–75.0 | 26% |
通関の追試で、5本の作業場を共有領域の下に並べたため、 前の回の解答が各runから到達できる位置にあった。丸写しは無かったが、 きれいな追試としては成立しなくなった。以後こうしている。
読み方は決まる。汚染は必ず「答えが揃う」向きに働くので、 それでも観測されたばらつきは下限になる。
被験者(AI)が出題側の欠陥を指摘した回数は、2業種で通算44件。うち事実だったものは大半。 記録して公開している理由は2つある。ひとつは、指摘されなければ気づかないまま数字を出していたから。 もうひとつは、壊れ方に型があったから。
索引が1段だと決めつける(0節で正常終了)。ファイル名が数字だと決めつける。
URLが .htm で終わると決めつける(アンカー付きで全滅)。
表のセルを項番として登録する(本物の項を覆い隠す)。
いずれも、実物のリンクを数えた瞬間に原因が分かった。推測で直そうとした回はすべて外している。
そして被験者の指摘は氷山の一角を指す。「補塡の塡が欠落」という1文字の報告を追うと、 丸数字の項番と算式が画像で全部落ちていた。別々の症状に見えた2つの報告が、 同じ原因(番号のタグ分断による上書き)だったこともある。