kanzei-bench — 通関HS分類

なぜ通関を選んだか

4候補を「公的基準があるか」ではなく 権威が確定させた正解の集合が公開されているか で比べた。決め手はこれ一本で付いた。

1件ごとに 貨物概要（性状・材質・用途・包装・製法）と 税番9桁 と 分類理由（通則を名指しで引用）が揃っている。こちらは選ぶだけで、書かない。

この業種だけが持っている構造：基準がプロンプトに入らない

着手して最初に分かったのがこれで、実験の設計が変わった。

下段は K001 を走らせてから判明した。着手時は上段（81万字）を全量と考えており、関税率表解説296万字と分類例規60万字を勘定に入れていなかった。詳細は「出題側の欠陥」。

積算では「条文を渡す／渡さない」が実験の操作として成立した。通関では成立しない。9,654品目の関税率表を丸ごと渡せないので、armB→armC の差は「知識の有無」ではなく「検索できるかどうか」になる。

sekisan-bench の結論「知識を渡す価値は、その知識の有名度に反比例する」は、知識が渡せる大きさであることを暗黙の前提にしていた。ここでその前提が外れる。

腕は4本

sekisan は3腕（条文なし／条文あり／条文＋検査器）で切ったが、知識と実行を1本に束ねていた。

カットオフ前後で切る — 既存3本で測れなかった軸

処理年月日で絞れるので、モデルの知識カットオフ（2026年5月）より後に処理された事例だけを取り出せる。学習データに入りようがない事例である。

層は揃えてある（通則3の要否 × 漏洩帯の6層が同数）。条文はHS2022で両年とも同一。参照解の税番は両方とも2026年8月1日版に実在することを確認済み。したがって K001 と K002 の差は暗記の効果に帰せられる。

ただし片側だけの検定である。差が出なければ「暗記していない」と言えるが、差が出たときに暗記以外の説明（2年で貨物の傾向が変わった等）を排除しきれない。

課題が成立するかを先に測った

貨物概要は税関が分類を決めた後に書いた要約なので、関税率表の言い回しに翻訳済みならベンチとして何も測れない。答えの語が貨物概要にそのまま出ている割合を実測した。

中央値0.12。0.8を超える事例は1件も無い。翻訳済みではないので成立する。高漏洩帯は実質「名前を引くだけ」なので層として分けて数える。

採点の前に潰した2つの穴

run.sh は採点の前に較正（税関の回答が満点を取るか）と敵対テスト（採点器が騙されないか）を通す。どちらも初回で落ちた。

ほかに 6桁まで全問正解で統計細分だけ捏造した調書は 73/100 を取る。9桁が実在しなければ NACCS が受け付けないので実務ではゼロ。合計点とは別に失格として立ててある。敵対テストは8ケース全通過。

先に書いておく予想

当たっても外れても、そのまま公開する。sekisan S001 では3つ立てて3つとも外れた。

1. armA は9桁でほぼ全滅する。国内細分の3桁は日本固有で、記憶で当たる類のものではない。ただし6桁（国際共通のHS）ではそれなりに当てると見ている。
2. armB は armA とほとんど変わらない。通則は分類の手続きを定めるだけで、どの項に入るかの情報を持たない。積算では条文を渡すだけで 61.3→100 まで動いたが、ここでは動かないと見ている。
3. armC と armD の差は「その他のもの」への逃げで出る。検索できる腕は迷ったとき号の末尾に落とす。検査器はそれを名指しする。
4. K001 と K002 に差は出ない。つまり暗記は効いていない。もし差が出れば、公開ベンチマークの数字が汚染されているという別の話になる。

結果 — K001（カットオフ後61件・n=1）

合計点より深さで割ったほうが中身が出る。国際共通の6桁と、日本固有の統計細分3桁を分けて数える。

関税率表が効いたのは分類の精度ではなく、コードの実在性だった

6桁では4腕とも横並び（43〜48）。9桁だけが倍近く開く。armA と armB は61件中25件・29件で存在しない税番を作っている。形は9桁で、申告した時点で弾かれるものである。armA の 78.0 は armC の 85.5 と 7.5点しか違わないが、armA の調書は4割が申告できない。

通則だけ渡すと、渡さないより悪くなった

通則は分類の手続きを定める規定で、どの項に入るかの情報を持たない。「知識を渡す」は単一の操作ではない。手続きの知識と内容の知識は別物で、前者だけ渡すと成績が下がる。

K001b — 権威を5.4倍にしても、1件も動かなかった

K001 を走らせて、渡していない権威が8割あったことが判明した。税関の分類理由が引いている出典を数えると、関税率表解説47件・部注類注20件・通則10件・国内分類例規3件。49/61 が解説か例規で決まっていた。解説296万字と例規60万字を足し、検査器の欠陥3件を直して armC・armD を走らせ直した。

動いていないのではない。動いた数が釣り合っている

答えが変わったのは armC 8件・armD 9件。どちらも直った4件・壊れた4件。壊れた側は、いずれも解説の該当条を正しく引用したうえで誤った結論に達している。

61件の内訳が、この業種の構造を示している

権威を渡すことは、正答率を上げる操作ではなかった。分類は「どの記述が最もよく当てはまるか」の判断である。権威の量が増えれば、どの候補にも、もっともらしい根拠が見つかるようになる。そのぶん自信は増すが、正しさは増えない。

検査器は2回とも税番を1件も変えなかった

audit の指摘は45件（K001）と36件（K001b）。税番の変更はどちらも0件、通則の記載変更が1件ずつ。欠陥を直しても同じで、armD は両回とも armC を下回っている（39対42）。

K002 — 暗記の効果は検出されなかった

K002（2024年処理）は公開から1年以上あり学習に入りうる。K001（2026年6–7月処理）はカットオフ後で入りようがない。暗記が効いているなら K002 が高く出るはず。

素の差では armA・armB とも「カットオフ後のほうが8件高い」——暗記の逆向き。ただし品目の類が揃っていない（31類 対 21類、共通13類）ので、共通の類だけに絞ると −0.008 と +0.005 でほぼ完全にゼロ。素の +8 は類の構成で説明がつき、カットオフでは説明がつかない。

armC・armD は K002 のほうが良い。ただし原因は暗記ではない

権威を持つ腕は K002 で当てている（−0.096／−0.240）。だが同じ事案を記憶だけで解く armA・armB に差が出ていないので、暗記には帰せられない。armC と armD は独立に同じ説明をしている——K002 の品目構成が、分類例規に文字どおりのチェックリストがある型に偏っていた。

履物6件は全て64類の例規で決まった。アフターブーツの4要件、ダンスシューズの3要件、平底靴の「溝が1mm以上ならすべり止め成型と認定して差し支えない」。貨物概要が例規の要件を一字一句なぞっている。効いたのはモデルの記憶ではなく、配布した資料の被覆率だった。

armC は3条件すべてで 42/61

課題を替え、資料を5.4倍にして、3回とも同じ点数。中身は違う（K002 では履物とチョコレートを例規で拾い、別のところで落としている）が、総数が動かない。

検査器が初めて勝った——ただしこの比較は汚れている

K002 で armD が初めて armC を上回った（46 対 42、「その他のもの」への逃げも 0 対 1）。armD の報告では、audit にかける前に siblings を先回りで回した段階で約10件の答えが変わっている。audit 自体の指摘48件では税番の変更は1件だけだった。

検査器は「提出前の一括検査」としては効かず、「候補を並べる道具」として効いた。ただし armD の道具は3回とも中身が違う（K001 は部注の対応表が壊れ、K001b は path の親落ちが687品目、K002 は41品目）ので、39→46 の伸びを課題の違いだけに帰することはできない。

n=5 — 42 は範囲の上端だった

同一課題・同一条件で armC を5回。全課題 n=1 だったので、追試プロトコルの「平均ではなく最悪値で判定する」が一度も成立していなかった。

armC 42 と armD 39 の差は、armC 自身のばらつきの中に完全に収まる。「検査器を持つ腕のほうが悪い」という読みは n=1 の産物だった。

それより重い——25%が毎回ちがう

この分解は、先に4条件（armC/armD × 解説なし／あり）で出した「資料に関係なく解ける34／資料を増やしても解けない15／資料が動かす12」とほぼ同じ数字になった。別々のやり方で切って同じ形が出ている。

積算と正反対

規則を渡せば決定論的になる、は業種に依る。積算の規則は答えを一意に決めるが、通関の規則は決めない。通関の権威は「どの記述が最もよく当てはまるか」の判断材料であって、判断そのものではない。だから材料をいくら増やしても、判断は揺れる。

出題側の欠陥 通算15件 — うち8件が事実

sekisan では3課題連続で腕が採点側の誤りを見つけた。通関では3回の実行で15件出た（下表は前半9件）。関税率表のパーサは4回直している。最後の1件はこちらの作業ミスで、tariff の平文テキストをパーサ修正前に生成したまま再生成しておらず、318税番が同じ号の中で区別できない状態のものを配っていた。ただし性質が違う。積算の3件は参照解の誤りだったが、今回は1件も参照解に触れていない——全て、腕に渡した資料と検査器の欠陥である。参照解を外部化した効果がここに出ている。

10番はこちらの作業ミスで、生成物を JSON と平文の2つ持ちながら片方だけ手で作って放置していた。armC は自己申告で「兄弟の並び順は平文を grep した」と書いており直撃している。4番・9番・13番は同じ壊れ方で、「無いのか、引けていないのかが分からない」。sekisan S006 の「手で並べた一覧は、増えると必ず腐る」を、別のリポジトリで2回繰り返した。

予想の答え合わせ

1. 当たり。armA は9桁41%・6桁79%。細分は記憶で当たらないが、国際共通のHSはそれなりに当てる
2. 当たり。しかも下回った。通則だけ渡すと 78.0→73.2
3. 外れ。「その他のもの」への逃げは armC 3件・armD 4件で armD のほうが多く、検査器は税番を1件も変えなかった
4. 当たり（記憶だけの腕では）。armA −0.008・armB +0.005 でほぼ完全にゼロ。権威を持つ腕には差が出たが、原因は暗記ではなく分類例規の被覆率だった

現在地