cad-bench — 建築2D図面の作図

何を測ったか

間取りを spec.json で完全に与える。測るのは作図能力だけで、設計能力は測らない。 こうすると正解が spec から一意に導出でき、非公開の実図面を必要としない。 「作図注記つきの正解データが手に入らない」という、このベンチが作られてこなかった最大の理由を回避できる。

L2 は「内部の計測値」ではなく「CADが実際に描く文字」を見る。 ここを見落とすと、幾何が完璧で寸法だけ100倍の図面が満点になる。実際になった。

幾何を難しくしても、分離しなかった

同じ建物で座標の与え方だけを変えた2課題（T002 は数値で全部与える／T003 は通り芯記号から導出させる）を armB で5回ずつ取った。導出させたほうが安定して高かった。設計意図と逆である。

理由は被験者10名の報告が一致していた。T002 でも、壁面・マイター・T字の切り分け・小口は一つも与えていない。 壁芯と厚さだけから全部導出させている。10名全員が45度隅の伸び 60·tan(22.5°)=24.853mm を独立に手で出した。 T003 が上乗せしたのは記号の解決と中央出しで、模型が最も得意な作業だった。

そこで重い部分そのもの——offset して union して subtract する幾何——を変えた課題 T005 を作った。

課題には歯がある。壁厚を一様と誤読した実装は 79.9%（被覆率 9.2%）まで落ちる。 同じ誤読を T002 でやっても 100.0% のままなので、この落差は T005 が新しく作ったものである。

それでも分離しなかった。

T005 は T002 と区別できない。分布の形まで同じ——4本がほぼ満点、1本だけ落ちる。 そして落ちた1本の原因は幾何ではない（次節）。

5本が小数第3位まで同じ答えを出した

厚さ違いのマイターを、5本全部が正確に解いていた。外側 (3724.787, 2805)、 内側 (3555.213, 2655)、斜め壁のオフセット 105/√5 = 46.9574。 斜め壁を x+2y=9100 と立てて法線 (1,2)/√5 で押す解き方まで一致していた。

30本で点差を作ったものは、1つしかない

ezdxf.new(version, setup=True) が作る EZDXF という寸法スタイルが、 既定で dimlfac=100.0 / dimtxt=0.25 を持っている。 メートルで描いてセンチで表示する図面の想定である。仕様は mm。

踏まなかった腕は明示的に書いている——「EZDXF はメートル1:100前提なので、そのまま使うと 910 が 『91000』と表示されて全滅します。ここが今回いちばん怖い」。

一方で、こちらが難しくしようとして入れたもの——45度でない斜め、厚さの不一致、面芯、小口の縮退——は 一つも点差を作らなかった。模型は解析幾何を正確にやる。

腕ごとに、散らばりの「形」が違う

T004（法規判定つき・満点177）を3腕とも5回ずつ取った。点の高低より、失敗の形のほうが実務に効く。

ライブラリは破滅的な失敗を消す代わりに、静かな意味の誤りを持ち込む。 armA の 0点は、生き残った実行が全部「自分の出力を読み返してチャンク境界を自己監査していた」のに対し、 死んだ実行だけがそれをしなかった結果だった。実行環境の無い腕にとって、唯一の検証手段は読み返しである。

満点の腕が買っているのはコストである

armC は armB の 1.7倍のトークンと 6.3倍のツール呼び出しを使う。 買っているのは中央値 0.4ポイントではなく、最悪値 91.1% → 97.2% のほうである。 「たまに寸法が100倍で出る」を「出ない」に変えるために払う額、と読むのが正しい。

Chamfer も IoU も、この失敗を検出できない

この穴が本当に空いているかを潰しにいった記録。

• Autodesk 公式が「表示値が実長と一致しない原因＝DIMLFAC／テキスト上書き」を文書化している。 しかし自動検出は無い。DIMREASSOC も QSELECT も手動起動で、手打ち上書きしか捕まえず、 DIMLFAC は構造的に見逃す
• AI生成CADの評価研究は Chamfer / IoU / F1 / invalidity rate のみ。 寸法ラベルの意味論を測る指標が無い
• buildingSMART IDS は Solibri の原文で "IDS currently does not have the capabilities to define intrinsic details of geometry."
• Dessia は実在する唯一の2D図面自動検査プレイヤー。図面 × BOM × 表題欄の整合は既に商品。 ただし寸法チェーン検査は印字値どうしを足すだけで、DIMLFAC=100 の図面を満点で通す（実証済み）
• 千葉県 照査項目チェックリストは図面間整合・計算書照合・数量照合を要求するが、 「CAD」「自動」「ソフト」「表示値」の出現はすべて0件。人が紙に有／無を書く様式

AIはもうCADを描ける。図面の中の「数字どうし」を照合する商品はある。 しかし「数字と線」を照合するものは、まだどこにもない。

採点基準の 28% は、わたしの意見である

このシリーズは「参照解を自分で書かない」を掲げている。通関は税関の事前教示回答、税務は国税庁の質疑応答事例が 答えを持っている。cad は違う。答えは spec から決定論で導出されるので一意だが、 「何を検査項目に選び、何点を配るか」はわたしの判断である。そこを項目単位で開示する。

規格に当てにいった結果、採点器の誤りが3件出た。 「通り芯は一点鎖線」は JIS A 0150 10.1.1 が「基準線は通常、実線」と定めており、規格に反していた。 「符号は丸囲み」は条件付きを必須にしていた。「文字は2.0mm以上」は Z 8313-10 の呼び（漢字3.5／仮名2.5）のどれにも無い値で、しかも MTEXT を見ていなかった。

この3件が、L5 における腕の差をすべて作っていた。規格どおりに直すと、 12提出と参照解の計13ファイルが完全に横並びになる——L5 は腕を1ミリも分離していない。 「手書きの腕は高くつく作法を落としている」という所見は撤回した。

こちらの誤りを8件潰した

点数を眺めていて出たものは、一つも無い。

現在地と、残している弱点