두 질문 모두 맞는 조문과 형량을 돌려준 서버는 chrisryugj/korean-law-mcp 하나였고, app.sallim/contract-compass는 공공계약 질문에서 가장 완결된 답을 줬지만 도로교통법은 범위 밖이었다. scvcoder/korean-law-alio-mcp는 사용자 키를 받는 BYOK 서버인데 이번 회차는 키 없이 불러 측정하지 못해 순위에서 뺐고([2026-10-12 정정] 종전엔 법령 도구를 고장으로 적고 3위에 두었다)…
위 총평의 서버 수는 분야 교정 전 기준이다 — 이 분야에서 1건이 아래 「분야 교정」으로 빠졌다.
| 서버 | 도구 | 웜 ms | 콜드 ms | 설명 | 주석 | 사실오류 |
|---|---|---|---|---|---|---|
| chrisryugj/korean-law-mcp | 10 | 204 | 202 | 100% | 100% | 0 |
| sallim/contract-compass 운영자 | 11 | 33 | 33 | 100% | 100% | 1 |
순위는 실제로 물어본 결과다 — 같은 질문을 각 서버에 던지고 답변을 채점했다. 서버당 3회 물어 재현성까지 채점했다. 질문·호출기록·답변은 answers/에, 채점은 grades/에, 기준은 JUDGING.md에 있다.
| 서버 | 도구 | 웜 ms | 콜드 ms | 설명 | 주석 | 사실오류 |
|---|---|---|---|---|---|---|
| scvcoder/korean-law-alio-mcp | 125 | 222 | 240 | 76% | 0% | — |
| peter120525-cmd/lawmadi-os | 19 | 166 | 179 | 100% | 0% | — |
분야 교정 1건 — 이 분야 검색어에 걸려 수집됐지만 불러 보니 다른 것을 하는 서버다. 남의 분야 질문으로 매긴 등수는 그 서버를 잰 값이 아니라서 순위에서 뺐다. 지우지는 않는다 — 찾는 사람이 있다.
| 서버 | 실제 분야 | 채점자가 확인한 것 |
|---|---|---|
| Choihello/startup-law-mcp | 기타 | “이 서버는 창업 관련 법령과 K-Startup 지원사업을 다루는 도구라 국가계약법·도로교통법 질문에는 맞지 않으며…” |
tools/list에 실제로 들어 있는 개수. 0이면 껍데기다readOnlyHint 같은 주석이 붙은 비율. 둘 다 없으면 모델이 그 도구를 언제 어떻게 쓸지 모른다 — 데이터가 정확해도 답에 도달하지 못한다—는 채점하지 않았다는 뜻이다