어떻게 재나

단계	하는 일	주기
collect	공식 레지스트리 전수 + GitHub 검색 + mcpmoa 공개 API	—
filter	한국 관련성(한글·.go.kr·기관명) → 후보 좁히기	—
enrich	README에서 엔드포인트·패키지·기관 도메인 추출	—
classify	분야·데이터제공형 판정(LLM, 결과는 classification.json에 고정)	—
measure	`tools/list` 실호출 — 가동·도구수·지연·설명·주석	매주
answer	분야별 실제 질문을 서버에 던져 답하게 한다(Haiku)	매월
grade	그 답을 원문과 대조해 채점한다(Opus) → 순위	매월

가동은 매주, 순위는 매월 1일에 다시 잰다. 서버가 안 바뀌면 채점 결과도 안 바뀌는데 매주 재호출하는 것은 새 정보가 아니라 남의 서버에 지우는 부하다.

두드릴 때는 tools/list를 보내고, 200이 온 서버에 한해 간격을 두고 2회 더 불러 웜을 잰다(콜드 1 + 웜 2). User-Agent로 우리를 밝힌다.

200이 안 온 서버는 그렇지 않다. 재시도는 연결 실패·5xx일 때만 1회이고, 4xx는 한 번 부른 결과가 그대로 명단에 오른다. 종전에 이 자리에 “3회”라고만 적어 두었는데, 실패한 서버에는 사실이 아니었다 — fresh-eyes 검수가 잡아 고쳤다(2026-08-29).

가동 지표는 돌리면 같은 값이 나온다 — 원자료가 measured.json에 있다. 순위는 그렇지 않다 — 채점이 모델 판단이라 같은 입력에도 흔들린다. 얼마나 흔들리는지를 우리가 직접 재서 variance/에 공개해 두었다. 우리가 1위인 자리일수록 이 두 문장을 함께 읽어 달라.

우리 두드리개가 하는 것과 못 하는 것

“확인 못 함”은 그 서버의 판정이 아니라 우리 호출의 결과다. 2026-09-03에 두드리개를 MCP 규격에 맞췄다 — 그전까지 이 명단에는 살아 있는데 우리가 규격을 못 지켜 거절당한 서버가 섞여 있었다.

지금 하는 것

initialize JSON-RPC + notifications/initialized 핸드셰이크를 먼저 하고, 서버가 준 Mcp-Session-Id·협상된 MCP-Protocol-Version을 이어 쓴다
POST의 307·308 리다이렉트를 method와 본문을 보존한 채 따라간다(파이썬 표준 urllib은 안 따라간다)
Streamable HTTP가 안 되면 구 HTTP+SSE 전송(GET + Accept: text/event-stream → endpoint 이벤트)으로 한 번 더 물어본다
4xx를 사망으로 읽지 않는다 — 400·404·405·406·415는 전송 방식이 틀렸다는 신호라 다른 전송으로 재시도한다. 연결 실패·5xx는 같은 전송으로 1회 재시도한다
서버가 보낸 오류 본문을 버리지 않고 원자료에 남긴다

그래도 못 하는 것 — 코드로 확인한 것만 적는다.

OAuth·API 키가 필요한 서버는 인증을 못 한다(401/403은 살아있음의 증거로 읽되 도구 목록은 못 본다)
stdio 전송만 지원하는 서버는 원격으로 잴 수 없다
무료 티어의 콜드스타트가 우리 타임아웃보다 길면 못 본다
측정 지점이 한국 한 곳이다 — 지역 차단·지연은 못 가른다

그래서 어휘를 셋으로 가른다: 살아있음 확인(MCP 응답을 실제로 받았다) · 확인 못 함(우리 호출로 확인이 안 됐다 — 죽었다는 뜻이 아니다) · 죽음 확인(DNS 미해결·연결 거부처럼 호스트가 없다는 직접 증거가 있을 때만).

믿으면 안 되는 부분

정확성은 분야마다 질문 두 개로만 봤다. 그 두 문항이 그 분야를 대표한다는 보장은 없다. 질문은 공개돼 있으니 더 나은 질문을 알려 달라
채점자도 모델이다. 근거를 전부 공개하는 것으로 줄일 수는 있어도 없앨 수는 없다 — 이유와 실측 근거는 JUDGING.md에 있다
세 번 물었어도 ‘갈릴 수 있다’까지만 말한다. 서버마다 세 회차가 무엇이 갈렸는지는 채점 원자료의 재현성 칸에 적었지만, 몇 %로 갈리는지는 이 표본(질문 두 개 × 3회)으로 못 댄다
측정 항목을 우리가 골랐다. 원자료 공개로 줄일 수는 있어도 없앨 수는 없다 — 무엇을 고정했고 무엇을 언제 왜 바꿨는지는 신뢰 규약에 있다. 결과를 본 뒤에 바꾼 적이 한 번 있고, 그 건도 거기 적어 두었다
측정 지점은 한국 두 곳이다. 국외에서 재면 값이 다를 수 있고 아직 확인하지 않았다
콜드는 한 번뿐이다. 그 순간 그 서버가 자고 있었을 수 있다
못 잰 것이 더 많다. 후보 중 76건은 주소도 패키지도 찾지 못했다. “작동하지 않는다”가 아니라 확인하지 못했다는 뜻이다 — 그 밖에 80건은 배포 패키지는 확인했으나 원격 주소가 없어 응답을 못 쟀다

날짜를 어떻게 적나

이 사이트의 모든 값에는 잰 날이 붙는다 — 문서를 뽑은 날이 아니다. 가동 지표는 2026-09-14, 축(오픈소스·셀프호스팅)은 2026-09-14, 패키지 축은 2026-09-14에 쟀고, 이 페이지 자체는 2026-10-12에 생성됐다. 한때 우리는 “마지막 측정”에 문서를 뽑은 날을 찍고 있었다. 그 자리는 지금 원자료에 측정일이 없으면 생성이 실패하도록 막혀 있다.