AI 성능지표보다 내 실험 — 활용 성능은 경험과 자원에서 시작된다

AI 모델의 성능지표가 좋아졌다는 발표는 그 모델이 내가 실제로 활용하는 작업에서 좋다는 뜻이 아니다. 벤치마크가 측정하는 축과 내 일의 축은 다르다. 모델 선택의 출발점은 뉴스의 서열이 아니라, 내가 축적한 경험과, 직접 실험해볼 수 있는 자원(데이터·환경·검증 체계)이다.

2026-07-16 Kimi K3가 "오픈 모델 사상 최대, 프론티어급"이라는 평가와 함께 출시됐고, 경쟁사 주가가 흔들릴 만큼 충격이었다. 하지만 그 수식어의 근거는 전부 영어 벤치마크와 코딩·추론 지표였다.

실제로 내 일(한국어 고객 서류)로 실험했다. 한 고객사 소프트웨어 개발 보고서를 기존 작성본을 보지 않고 새로 쓰게 한 뒤, Claude Code가 클로드본·키미본·코덱스본을 교차 검수했다. 결과는 코덱스 9점, 키미 4점. 키미 작성본은 3월 구판 요구사항 정의서(FR-01~05)를 최신 v1.2(SW-01~07) 대신 인용했고, 기술 "검토" 문서를 "구현 완료"로 승격시켰으며, 기록에 없는 시연을 "완료"로 단정했다. 문장은 유려했지만 정본 확인 없이 확신을 갖고 쓰는 — 7월 초 실험 보류 사유와 같은 — 판단 습관이 그대로였다.

반대로 이번 실험이 가능했던 것 자체가 자산이다. 볼트에 프로젝트 전 과정의 회의록·요구사항 정의서·버전 이력이 쌓여 있었고, 검수해줄 두 번째 모델과 비교할 작성본이 있었기에 "좋아졌다더라"를 허상과 실재로 가려낼 수 있었다. 모델은 바뀌어도 이 실험 인프라는 남는다. 성능지표는 남의 시험지고, 내 시험지는 내가 만든다.

---

이어지는 생각: AI 작업의 가치는 UI가 아니라 컨텍스트·도구·검증·저장 구조에 있다 · 나 자신에게 투자하는 것이 가장 높은 수익률의 선택이다 · 장비 투자보다 AI 활용 — 병목은 하드웨어가 아니다 · CLI 에이전트의 지식 자산화 복리 · AI 시대 PM 역할의 재정의