AI 성능지표보다 내 실험 — 활용 성능은 경험과 자원에서 시작된다

AI 모델의 성능지표가 좋아졌다는 발표는 그 모델이 내가 실제로 활용하는 작업에서 좋다는 뜻이 아니다. 벤치마크가 측정하는 축과 내 일의 축은 다르다. 모델 선택의 출발점은 뉴스의 서열이 아니라, 내가 축적한 경험과, 직접 실험해볼 수 있는 자원(데이터·환경·검증 체계)이다.

2026-07-16 Kimi K3가 "오픈 모델 사상 최대, 프론티어급"이라는 평가와 함께 출시됐다. 하지만 그 수식어의 근거는 전부 영어 벤치마크와 코딩·추론 지표였다.

그래서 직접 실험해봤다. 같은 문서를 여러 AI 도구로 만들어보고 원자료와 대조했다. 한 작성본은 구판 문서를 최신판 대신 인용했고, 기술 "검토" 문서를 "구현 완료"로 승격시켰으며, 기록에 없는 일을 "완료"로 단정했다. 문장은 유려했지만 정본 확인 없이 확신을 갖고 쓰는 판단 습관이 그대로였다.

반대로 이번 실험이 가능했던 것 자체가 자산이다. 볼트에 회의록·요구사항·버전 이력이 쌓여 있었고, 검수해줄 두 번째 모델과 비교할 작성본이 있었기에 "좋아졌다더라"를 허상과 실재로 가려낼 수 있었다. 모델은 바뀌어도 이 실험 인프라는 남는다. 성능지표는 남의 시험지고, 내 시험지는 내가 만든다.

---

이어지는 생각: AI 작업의 가치는 UI가 아니라 컨텍스트·도구·검증·저장 구조에 있다 · 나 자신에게 투자하는 것이 가장 높은 수익률의 선택이다 · 장비 투자보다 AI 활용 — 병목은 하드웨어가 아니다 · CLI 에이전트의 지식 자산화 복리 · AI 시대 PM 역할의 재정의