I benchmarked Claude Code's caveman plugin against "be brief."
한 번의 벤치마크를 통해 Claude Code 압축 플러그인인 Caveman과 단순한 두 단어 프롬프트("be brief")를 비교 분석한 결과, 단순 압축보다 출력의 일관성과 구조가 더 중요한 가치임을 확인했습니다.
- **무엇이 일어났는지**
Caveman 플러그인과 "be brief"라는 두 단어 프롬프트를 24개의 프롬프트에 걸쳐 품질 및 토큰 수 기준으로 벤치마킹했습니다. 결과적으로 두 방식 모두 품질과 토큰 범위에서 유사한 성능을 보였으며, Caveman의 압축 기능이 내용의 정확성을 해치지 않았음이 입증되었습니다.
- **왜 중요한지**
단순히 토큰 수를 줄이는 것(압축)보다, 세션 전반에 걸쳐 일관된 출력 구조를 유지하고 규칙을 지속적으로 적용하는 것(일관성)이 실제 사용자에게 더 큰 가치를 제공한다는 점을 보여줍니다. 이는 다운스트림 도구 사용이나 장기 세션에서 Claude의 출력을 소비할 때 중요한 차이점입니다.
- **주의할 점 또는 맥락**
Caveman의 'Ultra' 모드가 안전 경고나 파괴적인 작업에 대해 압축을 생략하는 'Auto-Clarity' 기능을 작동시켜 더 긴 답변을 생성했는데, 이는 버그가 아니라 설계된 기능입니다. 따라서 압축 전략을 선택할 때는 단순히 토큰 수뿐만 아니라, 안전 기능이 작동할 때의 출력 변화와 출력의 일관성을 함께 고려해야 합니다.
- **무엇이 일어났는지**
Caveman 플러그인과 "be brief"라는 두 단어 프롬프트를 24개의 프롬프트에 걸쳐 품질 및 토큰 수 기준으로 벤치마킹했습니다. 결과적으로 두 방식 모두 품질과 토큰 범위에서 유사한 성능을 보였으며, Caveman의 압축 기능이 내용의 정확성을 해치지 않았음이 입증되었습니다.
- **왜 중요한지**
단순히 토큰 수를 줄이는 것(압축)보다, 세션 전반에 걸쳐 일관된 출력 구조를 유지하고 규칙을 지속적으로 적용하는 것(일관성)이 실제 사용자에게 더 큰 가치를 제공한다는 점을 보여줍니다. 이는 다운스트림 도구 사용이나 장기 세션에서 Claude의 출력을 소비할 때 중요한 차이점입니다.
- **주의할 점 또는 맥락**
Caveman의 'Ultra' 모드가 안전 경고나 파괴적인 작업에 대해 압축을 생략하는 'Auto-Clarity' 기능을 작동시켜 더 긴 답변을 생성했는데, 이는 버그가 아니라 설계된 기능입니다. 따라서 압축 전략을 선택할 때는 단순히 토큰 수뿐만 아니라, 안전 기능이 작동할 때의 출력 변화와 출력의 일관성을 함께 고려해야 합니다.