Gemma 4 MTP 은폐후 커뮤니티가 파헤치고, Google이 뒤늦게 우회 지원
Google이 MTP(다중 토큰 예측) 기능을 Gemma 4에서 공개 배포판에서 제거했다가, 커뮤니티의 리버스 엔지니어링을 통해 그 존재가 밝혀진 후 외부 보조 모델 형태로 뒤늦게 지원을 시작했습니다.
이는 오픈소스 개발자들이 `.litertlm` 파일 분석을 통해 숨겨진 MTP 아키텍처를 복원하고, TFLite 양자화 구조를 해독하여 추론 속도를 최대 3배 향상시키는 등 기술적 성과를 달성했음을 의미하며, Google이 상업적 경쟁력을 위해 해당 기능을 의도적으로 숨겼을 가능성에 대한 논란을 낳았습니다.
결과적으로 Google은 MTP 관련 예측 헤드를 공개 모델에서 제외했으나, 엣지 디바이스 최적화를 위해 LiteRT 런타임에는 보존했다는 입장을 밝히며 `gemma4_assistant`와 같은 외부 보조 모델 형태로 기능을 우회 지원하는 방식으로 문제를 해결했습니다.
이는 오픈소스 개발자들이 `.litertlm` 파일 분석을 통해 숨겨진 MTP 아키텍처를 복원하고, TFLite 양자화 구조를 해독하여 추론 속도를 최대 3배 향상시키는 등 기술적 성과를 달성했음을 의미하며, Google이 상업적 경쟁력을 위해 해당 기능을 의도적으로 숨겼을 가능성에 대한 논란을 낳았습니다.
결과적으로 Google은 MTP 관련 예측 헤드를 공개 모델에서 제외했으나, 엣지 디바이스 최적화를 위해 LiteRT 런타임에는 보존했다는 입장을 밝히며 `gemma4_assistant`와 같은 외부 보조 모델 형태로 기능을 우회 지원하는 방식으로 문제를 해결했습니다.