Rethinking Sequence Compression with Test-time Regression
효율적인 언어 및 멀티모달 모델에서 시퀀스 압축은 핵심적인 정보 병목 현상이지만, 기존의 풀링이나 학습된 투영 기반 접근 방식은 성능이 미흡합니다. 본 연구는 테스트 시간 회귀(test-time regression)의 관점에서 시퀀스 압축을 재검토하며, 입력 토큰이 회귀 문제를 정의하고 그 피팅된 계수가 압축된 표현을 형성한다는 아이디어를 제시합니다. 이 회귀 문제는 역전파를 통해 종단 간 학습되며, 계수는 순방향 과정에서 닫힌 형태로 효율적으로 계산되므로 TTR-Compressor라는 일반적인 대안을 도출했습니다.
TTR-Compressor는 기존의 풀링 및 투영 기반 압축 방식에 대한 대안으로 평가되었습니다. 특히 블록별 희소 어텐션(block-wise sparse attention)에 적용했을 때, TTR-Compressor는 어텐션 기반 압축기보다 RULER 성능을 크게 향상시켰습니다. 또한 멀티모달 대규모 언어 모델의 시각 토큰 병합에 적용했을 때도 표준 MLP 병합보다 일관되게 우수한 성능을 보였습니다.
시각 토큰 병합의 경우, TTR-Compressor는 표준 MLP 병합과 동일한 성능을 달성하면서도 시각 토큰을 55.6% 적게 사용했습니다. 이러한 결과는 테스트 시간 회귀가 효율적인 언어 및 멀티모달 모델에서 시퀀스 압축을 위한 효과적인 기본 원리임을 입증합니다.
TTR-Compressor는 기존의 풀링 및 투영 기반 압축 방식에 대한 대안으로 평가되었습니다. 특히 블록별 희소 어텐션(block-wise sparse attention)에 적용했을 때, TTR-Compressor는 어텐션 기반 압축기보다 RULER 성능을 크게 향상시켰습니다. 또한 멀티모달 대규모 언어 모델의 시각 토큰 병합에 적용했을 때도 표준 MLP 병합보다 일관되게 우수한 성능을 보였습니다.
시각 토큰 병합의 경우, TTR-Compressor는 표준 MLP 병합과 동일한 성능을 달성하면서도 시각 토큰을 55.6% 적게 사용했습니다. 이러한 결과는 테스트 시간 회귀가 효율적인 언어 및 멀티모달 모델에서 시퀀스 압축을 위한 효과적인 기본 원리임을 입증합니다.