3진 LLM의 1.58비트 장벽을 넘어서
BITCOS는 3진 LLM 가중치의 0 비중을 활용하여 저장 공간을 줄이는 새로운 형식입니다. 이 기술은 모델 가중치를 압축하여 효율적인 저장 방식을 제공하는 것을 목표로 합니다.
조사된 29개 모델 중 26개에서 BITCOS는 기존의 5트릿 패킹보다 작은 저장 공간을 달성했습니다. 특히 기호만 계산했을 때 가중치당 최소 1.485비트를 달성하여 저장 효율성을 크게 개선했습니다.
이 방식은 모든 가중치에 비영 여부를 나타내는 비트 1개를 먼저 배정하고, 그 후에 0이 아닌 가중치에 대한 정보를 처리함으로써 저장량을 최소화합니다. 이는 LLM 가중치의 저장 및 처리 효율을 높이는 데 기여합니다.
조사된 29개 모델 중 26개에서 BITCOS는 기존의 5트릿 패킹보다 작은 저장 공간을 달성했습니다. 특히 기호만 계산했을 때 가중치당 최소 1.485비트를 달성하여 저장 효율성을 크게 개선했습니다.
이 방식은 모든 가중치에 비영 여부를 나타내는 비트 1개를 먼저 배정하고, 그 후에 0이 아닌 가중치에 대한 정보를 처리함으로써 저장량을 최소화합니다. 이는 LLM 가중치의 저장 및 처리 효율을 높이는 데 기여합니다.