Tokens Too Cheap to Meter
머신러닝 지능을 사용하는 비용이 기하급수적으로 감소하면서 AI 시대의 패러다임이 변화하고 있습니다. 현재 기계 학습 지능을 사용하는 비용은 매년 수 배의 차이로 줄어들고 있으며, 이는 앞으로도 둔화될 기미가 보이지 않습니다. 앞으로 1~2년 내에 LLM이 단순한 제품이 아닌 컴퓨팅 인프라의 모든 부분에 통합될 것으로 예상되며, 향후 3~6년 내에는 최첨단 품질의 LLM이 일반 하드웨어에서 로컬로 구동될 가능성이 높습니다.
이러한 변화 속에서 AI 사용의 한계는 더 이상 토큰의 양이 아니라 품질과 접근성이 될 것으로 보입니다. 모델 제공업체들은 토큰당 비용을 책정하지만, 실제 작업 완료에 드는 비용은 시간이 지남에 따라 크게 감소하고 있습니다. 특히 모델의 성능과 비용을 비교하는 파레토 프론티어 분석 결과, 모델의 지능(품질)과 작업 완료 비용 사이의 균형점을 찾는 것이 중요해지고 있습니다.
GPU 효율성 역시 지속적으로 향상되고 있으며, 이는 모어의 법칙 이후 가장 큰 효율성 증가로, 2년마다 효율성이 두 배로 증가하는 수준입니다. 또한, LLM이 소프트웨어를 구축할 수 있는 '선택권(Optionality)'이 생기면서, 사용자가 원하는 대로 맞춤 제작된 소프트웨어를 만드는 것이 훨씬 쉬워졌습니다.
다만, 모델을 압축하는 양자화(quantization) 과정에서는 품질 손실이 발생할 수 있으며, 일부 규제 산업에서는 기존 기업들이 시장을 독점하는 과점 구조가 형성될 수 있다는 점을 고려해야 합니다. 따라서 단순히 저렴한 컴퓨팅뿐만 아니라 저렴한 지능을 계획하는 방향으로 나아가야 합니다.
이러한 변화 속에서 AI 사용의 한계는 더 이상 토큰의 양이 아니라 품질과 접근성이 될 것으로 보입니다. 모델 제공업체들은 토큰당 비용을 책정하지만, 실제 작업 완료에 드는 비용은 시간이 지남에 따라 크게 감소하고 있습니다. 특히 모델의 성능과 비용을 비교하는 파레토 프론티어 분석 결과, 모델의 지능(품질)과 작업 완료 비용 사이의 균형점을 찾는 것이 중요해지고 있습니다.
GPU 효율성 역시 지속적으로 향상되고 있으며, 이는 모어의 법칙 이후 가장 큰 효율성 증가로, 2년마다 효율성이 두 배로 증가하는 수준입니다. 또한, LLM이 소프트웨어를 구축할 수 있는 '선택권(Optionality)'이 생기면서, 사용자가 원하는 대로 맞춤 제작된 소프트웨어를 만드는 것이 훨씬 쉬워졌습니다.
다만, 모델을 압축하는 양자화(quantization) 과정에서는 품질 손실이 발생할 수 있으며, 일부 규제 산업에서는 기존 기업들이 시장을 독점하는 과점 구조가 형성될 수 있다는 점을 고려해야 합니다. 따라서 단순히 저렴한 컴퓨팅뿐만 아니라 저렴한 지능을 계획하는 방향으로 나아가야 합니다.