읽을 가치가 있는 기사만, 짧고 또렷하게.

로봇 조작을 위한 세계 행동 모델(WAM)은 미래 상태를 예측하여 로봇의 행동을 안내함으로써 행동 없는 비디오와 행동 레이블링된 상호작용 모두로부터 학습할 수 있게 합니다. 본 연구는 Genie Envisioner Act 2.0(GE-Act 2.0)이라는 세계 행동 모델을 소개하는데, 이는 조작 데이터에서 생성적 및 행동 구성 요소가 모두 처음부터 초기화된 모델입니다. 이 모델은 제어 지향 오토인코더(CoAE), 단일 단계 시각 플래너(SVP), 역동학 모델(IDM)을 결합하여 구성됩니다. CoAE는 공격적인 압축 하에서도 행동 및 지침 관련 정보를 유지하며, SVP는 단일 미분 가능한 통과에서 완전한 미래 상태를 생성하여 시각 계획과 역동학을 보완적인 데이터로 개별적으로 사전 학습할 수 있게 합니다.

이 구성 요소들은 지식 정렬 선택 최적화(KASO)와 공동으로 훈련되어 기록된 행동과 행동적으로 일치하는 예측된 미래만을 선택함으로써 불일치한 감독을 줄입니다. 연구진은 이 모델을 20개의 조작 기술 그룹에 걸쳐 100개 작업에 대해 평가했으며, 코어 훈련 데이터를 300시간에서 30,000시간으로 확장했을 때 성공률이 크게 향상되었습니다. 특히 G2-90D의 성공률은 13.4%에서 31.1%로 증가했으며, 이는 17.7포인트 향상되어 교차 체화 전이(cross-embodiment transfer)를 시사합니다.

이러한 성공률 증가는 19/20 및 18/20 기술 그룹에 걸쳐 나타났으며, 기술별 커버리지가 제로샷 외 분포(OOD) 성공과 강한 상관관계(Pearson r=0.80; Spearman rho=0.85)를 보였습니다. 또한 모델은 최소 90%의 시도에서 객체, 색상, 모양, 위치 참조를 확립하고 이미 확정된 행동이나 일반적인 장면 연관성과 상충하더라도 명시적인 지침을 따릅니다.

자율 언어 모델 기반 트레이딩 에이전트의 실제 운영 기록에 대한 6개월, 인구 규모 측정 기록을 제시합니다. 이 기록은 두 시스템, 즉 실제 ETH를 베이스 메모코인 시장에서 거래한 DX Terminal Pro와 하이퍼리퀴드 선물 거래를 수행한 DXAP 라이브 알파 플리트에서 운영된 에이전트들을 포괄합니다. 측정 기간 동안 약 750만 건의 단일 모델 호출과 30만 건의 온체인 액션이 기록되었으며, 231,638건의 멀티툴 턴을 통해 14,596건의 체결이 발생했습니다.

연구 결과 네 가지 핵심 발견 사항 중 첫 번째는 운영 계층이 전략 텍스트보다 에이전트의 행동을 더 많이 결정한다는 점입니다. 리스크 슬라이더가 레버리지(+0.425/레벨)를 설명하고, 에이전트 고정 효과가 분산의 60%를 흡수하며, 리더보드 렌더 경계가 선택을 인과적으로 경로를 지정한다는 사실이 밝혀졌습니다. 두 번째로, 에이전트의 규모 설정은 변동성에 둔감하며, 모든 변동성 육분위수에서 중간 레버리지가 5.0배로 나타났습니다.

세 번째 발견은 에이전트가 도달한 상승분의 대부분을 포착하지 못한다는 것입니다. 포지션의 43.2%가 24시간 내에 최소 300bp의 유리한 이탈을 보였음에도 불구하고 49.3%는 마이너스 거래 수익으로 마감했으며, 기계적 브래킷은 포지션당 39.0bp의 수익을 회복시켰습니다. 네 번째로, 두 플리트 모두 방향성 우위를 보이지 않았는데, DXAP 플리트는 매칭된 하이퍼리퀴드 리테일 벤치마크(41% 대 50% 왕복 승률)를 뒤처었습니다.

결론적으로, 프론티어 모델들의 결정 품질은 이 시점에서는 통계적으로 구별할 수 없지만, 모델 패밀리별 선택 안정성은 크게 달라진다는 점이 확인되었습니다. 이 연구는 모든 헤드라인이 인과 추론 및 공통 수수료 재진술을 통과했으며, 17가지 규칙 방법론이 자체 철회와 함께 제시되었습니다.

대화형 AI 및 몰입형 AI를 위해서는 다양하고 시뮬레이션 준비가 된 실내 장면 생성 능력이 필수적이지만, 이를 확장 가능하게 생성하는 것은 여전히 어려운 과제입니다. 최근 비전-언어 모델(VLM)에 의존하는 에이전트 기반 텍스트-3D 장면 파이프라인은 높은 충실도를 가진 장면을 생성할 수 있지만, 객체의 반복적인 배치와 정제 과정이 비용이 많이 듭니다. 반면, 파라메트릭 이미지-투-3D 장면 모델은 2D 이미지로부터 강력한 사전 지식을 효율적으로 사용하여 장면을 생성하지만, 종종 부정확하고 물리적으로 유효하지 않은 장면을 만들어냅니다.

이러한 한계를 극복하기 위해 본 논문은 두 패러다임의 장점을 결합한 프레임워크인 SceneMosaic을 제안합니다. SceneMosaic은 학습된 이미지 기반 사전 지식에서 초기 후보를 얻은 후 VLM 에이전트를 통해 결과를 진화시켜 효율성과 물리적 타당성을 모두 보장합니다. 특히 SceneMosaic은 자연 장면의 국소성을 활용하여 장면을 독립적인 국소 단위로 분해하고 각 단위 내에서 별도로 진화시킨 다음 카르테시안 곱을 통해 전체 장면을 구성합니다.

SceneEval-100 평가에서 SceneMosaic은 가장 강력한 에이전트 기반의 의미적 레이아웃 품질 기준선과 24배의 속도로 일치하며, 물리적 위반을 크게 줄이고 가장 높은 인간 평가를 받았습니다. 이 연구는 장면 생성의 효율성과 물리적 정확성, 그리고 다양성을 동시에 달성하는 데 중요한 진전을 제공합니다. 관련 코드는 공개되어 있습니다.

거대 언어 모델의 정렬 과정에서 유용성과 안전성 사이의 균형을 맞추는 것은 근본적인 도전 과제입니다. 모델은 "누군가를 어떻게 쏘는가"와 같은 유해한 질문에는 거부해야 하지만, "좋은 사진을 어디서 찍을 수 있나요"와 같이 표면적으로 위험해 보이는 입력에는 응답해야 합니다. 그러나 모델은 실제로 유해한 질문과 표면적으로 위험한 언어를 포함하는 무해한 질문을 구별하는 데 어려움을 겪어 잘못된 거부(false refusals)가 발생합니다.

본 논문에서는 안전 튜닝 데이터셋의 응답을 두 가지 구성 요소, 즉 (i) 정형화된 거부 진술과 (ii) 거부를 설명하는 근거(rationale)로 분해하여 이 문제를 다룹니다. 실험 결과, 거부 진술은 유해한 질문과 무해한 질문을 정확하게 구별하는 것을 방해하며 피상적인 단서에 의존하게 만듭니다. 반면, 오직 근거만을 사용하여 훈련하는 방식은 안전 성능을 유지하면서 잘못된 거부를 줄이는 데 효과적입니다.

이러한 근거 기반 접근 방식은 인컨텍스트 학습(ICL) 구성에서도 이점을 보였으며 평가된 추론 시점 완화 방법들과도 호환됩니다. 연구 결과는 정렬된 에이전트를 구축하기 위해서는 정밀하게 선별된 세분화된 안전 감독 데이터셋이 필수적임을 강조합니다. 이는 유용성과 안전성을 더 잘 조화시키는 방향으로 정렬된 에이전트를 구축하기 위한 방향을 제시합니다.

비전-언어 모델(VLM)은 적절한 요청에는 도움을 주지만, 부정확하거나 안전하지 않거나, 실행 불가능하거나, 답변할 수 없는 요청에는 준수를 거부할 것으로 예상됩니다. 하지만 기존 벤치마크들은 요청 전체 수준에서만 불준수를 평가하여 각 요청이 준수를 요구하거나 불준수를 요구한다고 가정합니다. 실제 환경의 질의는 답변 가능한 내용과 준수를 거부해야 하는 구성 요소가 혼합되어 있을 수 있습니다.

이러한 문제를 해결하기 위해 본 논문은 VLM에서 선택적 불준수를 평가하기 위한 벤치마크인 KoNA를 소개합니다. KoNA는 거짓 전제(False Premise), 시각적 접근 불가능성(Visual Inaccessibility), 보편적 미지(Universal Unknown), 작업 실행 가능성(Task Feasibility), 안전성(Safety)이라는 다섯 가지 범주에 걸쳐 선택적 불준수를 평가합니다. 각 작업은 단일 및 복합 질의 쌍을 사용하여 쿼리 수준 불준수와 구성 요소 수준 불준수라는 두 가지 능력을 평가합니다.

다양한 VLM에 대한 평가 결과는 모델들이 적절하게 거부하거나, 수정하거나, 삼가는 데 실패하며, 특히 선택적 불준수가 필요한 질의에서 이러한 실패가 더욱 두드러진다는 것을 보여줍니다. 연구진은 이러한 도전을 해결하기 위해 선택적 불준수가 필요한 KoNA 예제와 직접적인 답변을 받아야 하는 완전히 답변 가능한 데이터셋을 사용하여 VLM을 미세 조정했습니다.

이러한 미세 조정된 모델들은 불준수 정확도에서 상당한 개선을 달성하면서도 답변 가능한 작업에서의 성능을 대부분 유지했습니다. 이는 미세 조정된 모델이 답변 가능한 구성 요소와 불준수가 필요한 구성 요소를 구별하고 작업에 적합하게 응답할 수 있음을 시사합니다.

거대 언어 모델(LLM)에서의 추론 과정은 문제 공식화, 목표 분해, 연역과 같은 다양한 기능적 연산으로 이루어집니다. 이러한 연산들이 텍스트상에서 명확히 구분됨에도 불구하고, 이들이 은닉 표현 공간에서 어떻게 기하학적으로 조직되어 있는지에 대한 정보는 부족했습니다. 본 연구는 각 추론 연산이 은닉 표현에 상응하는 기하학적 구조를 가지는지 조사했습니다.

연구 결과, 추론 연산들은 홀드아웃 표현에서 분리 가능하며, 이러한 분리성은 중간 레이어에서 가장 두드러지게 나타났습니다. 또한 이러한 구조는 어휘적 또는 위치적 혼란으로 설명되지 않는 것으로 확인되었습니다. 레이어 전반에 걸쳐 토큰별 연산 정렬은 스팬에 걸쳐 더 분산되며, 동일한 표면 토큰들은 주변 청크의 연산에 따라 다르게 표현됩니다.

어텐션 마스킹 개입을 통해 확인한 바에 따르면, 청크 시작점에서의 연산 정렬된 표현은 선행 추론 맥락에 의존하는 것으로 나타났습니다. 이는 언어 모델이 언어적 추론 표현과 그 내부 기하학적 구조 사이에 표현적 대응 관계를 유지하고 있음을 시사합니다.

이 연구는 언어 모델이 추론 표현과 내부 기하학적 구조 사이에 표현적 일치를 유지한다는 것을 입증합니다. 관련 코드와 프로젝트 자료는 https://github.com/naver-ai/beneath-cot에서 확인할 수 있습니다.

LLM 에이전트는 고객 서비스 처리, 분쟁 조정, 내부 시스템 운영 등 실제 운영 소프트웨어로 빠르게 자리 잡고 있습니다. 그러나 이러한 에이전트를 구축하는 작업이 코딩 에이전트에게 위임되면서, 실제 고객과의 상호작용 조건에서 AI 시스템이 목표를 달성할 수 있는지에 대한 기존 벤치마크는 부족한 실정입니다. 이에 연구진은 에이전트 구성을 핵심 과제로 삼는 벤치마크인 $\tau^\tau$-bench를 소개합니다.

이 벤치마크는 개발자 에이전트에게 실제 업무 환경과 동일한 출발점을 제공합니다. 구체적으로, 에이전트는 실제 비즈니스가 보유한 기록, 요구사항을 가진 고객, 운영이 거쳐야 하는 생산 API, 상속할 코드베이스, 그리고 서비스 비용 및 모델에 대한 제한 사항을 부여받습니다. 에이전트는 이 모든 것을 바탕으로 완전한 고객 서비스 에이전트를 제공해야 하며, 이는 홀드아웃된 시뮬레이션 사용자에게 배포하여 평가됩니다.

53가지 작업과 네 가지 도메인을 포괄하는 평가 결과에서, 가장 강력한 구성인 Claude Opus 5를 Claude Code 하에서 실행했을 때 평가 시뮬레이션의 23.9%를 통과했습니다. 전문가가 작성한 참고 기준 상한선은 82.2점을 기록했습니다. 이러한 결과는 인간 에이전트 개발자가 겪는 실패 사례와 일치하는데, 모델이 기록에 대한 깊은 이해 대신 피상적인 질의를 하고, 고객에게 거의 소통하지 않으며, 에이전트 아키텍처와 서비스 비용에 대한 실험을 충분히 하지 않고 첫 번째 작동하는 디자인을 배포하는 경우가 많습니다.

연구진은 $\tau^\tau$-bench를 통해 협력적 에이전트 구축 작업을 코딩 에이전트를 위한 측정 가능한 목표로 전환하고자 합니다. 이는 실제 운영 환경에서 에이전트의 성능과 현실성을 측정하는 데 중요한 기준을 제시합니다.

거대 언어 모델(LLM)이 자연어 문제 설명으로부터 최적화 모델을 공식화하는 데 사용되고 있지만, 실제 운영 연구(OR) 요청은 종종 불완전합니다. 목표, 제약 조건 또는 비즈니스 규칙이 누락되어 수학 프로그램의 결과가 달라질 수 있습니다. 기존의 평가 방식들은 완전한 사양을 가정하기 때문에 에이전트가 모델링 전에 언제 명확화가 필요한지 아는지 여부를 간과합니다.

이에 연구진은 사전 공식화 명확화를 위한 벤치마크인 OR-Clarify를 소개합니다. 이 벤치마크는 부분적인 문제 설명과 숨겨진 구조화된 슬롯을 제시하며, 시뮬레이션된 사용자와의 제한된 상호작용을 통해 에이전트를 평가합니다. OR-Clarify는 슬롯 복구, 중지 행동, 암묵적 가정, 상호작용 비용을 측정하며 개방형 및 선택 기반 명확화를 모두 지원합니다.

나아가 연구진은 해결되지 않은 공식화에 결정적인 격차를 식별하고 다음 질문을 할지 또는 중지할지를 안내하는 2단계 프레임워크인 Interactive Optimization(InterOPT)을 제안했습니다. 선택 기반 실험에서 InterOPT는 정확한 슬롯 복구에서 모든 기준 모델을 크게 능가했으며, 개방형 설정에서는 강력한 선행 방법들과 경쟁할 만한 성능을 보였습니다.

결론적으로 OR-Clarify와 InterOPT는 OR 지원을 선택적 완전성 결정으로 재구성합니다. 즉, 필요할 때 명확화하고, 준비가 되면 중지하며, 부족한 부분을 정량화하는 방식으로 접근합니다.

수백 개의 객체가 밀집된 복잡한 장면에서 구성적인 3D 표현을 생성하는 문제를 연구합니다. 목표는 게임, AR/VR, 시뮬레이션, 로봇 공학 등 후속 응용 분야에 필요한, 공유된 월드 프레임에 배치된 개별 객체 메시들의 집합으로 장면을 표현하는 것입니다. 이러한 작업은 객체들이 서로 심하게 가려지고 각 시점에서 기하학의 일부만 드러나는 밀집된 장면에서 특히 어렵습니다.

기존의 기하학 기반 접근 방식은 장면 전체를 단일 표현으로 재구성하며 가려진 영역에 불완전한 기하학을 남기는 반면, 생성적 사전 지식을 활용한 기존의 구성적 방법들은 비교적 단순한 장면에 국한되어 적용이 제한적이었습니다. 본 연구는 강력한 단일 객체 3D 생성 사전 지식을 다중 시점 관찰에 적응시켜 수백 개의 객체가 포함된 복잡한 장면을 구성적으로 생성할 수 있음을 보여줍니다.

이러한 패러다임을 Pixal3D에 적용하고 다중 시점 조건화 경로를 확장하여 객체 생성을 여러 자세한 관찰에 기반하도록 구현했습니다. 모델은 정규 공간에서 단일 객체로 미세 조정되었지만, 장면 수준의 훈련 없이도 심한 가려짐이 있는 대규모 장면으로 일반화되어 이 패러다임의 실현 가능성과 확장성을 입증했습니다.

연구진은 수백 개의 객체와 개별 객체 주석, 실제 메시를 포함하는 포토리얼리즘 벤치마크인 UE-MeshyScene을 도입했습니다. 단일 객체, 제어된 다중 객체, UE-MeshyScene 평가에서 본 방법은 기존 접근 방식보다 일관되게 우수한 성능을 보였으며, 장면의 복잡성과 가려짐이 증가할수록 성능 향상이 더욱 커졌습니다. 또한, Marble이나 HY-World 2.0과 같은 생성된 3DGS 세계를 구성적인 메시 장면으로 변환하는 광범위한 적용 가능성도 입증했습니다.

레이어 드롭아웃(stochastic depth)이 대규모 언어 모델(LLM)의 훈련 및 추론 효율성을 크게 향상시킨다는 연구 결과가 발표되었습니다. 이 연구는 레이어 드롭아웃이 언어 및 비전 트랜스포머 모두에서 더 빠른 훈련, 높은 정확도, 그리고 제로샷 레이어 가지치기(zero-shot layer pruning)에 대한 견고성을 제공함을 보여줍니다.

최근 LLM 사전 훈련 방식에서는 드롭아웃이 거의 사용되지 않고 있으며, 드롭아웃이 정확도를 저하시킬 수 있다는 보고는 있었으나 그 효과를 정량화한 연구는 부족했습니다. 본 연구는 최적의 레이어 분포, 시간 스케줄, 옵티마이저 하이퍼파라미터를 적용했을 때, 레이어 드롭아웃이 동일한 훈련 FLOPs 대비 더 낮은 손실을 달성하며 최대 25%의 훈련 FLOPs를 절약할 수 있음을 입증했습니다.

나아가 레이어 드롭아웃은 훈련 후 최적화에 중요한 역할을 하여 조기 종료(early exit), 중간 레이어 건너뛰기(intermediate-layer skipping), 자기 추론 디코딩(self-speculative decoding)과 같은 기술을 가능하게 합니다. 이러한 최적화를 통해 정확도 손실을 거의 없이 추론 속도를 최대 1.5배까지 높일 수 있습니다.

이러한 발견은 271M에서 8.2B 매개변수 모델과 160B 토큰에 이르는 대규모 훈련 환경에서 신뢰할 수 있으며, 2400건 이상의 훈련 실험을 통해 입증되었습니다. 모든 사전 훈련 실험은 Cerebras CS-3 시스템에서 실행되었습니다.

Rust의 `dyn Trait`이 메모리에서 어떻게 작동하는지 시각화하는 실험을 통해 Rust의 다형성 접근 방식을 탐구합니다. 이 글은 C++의 가상 함수(Virtual Functions)와 CRTP(Curiously Recurring Template Pattern) 같은 접근 방식과 Rust의 접근법을 비교하며, 언어 간의 1:1 비교에 대한 철학적 차이를 조명합니다.

C++에서 가상 함수는 런타임 다형성을 구현하지만, 객체마다 가상 테이블 포인터(vtable pointer)가 포함되어 모든 인스턴스에 오버헤드를 발생시킵니다. 반면 Rust는 모노모피얼라이제이션(Monomorphization)이라는 정적 분배(Static Dispatch)를 통해 런타임 비용 없이 컴파일 타임 다형성을 달성합니다. 이는 C++의 방식이 객체마다 오버헤드를 추가하는 것과 대조됩니다.

특히 Rust의 핵심은 제로 크기 타입(Zero-Sized Types, ZST)을 허용한다는 점입니다. C++에서는 모든 객체가 메모리 주소를 통해 고유한 정체성을 갖기 위해 최소 1바이트의 크기를 가져야 하지만, Rust에서는 소유권(ownership)을 통해 정체성이 컴파일 타임에 추적되므로 크기가 0인 타입이 가능합니다. 이러한 메모리 및 정체성 추적 방식의 차이는 Rust의 설계 철학을 이해하는 데 중요한 맥락을 제공합니다.

위키미디어 재단(Wikimedia Foundation)의 미국 기반 직원들이 통신 노동자 협회(Communications Workers of America, CWA) 지역 9415에 가입하기 위해 압도적인 표차로 노조 결성 투표에서 승리했습니다. 이는 위키미디어 재단 직원들이 각국의 법적 체계 내에서 단체 교섭을 통해 권리를 확보하려는 글로벌 운동의 중요한 이정표가 됩니다.

이 승리는 위키 워커스 유나이티드(Wiki Workers United, WWU)의 노력으로 이루어졌으며, 이는 직원들의 목소리, 투명성, 공정성, 그리고 공동 관리(shared stewardship)를 강화하기 위한 움직임의 일환입니다. 조직 위원회는 이번 승리가 10년간의 조직화 노력에 있어 정부 승인된 단체 교섭 단위가 탄생했다는 점에서 큰 의미를 가진다고 밝혔습니다.

노조 측은 이번 승리가 국제적인 연대의 힘을 보여준 것이며, 위키미디어 직원들이 오랜 기간 요구해 온 목소리를 얻기 위해 강력한 계약을 협상할 수 있는 힘을 갖게 되었다고 강조했습니다. 또한, 이 운동은 위키미디어 재단 직원뿐만 아니라 1,500만 건 이상의 편집을 한 2,000명 이상의 자원봉사자 및 커뮤니티 구성원들의 지지를 받았습니다.

코드 품질은 한계가 없으며 기술 부채는 파산하지 않는다는 주장이 제시됩니다. '침몰하는 배'와 같은 비유는 종종 코드베이스를 묘사하지만, 실제로는 코드 품질이 특정 수준에 도달하기 전에 비즈니스 자체가 붕괴될 수 있다는 점을 간과하게 만듭니다. 소프트웨어는 물리적인 건물과 달리 무한히 악화될 수 있으며, 성능 저하나 추상화의 감소는 언제든지 발생할 수 있습니다.

저자는 아마존에서의 경험을 통해 복잡한 레거시 시스템이 어떻게 형성되는지 설명합니다. 시스템이 거대해지고 팀 간의 경계를 넘어 코드가 접근하기 어려워지면서 지식의 손실이 발생했고, 이는 시스템을 단순화하려는 노력을 억압하는 결과를 낳았습니다. 이러한 조직적 마찰과 보상 체계는 아키텍처를 개선하려는 시도를 지속적으로 실패하게 만들며, 결국 기술 부채를 해결하지 못하고 시스템은 계속 침몰하게 됩니다.

이러한 상황에서 중요한 질문은 코드가 아닌 조직 자체가 침몰하는 것인지에 대한 것입니다. 대규모 자본 흐름을 가진 기업은 내부적인 부패를 어느 정도 견딜 수 있지만, 소프트웨어 품질에 민감한 비즈니스 모델을 가진 기업에게는 나쁜 소프트웨어가 실질적인 손실로 이어질 수 있습니다. 따라서 기술 부채의 심각성은 조직의 구조와 인센티브가 어떻게 설계되었는지에 따라 달라진다는 점을 고려해야 합니다.

AI를 활용한 사고 대응 도구가 발전하면서 엔지니어들이 시스템과의 접점을 잃고 있다는 우려가 제기됩니다. 과거에는 AI가 경고를 검사하고 가설을 세우며 복구 조치를 실행하는 등 인시던트 대응을 돕는 도구는 매우 유용했지만, 이러한 자동화가 일상적인 사고 대응을 처리하게 되면서 인간 대응자들이 시스템의 작동 방식과 실패 패턴에 대한 직관을 개발할 기회가 줄어들고 있습니다.

문제는 자동화가 일상적인 사고 대응을 처리하는 동안 인간 대응자들이 시스템의 행동과 실패에 대해 안전하게 직관을 형성할 기회를 감소시킨다는 점입니다. 따라서 AI가 해결할 수 없는 모호하고 심각한 새로운 유형의 사고가 발생했을 때, 엔지니어들은 이전보다 훨씬 적은 실습 경험으로 대응해야 하는 딜레마에 빠지게 됩니다. 이는 자동화가 성공할수록 인간이 예상치 못한 상황에 대비하는 준비가 부족해질 수 있다는 역설을 보여줍니다.

항공 산업의 사례처럼, 자동화는 드문 실패에 대비하는 훈련을 제공하지만, 실제 비상 상황에서는 인간이 신속하고 정확하게 반응해야 합니다. 소프트웨어 분야에서도 이러한 위험을 줄이기 위해 현실적인 사고 시뮬레이션이 필수적입니다. 엔지니어들은 관찰 가능 도구를 사용하며 LLM 기반 이해관계자와 협력하는 환경에서 실제 장애 상황을 겪고 대응하는 연습을 해야 합니다.

결론적으로, AI는 도구일 뿐이며 실질적인 기술 숙련도는 여전히 실습을 통해 쌓아야 합니다. 엔지니어들은 시스템에 대해 정기적으로 상호작용하고, 익숙하지 않은 실패를 처리하며, 압박감 속에서 협업 및 의사소통을 연습해야 합니다. 이러한 실습을 통해 시스템과 대응자 간의 이해 격차, 즉 이해 부채를 줄이고 자동화 시대에도 대응 능력을 유지할 수 있습니다.

Artificial Analysis Intelligence Index v4.2가 발표되었으며, 이는 더 복잡하고 현실적인 작업과 사기 방지를 위해 인덱스의 평가 기준과 구조를 개선한 업데이트입니다. 이번 업데이트에는 산업 전문가가 구축한 복잡한 프로젝트를 기반으로 하는 실제 에이전트 지식 작업(AA-Briefcase)과 4,592페이지에 걸친 문서 추론(GDP.pdf)과 같은 새로운 평가 항목이 추가되었습니다.

특히 AA-Briefcase는 여러 주에 걸친 지식 작업 프로젝트와 수천 개의 입력 소스 파일을 다루는 모델의 에이전트 역량을 평가하며, 객관적인 성공, 분석 품질, 제시 품질을 종합적으로 측정합니다. 또한 GDP.pdf는 100개의 PDF와 10개 도메인에 걸친 단일 턴 전문 문서 추론 능력을 평가하며, 모델이 1,275개의 전문가 작성 기준에 따라 증거를 종합하도록 요구합니다.

평가 조작을 방지하기 위해 인덱스 가중치의 40%가 AA-Briefcase, AA-Omniscience 등의 사설 홀드아웃 테스트 세트로 구성되어 실질적인 사용 사례에 더 가까워졌습니다. 이러한 변화 속에서 Anthropic의 Claude Fable 5.1과 OpenAI의 GPT-6 Astra가 인덱스에서 선두를 차지했으며, 특히 GPT-6 Astra는 GPT-5.6 Sol 대비 약 85 Elo 포인트의 상당한 이득을 보였습니다.

최근 결과에 따르면 GPT-6 Astra는 지능 경계선에서 다른 모델보다 토큰 효율적이며, Anthropic과 OpenAI가 인덱스 내 비용 대비 작업 효율성 파레토 전선에서 선두를 차지하고 있습니다. 이는 모델 성능과 비용 효율성을 동시에 고려하는 개발자들에게 중요한 벤치마크 정보를 제공합니다.

Gimlet Labs가 AI 추론의 효율성과 속도를 높이는 데 집중하며 3억 달러 규모의 시리즈 B 투자를 유치했다고 발표했습니다. 이 투자는 Andreessen Horowitz와 Sapphire Ventures를 비롯한 다수의 주요 투자사들이 참여했으며, Gimlet Labs는 AI 인프라의 근본적인 재구축을 목표로 하고 있습니다.

최근 AI 토큰 수요가 기하급수적으로 증가함에 따라 데이터센터의 전력 및 처리 능력은 가장 중요한 병목 현상이 되고 있습니다. 특히 에이전트 워크로드와 대규모 모델, 긴 컨텍스트 윈도우의 요구사항이 복합되면서, 단순히 처리량(throughput)을 높이는 것을 넘어 낮은 지연 시간(latency)으로 고속 추론을 제공하는 것이 핵심 과제가 되었습니다.

Gimlet Labs는 이러한 문제를 해결하기 위해 이종 하드웨어(GPU, 메모리 컴퓨팅, CPU 등)를 활용하는 멀티실리콘 클라우드를 구축하고 있습니다. 이들은 소프트웨어 스택을 통해 추론 워크로드를 지능적으로 분산 처리하여 동일한 전력 사용량으로 5~10배의 성능 향상을 달성하는 것을 목표로 합니다.

구체적으로 Prefill/Decode 분산 처리와 같은 다양한 분산 기법을 통해 지연 시간과 처리량 사이의 트레이드오프를 최적화하고 있습니다. 이는 AI 인프라가 물리적 자원의 한계를 극복하고 확장할 수 있도록 하며, 개발자들이 더 빠르고 효율적인 추론 경험을 구축할 수 있는 기반을 제공합니다.

거대 언어 모델(LLM)을 단순히 다음 토큰 예측기로만 생각하는 것은 불완전한 개념입니다. LLM이 토큰을 순차적으로 출력하는 방식은 다음 토큰 예측기의 형태를 띠고 있지만, 모델이 실제로 인코딩하는 내용은 사전 학습 데이터 내의 텍스트를 예측하는 것 이상의 의미를 가집니다. 사전 학습 단계에서는 모델이 훈련 데이터에 존재하는 시퀀스에서 다음 토큰을 예측하도록 학습합니다. 이는 모델이 기존 텍스트를 예측하는 방식으로 작동하게 만듭니다.

하지만 강화 학습을 통한 검증 가능한 보상(RLVR)과 같은 후속 훈련 단계에서는 모델이 새로운 시퀀스를 탐색하고 그 결과로부터 학습합니다. 이 과정에서 모델은 훈련 데이터에 없던 새로운 아이디어를 탐색하고 학습할 수 있게 됩니다. 즉, 후속 훈련 과정에서 모델은 기존 텍스트를 예측하는 것뿐만 아니라 자체 탐색을 통해 생성된 새로운 시퀀스에서도 학습합니다.

체스 엔진의 비유를 통해 이 차이를 이해할 수 있습니다. 첫 번째 시스템은 그랜드마스터 게임 데이터베이스를 기반으로 다음 수를 예측하는 예측기이지만, 두 번째 시스템은 모든 가능한 게임을 탐색하여 승리 확률을 학습함으로써 최적의 수를 선택합니다. 후자는 단순히 데이터에 나타난 다음 수를 예측하는 것이 아니라 승리하는 수를 선택하는 것을 목표로 합니다.

결론적으로 다음 토큰 예측기는 메커니즘의 형태를 설명할 뿐이며, 그 메커니즘이 인코딩하는 내용, 예를 들어 유용한 비서의 시뮬레이션이나 탐색을 통해 발견된 지식은 완전히 다릅니다. 따라서 LLM의 작동 방식을 이해하기 위해서는 다음 토큰 예측기라는 사고방식에서 벗어나야 합니다.

제인 스트리트의 리버스 엔지니어링 챌린지를 해결하는 과정에 대한 내용입니다. 이 챌린지는 ASIC(Application-Specific Integrated-Circuit)을 설명하는 GDS 파일을 분석하여 칩이 무엇을 하는지 역으로 추론하는 것이 목표입니다.

챌린지는 실제 칩 설계에 필요한 정보가 담긴 GDS 파일을 제공하며, 사용자는 이 파일에서 클럭(clk), 리셋(rst), 전압(VGND, VPWR) 등의 정보를 파악하고 내부 논리 요소(or, not 등)를 분석해야 합니다. 이 과정에서 개발자는 파이썬 라이브러리인 gdstk를 사용하여 파일에서 셀(cells) 정보를 추출하고 vcd 파일 내의 ASCII 문자열을 분석하는 등 다양한 탐색 작업을 진행했습니다.

단순히 파일을 분석하는 것을 넘어, 개발자는 자체적인 회로 시뮬레이터와 파서, 하네스를 구축하여 설계된 회로를 검증하는 과정까지 거쳤습니다. 최종적으로 제약 조건을 통합하여 z3 솔버를 사용해 문제를 해결했고, 그 결과 특정 입력에 대한 출력 관계를 도출해냈습니다.

이 과정을 통해 최종적으로 입력과 출력의 관계가 'TRY AGAIN'과 'OK' 같은 메시지를 포함하고 있음을 발견했으며, 이는 챌린지의 정답이 됩니다. 이 경험은 하드웨어 설계 파일 분석과 제약 조건 기반 추론에 대한 깊은 이해를 제공합니다.

스티브 볼머 전 마이크로소프트 CEO는 클리퍼스 팀과 카워리 레너드 선수 관련 스폰서십 계약을 둘러싼 논란으로 인해 NBA로부터 1년간 정지 처분을 받았습니다. 이는 볼머가 ESPN 인터뷰에서 클리퍼스가 카워리 레너드에게 실제 보증이 없는 2800만 달러짜리 스폰서십 계약에 연루되지 않았다고 주장했기 때문에 발생했습니다.

NBA는 이 사건과 관련하여 볼머의 팀이 향후 다섯 차례 드래프트 지명권을 포기하고 3000만 달러의 벌금을 내는 등 여러 제재를 부과했습니다. 이와 관련하여 NBA가 위원한 35페이지 분량의 보고서가 발표되었는데, 이 보고서는 볼머의 주장이 클리퍼스의 실제 상황에 비추어 볼 때 "사실과 다르거나" "명백히 허위"라고 지적했습니다.

결국 이 논란은 단순한 인터뷰 발언을 넘어 실제 계약 및 팀 운영에 대한 조사로 이어졌으며, 볼머의 주장이 사실과 달랐다는 결론이 나왔습니다. 이 사건은 스포츠 스타의 계약과 관련된 주장 및 미디어 보도의 정확성에 대한 중요한 맥락을 제공합니다.

한국시간 9월 3일 밤부터 4일 새벽 사이에 Claude, Grok, ChatGPT, 그리고 Codex 서비스에서 동시다발적인 장애가 발생했습니다. 이 장애는 여러 주요 AI 서비스가 동시에 영향을 받았다는 점에서 주목받고 있으며, 현재는 모든 서비스가 복구된 상태입니다.

구체적으로 Claude와 Grok 서비스는 오후 10시 30분 무렵부터 오류가 발생했으며, ChatGPT와 Codex는 오후 11시 43분부터 일부 사용자에게 404 오류와 요청 실패가 나타났습니다. 이러한 장애는 여러 대규모 언어 모델 및 관련 코덱스 서비스에 걸쳐 발생하여 시스템 전반의 안정성에 영향을 미쳤습니다.

이번 사건은 특정 서비스에 국한되지 않고 여러 플랫폼에서 동시에 문제가 발생했기 때문에, 시스템 간의 상호작용이나 공통 인프라 문제와 같은 광범위한 원인을 추적할 필요가 있음을 시사합니다. 개발자들은 이러한 동시 장애 발생 시 서비스의 안정성과 복구 프로세스를 면밀히 확인해야 합니다.