읽을 가치가 있는 기사만, 짧고 또렷하게.

소수 단계의 자기회귀 비디오 확산 모델은 비디오를 시간적 청크로 나누어 각 청크를 순차적으로 생성하는 방식으로 긴 비디오를 생성합니다. 기존 방법들은 이미 생성된 청크를 기억하기 위해 키-값(KV) 캐시를 재구성하는 과정에서 추가적인 순방향 계산을 수행해야 했으나, FlashForward는 이 캐시를 직접 재사용하여 무거운 캐시 업데이트 모델 순방향 계산을 피합니다. 이로써 현재 청크가 한 단계의 디노이징을 완료하면 다음 청크를 위한 스테이지별 캐시가 이미 준비되어 있어 여러 청크를 동시에 다른 단계에서 처리할 수 있게 됩니다.

이러한 조기 가용성은 품질 측면에서 단점을 발생시키는데, 결과적으로 스테이지가 일치하는 기록이 노이즈가 발생하여 청크 간에 외관 및 움직임의 표류가 생길 수 있습니다. 이를 보완하기 위해 FlashForward는 생성 경로를 안정화하기 위해 해당 영역이 생성되기 전에 희소한 보조 클린 앵커 잠재(sparse auxiliary clean anchor latents)를 생성하여 양면 조건화(two-sided conditioning)를 제공합니다. 이 두 가지 메모리는 서로 다른 시간적 규모에서 작동하는데, 희소한 클린 앵커 KV는 거친 장거리 구조적 지침을 제공하고, 밀집된 스테이지 일치 기록은 세밀하고 최근의 진화를 보존합니다.

최대 네 개의 GPU를 사용하여 FlashForward는 20초 이상의 16 FPS 비디오에 대해 HiAR보다 1.16~1.69배, Self-Forcing보다 1.42~2.92배 더 빠른 속도로 실행됩니다. 1.3B 및 14B 백본 스케일에서 480p와 720p 해상도 기준으로, VBench에서 1.3B 모델은 20초, 35초, 65초 길이의 비디오에서 더 높은 점수를 달성하며 안정성을 유지하여 훨씬 빠른 생성 속도에도 불구하고 높은 품질과 시간적 일관성을 입증했습니다.

신경 이미지 워터마크는 공개된 이미지에서 워터마크 정보를 담은 잔여물(residual)을 추출하여 무관한 콘텐츠로 전송함으로써 위조될 수 있습니다. 기존 연구에서 이러한 취약점은 입증되었으나, 이러한 잔여물이 얼마나 전송 가능한지에 대한 근본적인 이해는 부족했습니다.

연구진은 이러한 취약점을 정량화하기 위해 잔여물 전이성(Residual Transferability, RT)이라는 새로운 지표를 공식화했습니다. RT는 서로 관련 없는 이미지 간에 워터마크 증거가 전송된 후에도 얼마나 잘 해독될 수 있는지를 측정합니다. 비교 분석과 통제된 개입을 통해 연구진은 일반적인 학습 측 변이가 RT의 큰 차이를 설명하지 못하며, 대신 시스템의 아키텍처 설계가 핵심적인 역할을 한다는 것을 발견했습니다.

이를 바탕으로 워터마크 증거가 덮는 이미지에 대한 의존성을 강화하여 잔여물 전이성을 억제하는 두 가지 메커니즘을 식별했습니다. 이러한 발견은 위조에 더 강한 워터마킹 아키텍처를 개발하기 위한 구체적인 설계 지침을 제공합니다.

또한, 아키텍처 재설계가 현실적으로 불가능한 기존 워터마킹 시스템을 위해 기존 이미지 의존성을 강화하는 플러그 앤 플레이 전략인 CoverLock을 제안합니다. 대표적인 높은 잔여물 전이성을 보이는 시스템에서 CoverLock은 기존의 수작업 방어책이나 학습 기반 분류기 방어책보다 더 유리한 보안-강건성 균형을 달성합니다.

에이전트의 스킬 패키지에 실행 피드백을 활용하여 개선하는 메커니즘은 공격자가 악성 스킬을 진화시켜 더 효과적이고 탐지하기 어렵게 만드는 데 사용될 수 있습니다. 하지만 후보 스킬이 사전 실행 스캔을 통과하더라도 런타임 방어 하에서 목표를 달성하지 못할 수 있으며, 실행을 복구하는 수정이 새로운 스캐너 발견을 유발할 수도 있습니다.

이에 연구진은 이중 단계 피드백 루프를 통해 완전한 악성 스킬 패키지를 진화시키는 완전히 자동화된 프레임워크인 SkillDRE를 소개합니다. SkillDRE는 양성 작업과 관련된 스킬을 기반으로 악성 목표와 검증 가능한 심판 규칙을 자율적으로 구성하고 검증합니다. 이후 SkillDRE는 합법적인 작업 능력을 보존하면서 스킬 구현을 진화시키며, 스캐너 기반 진화와 실행 결과에 기반한 런타임 기반 정제를 결합합니다.

각 런타임 기반 수정은 재실행 전에 재스캔 및 추가 최적화를 위해 사전 실행 단계로 돌아가며 교차 단계 폐쇄 루프를 형성합니다. SkillsBench에서 네 가지 피해 모델에 대해 평가한 결과, SkillDRE는 평균 공격 성공률 45.28%를 달성하며 가장 강력한 기준선보다 40.3% 높은 수치를 기록했습니다. 최종 제출된 스킬은 SkillScan 발견 사항이 없었으며 양성 작업 성능을 크게 보존했습니다.

이러한 결과는 두 단계의 방어 피드백이 적응형 레드팀을 위한 유용한 학습 신호가 될 수 있음을 보여주며, 방어 단계 중 하나만 개별적으로 평가하는 것은 결과적인 공격 능력을 놓칠 수 있음을 시사합니다. SkillDRE의 코드는 https://github.com/whfeLingYu/SkillDRE에서 확인할 수 있습니다.

트랜스포머 모델에서 깊이가 계산 용량을 늘리는 자연스러운 방법이지만, 깊이가 깊어질수록 레이어의 기여도는 감소할 수 있다는 문제가 제기되었습니다. 최근 연구들은 정규화(예: LayerNorm Scaling)나 잔차 연결(예: mHC, AttnRes)을 개선하여 정보 흐름과 깊이 활용을 높이려 시도하고 있습니다. 하지만 이러한 접근 방식이 실제로 증가된 구조적 깊이를 효과적인 계산 깊이로 전환하는지, 아니면 단순히 정보 접근성을 개선하는 것인지에 대해서는 불분명한 상태였습니다.

이러한 불확실성을 해소하기 위해 본 논문은 다양한 아키텍처에 걸쳐 계산 깊이를 연구하는 통제된 벤치마크인 DepthBench를 소개합니다. 연구진은 모델 크기와 사전 훈련 레시피를 고정한 상태에서 너비 대 깊이 비율($d_{model}/n_{layer}$)을 얕고 넓은 형태부터 깊고 좁은 형태로 체계적으로 변화시키며 분석했습니다.

분석 결과, 깊이에 더 많은 용량을 할당하는 이점은 아키텍처에 따라 크게 달라진다는 것을 발견했습니다. 표준 Pre-LN 및 대부분의 정규화 기반 변형은 모델이 더 깊고 좁아질 때 성능을 저하시키거나 이점을 거의 제공하지 못했습니다. 반면, mHC와 Full AttnRes는 극단적인 깊이 형태에서도 일관되게 성능과 효과적인 계산을 개선했습니다.

추가적인 레이어 수준 분석을 통해 mHC와 Full AttnRes의 이점은 추가 레이어의 더 효과적인 활용과 관련이 있으며, 아키텍처별로 계산 깊이에 대한 뚜렷한 메커니즘을 보여줍니다. 최종적으로 연구는 잔차 연결 설계가 추가적인 아키텍처 깊이를 효과적인 계산으로 전환할 수 있도록 함으로써 깊이가 의미 있는 스케일링 축이 될 수 있는지 여부를 결정하는 핵심 요소임을 밝혀냈습니다.

루프 언어 모델은 파라미터 수를 늘리지 않고도 가중치 공유 블록을 반복 적용하여 유효 깊이를 증가시키지만, 이로 인해 생성 토큰당 T개의 순차적인 재귀 블록 호출이 발생하여 디코딩 지연 시간이 크게 증가합니다. 이러한 문제를 해결하기 위해 연구진은 루프 언어 모델을 위한 학습 불필요한 자체 추측 디코딩 프레임워크인 웨이브프론트 디코딩(Wavefront Decoding, WFD)을 제안했습니다.

WFD는 이러한 아키텍처의 두 가지 속성, 즉 중간 재귀 출력은 효과적인 초안 예측을 제공하고 가중치 공유는 서로 다른 위치와 재귀 깊이의 토큰 상태를 단일 배치 재귀 블록 호출로 처리할 수 있다는 점을 활용합니다. WFD는 이러한 혼합 깊이 상태를 대각선 웨이브프론트로 구성하여 얕은 깊이에서 새로운 위치를 지속적으로 추측하는 동시에 이전 위치를 전체 깊이 검증으로 진행시킵니다. 이는 기존의 단계적 추측 후 검증 방식과 달리 추측과 검증을 동일한 재귀 호출 내에서 동시에 배치 처리하며, 거부된 초안은 전체 깊이 예측을 사용하여 수정합니다.

이러한 접근 방식은 여섯 가지 Spec-Bench 작업 범주에서 오토회귀 디코딩 대비 Ouro-2.6B 모델에서 2.42배, Huginn-3.5B 모델에서 3.54배의 속도 향상을 달성하며, 기존의 추측 후 검증 방식보다 일관되게 우수한 성능을 보였습니다. 또한 교차 재귀 KV 공유를 통해 웨이브프론트 KV 트래픽을 추가로 줄여 Huginn-3.5B 모델에서 WFD의 속도를 4.81배까지 높일 수 있습니다.

WFD 코드는 https://github.com/summerbro-hhj/wavefront-decoding에서 공개되어 있습니다.

Mixture-of-Experts(MoE) 모델을 병합하는 과정은 모델을 공동으로 재학습하지 않고도 전문화된 대규모 언어 모델(LLM)들을 효율적으로 결합하지만, 이는 MoE 모델의 전문가 라우팅을 상당히 변화시킬 수 있습니다. 이러한 라우팅 드리프트는 종종 라우팅 실패로 해석되는데, MoE 병합 후 발생한 라우팅 드리프트가 실제로 실패를 나타내는지, 그리고 어떤 증거가 복구의 근거가 되어야 하는지에 대한 근본적인 질문이 남아 있습니다.

연구진은 DeepSeekMoE, OLMoE, Qwen3-MoE를 대상으로 라우팅 분석 툴킷을 제안하며 이러한 질문을 조사했습니다. 분석 결과, 소스 및 병합된 라우터 입력과 매개변수를 교차 분석했을 때, 대부분의 전문가 재할당은 동일 레이어의 매개변수 변화보다는 입력 변화에 기인하는 것으로 나타났습니다. 그러나 소스에 상대적인 라우팅 차이는 소스 경로 복원으로부터 얻는 다음 토큰 가능성 이득을 제대로 예측하지 못하며, 서로 다른 전문가 선택은 방향적으로 유사한 혼합 출력을 생성할 수 있습니다.

따라서 연구진은 라우팅 실패를 특정 라우팅 개입 하에서 복구 가능한 작업 손실로 정의하고, 라우팅 외의 매개변수는 고정하는 방식으로 접근했습니다. 이 테스트들은 의도적인 라우터 손상 하에서 복구 가능한 손실을 감지하지만, 소스 경로 복원은 평가된 병합 모델에서 신뢰할 만한 작업 이득을 확립하지 못했습니다.

이러한 발견을 바탕으로 연구진은 선택적 라우터 복구(Selective Router Repair, SRR)를 사례 연구로 제안했으며, 소스 특화 토큰 가능성 이점은 유익한 국소 수정 사항을 신뢰성 있게 식별하지 못한다는 것을 발견했습니다. 최종적으로 라우팅 드리프트만으로는 라우팅 실패의 충분한 증거가 아니며, 소스 정보를 기반으로 한 수정 사항은 작업 수준의 개입 효과에 따라 판단되어야 한다는 결론을 제시합니다. 이 분석 툴킷과 SRR 코드가 공개되었습니다.

대규모 언어 모델 에이전트가 단기 작업에서는 합리적인 결정을 내릴 수 있지만, 성공이 장기적인 의존적 행동과 도구 호출 시퀀스를 요구할 경우 성능이 저하되는 문제가 연구되었습니다. 실행 과정에서 작업 요구 사항, 역사적 증거, 현재 실행 상태가 점차 단절되어 후속 결정이 원래 목표에서 벗어날 수 있기 때문입니다.

이 문제를 해결하기 위해 장기 실행을 위한 적응형 일관성 그래프(Adaptive Consistency Graph, ACG)가 도입되었습니다. ACG는 실행 증거와 그 출처를 영구적인 그래프에 점진적으로 정리하고, 제한된 컨텍스트 예산 내에서 각 결정에 대한 임시 요구 사항 중심의 뷰를 구성합니다. 이는 기본 에이전트의 플래너나 도구 실행기를 대체하는 대신, 각 결정에 대해 구조화되고 추적 가능한 컨텍스트 뷰를 제공합니다.

실제 평가에서 ACG는 ReAct를 사용한 GPT-5.6-luna의 평균 성공률을 44.5%에서 50.2%로 향상시켰으며, 특히 BrowseComp-Plus에서 가장 큰 개선을 보였습니다. 이 결과는 성공률이 73.5%에서 62.4%로 증가하는 것으로 나타났습니다. 연구진은 이러한 개선을 특징화하기 위해 궤적 구조와 추론 비용을 추가로 분석했습니다.

MALA는 어텐션 계산에서 점수 공간에 대한 접근을 보존하면서 정규화된 기여도를 사용하여 후처리 계산을 할당하는 융합 어텐션 프리미티브입니다. 이는 FullAttn이 대부분의 인과 점수 공간에 대해 미미한 정규화된 질량을 할당하는 반면, 밀집된 커널이 완전한 후처리 경로를 실행하는 문제를 해결합니다. MALA는 온라인 소프트맥스 정규화기(online-softmax normalizer)를 사용하여 순방향 계산을 수행하고, 최종 정규화기를 재사용하여 표준 어텐션 상태만을 이용해 중첩된 보존 지원(nested retained support)을 도출하여 계산 효율성을 높입니다.

MALA는 낮은 기여도를 가진 후처리 계산을 줄여 성능을 유지하면서 계산량을 절감합니다. 8K 크기의 작업에서 분포 적응적 할당의 이점을 측정했을 때, MALA는 평균적으로 0.0188%의 누락된 질량을 보이며 참조 질량 오라클에 근접합니다. 또한 1K에서 32K 토큰에 이르는 광범위한 컨텍스트 길이에서 동일한 허용 오차는 참조 대비 낮은 출력 및 기울기 오류를 유지합니다.

이러한 효율성은 모델 훈련 및 추론 속도에서 구체적인 이점을 제공합니다. 128K 토큰과 텐서 병렬 처리를 사용한 어텐션 연산 벤치마크에서 MALA는 FullAttn 대비 훈련 중 순방향 및 역방향 지연 시간을 2.2배 및 3.0배, 추론 지연 시간을 1.6배 감소시킵니다.

결과적으로 MALA는 0.6B에서 14B 파라미터까지의 스케일링 법칙 훈련에서 FullAttn과 유사한 퍼플렉시티를 유지하면서 총 훈련 FLOPs를 줄입니다. 이로 인해 별도로 지속적인 훈련을 통해 얻은 14B 및 32B 모델은 FullAttn과 비교하여 지식, 추론 및 장거리 컨텍스트 검색 점수에서 동등한 성능을 달성합니다.

FullAttn은 모든 어텐션 헤드에 완전한 인과적 이력(causal history)을 노출시켜, IO 효율적인 밀집 커널을 사용하더라도 상당한 중복 계산과 메모리 트래픽을 발생시킵니다. 이에 연구진은 KV 헤드 전반에 걸쳐 인과적 이력을 분산시키는 구조화된 어텐션 아키텍처인 CoWA를 제안했습니다. CoWA는 모든 헤드가 근접 대각선 및 접두사 싱크 윈도우를 공유하고, 나머지 이력을 분할하는 보완적인 장거리 윈도우를 사용하여 전체 인과적 커버리지를 확보합니다.

이러한 위치 정의 어텐션 패턴은 학습 및 추론 과정에서 일관되게 사용되며, 학습 가능한 라우터나 인덱서가 필요 없으며 KV 헤드 텐서 병렬성과도 일치합니다. 8K 크기에서 비교 실험을 통해 CoWA는 100% 집단 커버리지를 달성하며 FullAttn과 유사한 정확도를 보였고, 중복된 장거리 윈도우 방식보다 훨씬 우수한 성능을 입증했습니다.

성능 측면에서 CoWA는 FullAttn 대비 훈련 중 순방향 및 역방향 지연 시간을 7.4배 및 8.6배, 추론 중 지연 시간을 3.0배 단축시켰습니다. 또한, 14B에서 32B 매개변수 모델로 확장하여 학습할 때 FullAttn과 유사한 퍼플렉시티를 유지하면서 총 훈련 FLOPs를 줄였습니다. 결과적으로 CoWA는 헤드 집합의 집단 속성으로서 완전한 인과적 커버리지가 가능함을 보여줍니다.

기존의 파운데이션 모델이 단독으로 행동하는 에이전트가 아니라, 이를 지원하는 시스템 자체를 정책으로 간주하여 발전시키는 새로운 프레임워크인 RoboFoundry가 제안되었습니다. 기존 방법들이 메모리, 컨텍스트, 스킬 등 에이전트 스택의 개별 구성 요소만 최적화하는 데 그쳤다면, RoboFoundry는 실행 경험을 지속적이고 검증된 시스템 변경으로 전환하여 시스템 자체의 자기 진화(Self-Evolving System-as-Policy)를 가능하게 합니다.

RoboFoundry는 의사 결정 및 메모리 관리의 역량 격차를 진단하고 실행 흔적을 검증된 작업별 시스템 업데이트로 변환하여 일반 시스템의 반복적인 개선을 촉진합니다. 이 진화는 활성 내부 컨텍스트와 영구적인 파일 시스템 메모리를 관리하는 컨텍스트 시스템과 원자적인 스킬, 재사용 가능한 구성, 실패 조건 기반 복구를 조직하는 계층적 스킬 시스템이라는 두 가지 상호 보완적인 표면에서 작동합니다.

이 시스템은 내재된 행동 불변 결정과 실행 특정적 실행을 분리하는 공유 의미 인터페이스를 통해 이질적인 로봇 간에 진화된 시스템 능력을 전송할 수 있게 합니다. EmbodiedBench에서 RoboFoundry는 GPT-5.5 성능을 27.8% 향상시키고 Qwen3.7-Plus를 GPT-5.5와 거의 동등한 수준으로 끌어올려 파운데이션 모델 전반의 시스템-정책 진화를 입증했습니다.

또한 장기 메모리 측면에서 RoboFoundry는 RoboMemArena에서 외부 파운데이션 모델의 도움을 받는 방법론에 맞서 최소 39.0%의 성능 향상을 보였으며, LIBERO-PRO에서는 Cap-Agent0 대비 243.8%에서 679.7%의 성능을 능가했습니다. 실제 배포 환경에서 RoboFoundry는 로봇과 작업 전반에 걸쳐 제로샷 전송 및 온라인 진화를 입증하며 완전 자율적 구체화 에이전트의 잠재력을 보여줍니다.

문서 재순위 지정기는 RAG 및 심층 연구에서 다운스트림 모델에 도달하는 증거를 결정하지만, 주류 재순위 지정기는 관련성 매칭에 의존하여 개별적으로 관련 있는 문서들이 복잡한 정보 요구가 필요로 하는 완전하고 상호 보완적이며 중복되지 않는 세트를 구성하지 못하는 경우가 많습니다. 기존 연구는 문서의 집합에 대해 집계된 기준 점수를 보상함으로써 문서 순위 지정에서 집합 구성으로 목표를 전환했지만, 이 점수는 집합 내 모든 문서가 공유하는 단일 스칼라이기 때문에 감독이 희소합니다. 결과적으로 중복되는 문서는 집합 점수가 좋을 때 나머지 문서와 보상받고 결정적인 문서는 그렇지 않을 때 불이익을 받으며, 이는 기여도 할당을 어렵게 만듭니다.

이에 본 연구는 적응형 튜터링 최적화(Adaptive Tutoring Optimization, ATO)를 사용하여 집합 기반 재순위 지정기인 AdaTutoRank를 제안합니다. AdaTutoRank는 세 단계의 계층 구조를 가진 아홉 가지 기준 차원을 통해 훈련되며, 이는 초기 단계의 보상, 강화 학습의 보상, 그리고 증류를 위한 힌트를 제공합니다. ATO는 정책의 고정된 스냅샷에서 세 가지 형태의 힌트, 즉 기준 자체, 기준에 따른 형제 집합, 그리고 실행과 형제 집합을 대조하는 자기 반성자의 반영을 활용하여 힌트를 추출합니다.

이러한 힌트를 조건화된 고정된 교사 모델과 힌트가 없는 스냅샷을 통해 재평가함으로써, 힌트의 효과를 토큰 수준의 이점으로 증류하여 그룹 상대적 결과 이점을 보완합니다. AdaTutoRank는 RAG, 심층 연구, 집합 평가를 포괄하는 열 가지 벤치마크에서 가장 우수한 전체 성능을 달성하면서도 검색 호출 횟수를 줄이는 성과를 보였습니다.

멀티모달 대규모 언어 모델(MLLM)에서 시각 토큰 감소는 모델을 가속화하는 효과적인 방법이지만, 극도로 낮은 토큰 예산에서는 성능이 급격히 저하됩니다. 기존 연구들은 시각 토큰 선택이나 훈련 기반 적응을 탐구했지만, 본 연구는 모델이 자체 생성한 상태로부터 어떻게 학습해야 하는지에 초점을 맞추어 온-폴리 정책 자기 증류(on-policy self-distillation) 방식을 제안합니다.

이를 바탕으로 극단적인 시각 토큰 감소를 위한 훈련 프레임워크인 LT-OPD를 제안했습니다. 이 방법은 학생 모델이 소수의 시각 토큰으로 응답을 생성하고, 동일한 MLLM의 전체 토큰 복사본이 분포적 감독을 제공하도록 하여 온-폴리 학습을 안정화시킵니다. 또한, 훈련 중 토큰 예산을 점진적으로 감소시키는 예산 수준 커리큘럼을 추가하여 시각 증거가 제한적일 때 학습을 안정화시켰습니다.

LT-OPD를 적용한 결과, Qwen3.5-4B 모델에서 5% 시각 토큰 유지 조건 하의 평균 유지 성능이 68.6%에서 82.3%로 향상되었으며, 이는 동일 예산에서 훈련이 없는 방식, 훈련 기반 방식, 강화 학습 기준선보다 우수한 성능을 보였습니다. 이러한 성능 향상은 Qwen3.5-9B, GLM-4.6V-9B, LLaVA-OV-1.5-4B 등 다른 모델에도 일관되게 적용되었습니다.

더 나아가 LT-OPD는 추가적인 추론 오버헤드 없이 KV 캐시 사용량을 85.2% 줄이고 프리필 FLOPs를 85.4% 감소시켜, 극단적인 시각 토큰 감소로 인해 손실된 모델 능력을 실질적으로 회복할 수 있음을 입증했습니다.

대규모 언어 모델의 강화 학습(RL)에서 검증 가능한 보상(RLVR)을 사용할 때 발생하는 훈련-추론 불일치 문제를 해결하기 위한 방법론을 제시합니다. 이 불일치는 추론 엔진이 샘플링하는 과정과 훈련 엔진이 기울기를 계산하는 과정에서 동일한 토큰에 대해 서로 다른 확률을 할당함으로써 발생합니다. 연구진은 이러한 불일치를 보정하기 위해 보정된 중요도 샘플링(Calibrated Importance Sampling, CIS)을 도입했습니다.

CIS는 로그 오즈(log-odds)에서 추가적인 변위 $\epsilon_t$로 불일치를 표현하는 경험적으로 입증된 로그잇 변위 특성을 기반으로 합니다. 이 특성을 활용하여 토큰 신뢰도에 구애받지 않는 분포를 가지는 변위의 특성을 이용하여 신뢰도 인식 절단(confidence-aware truncation)을 제안합니다. 구체적으로는 큰 양의 변위를 단일 상수 임계값으로 잘라내며, 이는 토큰 신뢰도가 증가함에 따라 조여드는 중요도 비율 상한으로 연결됩니다.

이론적으로 CIS는 정확한 중요도 샘플링의 오류를 지배하는 무한한 이계(second moment)를 상수 범위 내의 항으로 대체하며, 이는 잘린 초과분(truncated excess)에 의해 제어되는 편향을 감수하는 것입니다. 실제 평가에서 CIS는 세 가지 혼합 전문가 모델과 다섯 가지 수학적 추론 벤치마크 전반에서 평가된 기준 모델 중 가장 높은 평균 점수를 달성했습니다.

진단 분석 결과, CIS는 잘린 중요도 샘플링보다 낮은 신뢰도 토큰에 대한 절단 편향을 덜 발생시켰으며, 작은 중요도 가중치를 상향 클리핑하는 것은 홀드아웃 정확도를 감소시키는 것으로 나타났습니다. 따라서 CIS는 RLVR 환경에서 훈련과 추론 간의 불일치를 효과적으로 관리하면서도 정확도를 유지하는 실용적인 방법을 제공합니다.

AI가 코드를 생성하는 시대에 실제 문제는 AI 코드 자체가 아니라 시스템 아키텍처나 의도에 대해 아무도 제대로 알지 못한다는 점입니다. 현재 많은 회사와 스타트업에서는 엔지니어들이 Claude를 통해 코드를 빠르게 생성하고 배포하는 것에 집중하면서, 시스템의 설계나 선택에 대한 이해가 부족한 상태가 발생하고 있습니다.

이러한 상황은 팀 전체가 시스템의 사양, 테스트, 보고서 등 모든 것을 AI에 의존하게 만들며, 결과적으로 계획 수립이나 버그 해결 같은 근본적인 사고 과정이 사라지게 만듭니다. 특히 중간 관리자들이 AI를 강하게 밀어붙이는 환경에서는 엔지니어들이 단순히 코드를 배포하는 것에만 몰두하게 되어, 코드를 검토하거나 깊이 생각하는 시간이 부족해지는 결과를 낳습니다.

결국 소프트웨어 엔지니어링의 최종 목표는 코드를 작성하는 것을 넘어 시스템과 아키텍처의 유지보수 가능성, 즉 유지보수적 사고를 갖는 것입니다. AI가 코드를 빠르게 생성할 수 있을지라도, 잘못된 언어나 정신 모델을 선택하면 유지보수가 매우 어려워지기 때문에, 설계와 아키텍처에 대한 기본 지식은 여전히 중요합니다.

AI는 스스로 판단하거나 주도할 수 없으므로, 인간이 의도, 취향, 설계, 아키텍처를 지휘하고 조율하는 것이 핵심적인 역량이 됩니다. 따라서 코딩 자체보다 시스템의 근본적인 이해와 설계 능력을 갖추는 것이 앞으로 더욱 중요해질 것입니다.

llama.cpp에서 프롬프트 조회 디코딩(prompt lookup decoding) 기능을 사용하여 토큰 생성을 가속화하는 성능 최적화가 이루어졌습니다. 이 최적화는 주로 Daniel Lemire와 Martin Ankerl의 연구를 기반으로 하며, 단순한 n-gram 모델을 사용하여 다음 토큰을 추론하는 방식입니다.

llama.cpp는 컨텍스트 캐시(context cache), 동적 캐시(dynamic cache), 정적 캐시(static cache) 세 가지 캐시를 사용하여 n-gram 정보를 저장하고 추론 속도를 높입니다. 특히 정적 캐시를 도입하여 추론 속도를 개선하고 메모리 사용량을 줄이는 데 중점을 두었습니다.

이러한 최적화를 통해 프롬프트 조회 초안 작성 과정이 최대 42배 빨라졌으며, 메모리 사용량은 최대 2.6배까지 절감되었습니다. 나아가 정적 캐시를 활용하면 전체 속도는 최대 140배까지 향상될 수 있습니다.

추가로 정적 캐시를 사용하면 메모리 사용량은 최대 1.30배까지 감소하여 피크 메모리가 1.71GB에서 1.31GB로 줄어들었습니다. 정적 캐시를 이용한 추론 속도는 1.06배에서 1.20배 더 빨라지며, 정적 캐시 로딩 시간 역시 6.32배에서 16.12배 빨라져 개발 환경에서 효율적인 추론을 가능하게 합니다.

보브 맥키가 스타들을 옷 입혔다라는 제목의 기사는 패션과 유명인의 스타일링에 관한 내용을 다루고 있습니다. 이 기사는 유명 디자이너 보브 맥키와 그가 스타들에게 적용한 스타일링에 대한 이야기를 중심으로 전개됩니다.

기사 본문은 현재 제공된 자료에서 확인되지 않으므로 구체적인 내용이나 맥락을 상세히 설명하기 어렵습니다. 따라서 해당 기사가 다루는 패션 트렌드나 디자이너의 관점에 대한 심층적인 분석을 위해서는 원문을 직접 확인하시는 것이 필요합니다.

이 기사는 패션과 문화적 영향력이라는 주제를 다루고 있으며, 독자들은 보브 맥키의 작업이 현대 스타들의 이미지에 미친 영향을 탐색할 수 있습니다.

AI 데이터 센터 스타트업인 Crusoe가 Boom Supersonic의 정지 발전 설비 계획을 포기하고 관련 파트너십을 중단했습니다. Crusoe는 OpenAI 등에게 컴퓨팅 파워를 공급하는 AI 데이터 센터를 구축하고 있으며, 이들은 Boom의 슈퍼파워 터빈을 사용하기 위해 12억 5천만 달러를 투자할 계획이었습니다.

이러한 계약은 Crusoe가 Boom의 42메가와트 슈퍼파워 터빈 29기를 구매하는 첫 고객이 되는 것을 포함했습니다. 그러나 Boom Supersonic의 블레이크 쇼(Blake Scholl) CEO는 터빈이 Crusoe의 단기 주요 전력 구성에 포함되지 않으므로 파트너십이 더 이상 의미가 없다고 밝혔습니다.

Crusoe는 이제 터빈 대신 풍력, 태양광, 배터리, 그리드 등 다양한 에너지 솔루션을 유연하게 선택하며 AI 공장 건설에 필요한 혁신적인 에너지원을 확보하고 있습니다. Boom 측은 Crusoe가 제공한 도움에 감사하며 향후 터빈이 주요 전력 구성에 포함될 경우 협력할 의향이 있다고 언급했습니다.

Automattic이 CEO 매트 멀레너그(Matt Mullenweg)를 해임하려던 시도가 실패한 후 새로운 이사회를 구성했습니다. 이 과정은 회사 내부의 거버넌스 다툼으로, 멀레너그가 이사직에서 배제되려던 시도에 대해 회사 측이 반발하며 발생했습니다.

이러한 변화는 멀레너그가 회사에 대한 통제권을 되찾은 후 이루어졌으며, 그는 이사회 구성에 새로운 인물들을 포함시켰습니다. 새로운 이사회에는 소설 작가 휴 하위(Hugh Howey), 공동 창업자 헨리 카타치리안(Henry Khatachryan), 크루탈 데사이(Krutal Desai) 등 여러 인물들이 참여했습니다.

이러한 내부 갈등은 멀레너그가 워드프레스닷컴, 텀블러, 우커머스 등의 모회사인 Automattic의 경영 구조를 재정립하는 과정에서 발생했습니다. 또한 멀레너그는 이사회 변경과 함께 법률 자문팀을 교체하고 소송 대응을 위해 새로운 변호사 사무소인 Susman Godfrey LLP를 선임했습니다.

코덱스(Codex) 관련하여 전체 서비스 중단(Full Outage) 문제가 발생했으며, 현재 원인이 파악되어 완화 조치를 진행하고 있습니다. 이 문제는 코덱스뿐만 아니라 코덱스 웹, 코덱스 API, CLI, VS Code 확장 프로그램 등 여러 구성 요소에 영향을 미쳤습니다.

사용자들은 해당 서비스에서 높은 오류를 경험했으며, OpenAI 측은 내부 문제를 확인하고 완화 작업을 진행하고 있다고 밝혔습니다. 현재 접근을 복구하기 위해 API 키를 통한 로그인이 차단 해제될 예정입니다.

개별 고객의 가용성은 구독 등급, 사용 모델, API 기능에 따라 달라질 수 있으며, 전체 가용성은 집계된 수준으로 보고되고 있습니다. 개발자들은 API 키 로그인을 통해 접근이 복구될 때까지 해당 서비스 사용에 주의해야 합니다.

트럼프 대통령의 FDA 수장 후보인 하이디 오버턴이 백신, 피임, 베이프, 낙태 등 여러 사안에 대한 질문에 직면했습니다. 그녀는 상원 보건 위원회에서 몇 시간 동안 질문에 대응하는 과정에서 논란이 되었습니다.

오버턴은 임상 조사 박사 학위를 소지한 의사이며 보수 싱크탱크에서 근무한 경력이 있고 낙태 반대 입장을 취해 왔기 때문에 그녀의 객관성에 대한 의문이 제기되었습니다. 또한 FDA는 안전성 데이터가 충분함에도 불구하고 낙태 약물인 미페프리스톤의 안전성을 현재 검토하고 있습니다.

더욱이 오버턴은 트럼프 대통령이 과거에 홍역, 볼거리, 풍진(MMR) 백신을 "매우 치명적"이라고 잘못 주장하고 영아 백신 용량을 분할해야 한다고 주장했던 발언에 동조한 바 있습니다. 이러한 발언은 미국 내에서 백신 관련 논쟁을 더욱 부각시키고 있습니다.