읽을 가치가 있는 기사만, 짧고 또렷하게.

델타 항공 591편 승객들이 기내 와이파이를 위조하여 법 집행 기관의 주목을 받았습니다. 이 사건은 라스베이거스에서 종료된 DEF CON 보안 컨퍼런스 직후 발생했으며, 항공기 내 통신 시스템에 대한 보안 취약점을 시사합니다.

사건은 항공기에서 발송되는 ACARS(항공기-지상 메시지)를 통해 공표되었는데, 조종사들은 승객들이 와이파이를 방해하고 신호를 방송할 수 있었다고 언급했습니다. 이는 무선 통신 채널을 이용한 스푸핑 공격이 실제 항공기 운영 환경에서 발생할 수 있음을 보여줍니다.

FBI 애틀랜타는 이 사건을 조사하고 있지만 현재까지 아무도 체포되지 않았습니다. 이 사례는 항공기 통신 시스템과 같은 무선 통신 인프라의 보안에 대한 개발자 및 보안 전문가들에게 중요한 맥락을 제공합니다.

GNOME Shell 디자인 팀은 최근 릴리스에서 소폭 개선에 집중한 가운데, 검색, 창 관리, 시스템 상태 UI를 포괄하는 장기적인 디자인 개편안을 준비하고 있습니다. 이 개편안은 사용자 경험을 향상시키기 위해 핵심적인 UI 요소들을 통합하는 것을 목표로 합니다.

구체적으로는 검색창에서 펼쳐지는 결과 오버레이, 편집 가능한 빠른 설정, 알림 기능을 하나의 설정 패널로 통합하는 방향으로 진행되고 있습니다. 이는 사용자가 시스템 상태와 상호작용을 더 효율적으로 관리할 수 있도록 하는 차세대 디자인을 지향합니다.

하지만 이러한 장기 개편안의 실제 구현 여부는 개발 역량, 커뮤니티의 관심도, 그리고 필요한 자금 지원에 달려 있습니다. 따라서 디자인 팀이 제시한 비전이 실제 소프트웨어에 반영되기 위해서는 개발자들의 참여와 지원이 필수적인 상황입니다.

LLM 기반 검색 시스템의 지연 시간을 줄이기 위해 범용 CPU 하드웨어에서 작동하는 세 층 캐싱 아키텍처를 제시합니다. 이 시스템은 자동화된 브라우저 에이전트와 제공자 라우팅 LLM 추론을 사용하는 오픈 소스 답변 엔진인 OreoLook을 기반으로 하며, 사용량이 증가함에 따라 세션 컨텍스트 손실, 중복 작업 발생, URL 반복 임베딩 등의 문제를 해결하고자 합니다.

제안된 아키텍처는 세 가지 캐싱 계층으로 구성됩니다. 첫째, Redis에 최근 메시지 롤링 윈도우를 유지하고 디스크 아카이브로 자동 오버플로우하는 세션 컨텍스트 윈도우가 있습니다. 둘째, 임베딩 벡터의 코사인 유사도를 통해 재구성을 포착하여 중복 LLM 호출을 제거하는 의미론적 쿼리 캐시가 있습니다. 셋째, 세션 간 임베딩 계산을 중복 없이 처리하는 URL 임베딩 캐시가 있습니다.

이 시스템은 단일 8-vCPU Intel Cascade Lake 서버(2 GHz, 32 GB RAM)에 배포되었으며, 30개의 Hypercorn 워커 프로세스를 통해 평가되었습니다. 결과적으로 시스템은 89.3%의 Redis 키스페이스 히트율과 0.1ms의 읽기 지연 시간, 그리고 1.38MB의 메모리 오버헤드로 평가되었습니다.

또한, 백그라운드 LRU 제거 데몬은 유휴 세션을 Redis에서 디스크로 이동시켜 필요할 때 다시 불러올 수 있게 함으로써, 설정된 보존 정책 하에서 몇 시간 또는 며칠 후에 대화를 재개할 수 있도록 지원합니다.

코딩 에이전트가 더 정밀한 결과를 제공하는 검색 인터페이스를 무시하는 이유에 대한 연구 결과가 나왔습니다. 텍스트 검색 방식인 grep과 LSP 기반의 의미론적 탐색(semantic navigation)을 비교한 결과, 도구의 성능뿐만 아니라 모델 친화성(LLM-friendliness)이 중요함을 시사했습니다. 에이전트가 더 정확한 결과를 반환하는 인터페이스를 사용하지 않는 현상은 도구가 제공하는 맥락을 다음 단계에 사용할 수 있도록 모델에게 제시하는 방식과 관련이 있습니다.

실험 결과는 작업 유형과 코드베이스의 특성에 따라 크게 달라졌습니다. 단순한 코드 위치 찾기 작업에서는 두 방식 모두에서 의미론적 탐색을 선택하는 비율이 낮았으나, 참조 완성 작업에서는 의미론적 탐색이 45%에서 57%의 확률로 더 높은 정확도를 보였습니다. 이는 의미론적 탐색이 단순히 더 많은 토큰을 사용하더라도 실제 호출을 더 잘 찾았기 때문이며, 검색의 정밀도보다는 에이전트가 코드를 얼마나 철저하게 처리했는지에 따라 결과가 결정되었습니다.

또한, 코드베이스의 노이즈 수준도 중요한 예측 변수로 작용했습니다. 깨끗한 TypeScript 저장소에서는 LSP 기반 탐색이 추가적인 성능 향상을 가져오지 않았지만, 노이즈가 많은 저장소에서는 의미론적 탐색이 F1 점수를 개선하고 토큰 사용량을 줄이는 효과를 보였습니다. 이는 의미론적 탐색의 가치가 언어의 정적 타입 여부가 아니라 grep의 정밀도가 해당 코드베이스에서 얼마나 저하되는지에 달려 있음을 보여줍니다.

결론적으로, 더 나은 검색 인터페이스를 평가하려면 전체 에이전트 시스템을 고려해야 합니다. 도구의 정밀도와 토큰 사용량만으로 평가할 수 없으며, 모델이 도구를 사용하는 방식과 인터페이스의 출력 형태가 에이전트의 행동에 미치는 영향을 함께 평가해야 합니다. 에이전트 플랫폼을 구축하는 팀은 더 정교한 추상화가 도움이 될 것이라고 가정하기 전에 실제 작업에 대해 변화를 테스트해야 합니다.

다지선다형 벤치마크는 대규모 언어 모델을 평가하는 데 널리 사용되지만, 선택지 순서에 대한 민감도가 모델의 지식과 혼재되어 모델 지표로서 신뢰하기 어렵다는 문제가 있습니다. 본 연구는 모델이 정답을 선택하는 동안 선택지 레이블을 보지 못하게 하여 위치적 영향(positional influence)을 제거하고 성능을 개선할 수 있는지 테스트했습니다.

연구진은 편향을 완화하기 위한 두 가지 전략을 평가했는데, 첫 번째는 생성 후 매칭(generation-then-matching) 접근법이고, 두 번째는 선택지를 분리하여 개별적으로 점수 매기는 방법으로, 후자는 구조적으로 위치적 편향이 없었습니다. 그러나 두 전략 모두 정확도를 안정적으로 개선하지는 못했습니다.

분석 결과, 병목 현상은 매칭 단계가 아니라 선택지를 숨기는 것 자체에 있음을 보여줍니다. 모델이 모든 선택지를 LLM 매처와 쌍으로 보여주는 구성만이 기준선과 일치하는 것으로 나타났습니다. 또한 위치적 영향을 완전히 제거하더라도 정확도가 안정적으로 향상되지는 않지만, 순환 치환(cyclic permutation)은 성능을 개선하는 경향이 있습니다.

멀티모달 대규모 언어 모델(MLLM)의 능력을 평가하는 데 있어 비디오 이해는 근본적인 과제입니다. 현재 선도적인 모델들은 기존의 단일 턴 비디오 이해 작업에서 이미 약 90%의 정확도를 달성했기 때문에, 고급 MLLM의 지능을 평가하기에는 기존의 단일 턴 비디오 이해 방식은 포화 상태이며 불충분하다는 지적이 제기되고 있습니다.

이러한 한계를 극복하기 위해 일반 인공지능(AI) 비서에 초점을 맞춘 에이전트형 비디오 이해 벤치마크인 VideoGAIA가 소개되었습니다. VideoGAIA는 단순히 한 번의 비디오 질문 응답을 넘어, 모델이 비디오를 반복적으로 인식하고 외부 도구를 호출하며, 보완적인 정보를 수집하고, 여러 턴에 걸쳐 멀티모달 증거를 통합하는 다중 턴 도구 증강 상호작용 프로세스로 비디오 이해를 정립합니다.

VideoGAIA는 다양하고 복잡한 실제 시나리오를 다루는 271개의 모델-인간 공동 설계 작업을 포함하고 있으며, 각 질문-응답 인스턴스는 정확성과 적절한 난이도를 보장하기 위해 세 명의 인간 전문가에 의해 독립적으로 검증되었습니다. GPT-5.5나 Kimi-K3와 같은 최첨단 모델들을 포함한 모든 평가 대상 MLLM은 VideoGAIA에서 60% 미만의 정확도를 기록했는데, 이는 VideoGAIA가 차세대 MLLM을 평가하기 위한 고품질의 시의적절한 벤치마크로서의 가치를 입증합니다.

VideoGAIA는 기존의 비디오 이해에서 에이전트형 비디오 이해로의 전환을 촉진할 것으로 기대됩니다.

2023년 뉴욕 법원에서 ChatGPT가 생성한 환각성 인용으로 인해 변호사 두 명이 제재를 받은 사례가 있습니다. 이 연구는 LLM이 법률 문서에서 인용의 적절성을 판단하는 데 있어 놓치는 부분을 탐구하며, 기존의 LLM 평가 방식이 간과하는 더 어려운 문제에 초점을 맞춥니다. 연구진은 실제 법률 인용을 조작하여 명제 수준의 인용 지원을 검증하는 방법을 사용했습니다.

연구 결과, 모델들은 잘못된 사례(wrong-case)는 93~100% 포착했지만, 특정 페이지(wrong-pinpoint) 오류에 대해서는 법원 의견에서 37~61%, 법률 서면에서 52~83%만 포착했습니다. 모델이 페이지 수준의 오류를 놓칠 경우, 단순히 주제적 중복에 의존하여 인용을 수용하는 경향을 보였습니다.

규모와 확장된 추론 능력은 이러한 격차를 좁히지만 해소하지 못했습니다. GPT-5.4와 같은 고성능 모델도 여전히 법원 의견에서 특정 페이지 불일치를 40%, 법률 서면에서 18%를 놓쳤습니다. 또한, 모델에게 인용된 페이지의 지원을 검증하도록 프롬프팅하면 재현율은 향상되지만 오탐률이 증가하는 상충 관계가 발생합니다.

결론적으로, 현재 모델들은 올바른 법률 주제를 인식하고 인용의 지원을 검증하는 능력을 혼동하고 있습니다. 이는 LLM이 법률 맥락에서 인용의 정확성을 판단하는 데 있어 주제 인식과 페이지별 지원 검증을 별개의 능력으로 취급해야 함을 시사합니다.

멀티모달 대규모 언어 모델(MLLM)은 발전했지만 시각 이해와 생성은 종종 분리된 목표로 취급되어 왔습니다. 기존의 통합 프레임워크들은 이산적인 시각 토큰화나 확산 목표에 의존하는데, 이는 시각 이해 모델이 소비하는 연속적인 표현과 생성 목표가 달라 기존 사전 학습된 MLLM에 직접 적용하기 어렵습니다.

이 연구는 이러한 문제를 해결하기 위해 생성 가이드 훈련 프레임워크인 GAS를 제시합니다. GAS는 시각 생성을 표현 학습을 위한 보조 감독으로 재해석하여 멀티모달 이해를 향상시킵니다. 구체적으로 GAS는 분리된 혼합-트랜스포머(MoT) 아키텍처 내에서 Next Embedding Prediction(NEP)을 교차 모달 생성 패러다임으로 활용합니다. 공유된 하위 트렁크와 병렬 상위 레이어를 유지함으로써, 생성 손실이 공유 시각 경로를 더 미세한 공간 정밀도와 강력한 시각 보존으로 풍부하게 만들면서 상위 이해 레이어를 직접적인 생성 기울기에서 보호합니다.

이러한 접근 방식은 모델 규모와 훈련 단계 전반에 걸쳐 집합적인 멀티모달 이해를 개선하며, 특히 지각 및 공간 이해에서 가장 신뢰할 만한 이점을 제공합니다. 결정적으로, 보조 생성 분기는 훈련 후 폐기되므로 추론 오버헤드가 전혀 발생하지 않습니다. 광범위한 통제된 비교 분석을 통해 생성 가이드 훈련이 이해도를 향상시키는 시점과 이유를 명확히 밝히고, 생성 가이드 훈련이 더 강력한 멀티모달 이해로 가는 실용적인 경로임을 입증했습니다.

추론 과정의 효율적인 테스트 시간 확장을 위해 주장 수준의 허위 판별(claim-level falsification)을 원칙으로 하는 Claim-Level Reliability Assessment(CLR) 프레임워크를 제안합니다. CLR은 추가적인 솔루션 샘플링에서 테스트 시간 컴퓨팅을 목표 지향적인 검증으로 재할당하는 훈련 불필요 프레임워크입니다. 전체 추론 경로 평가는 일상적인 토큰으로부터의 신호 희석 때문에 결정적인 오류를 가리는 경우가 많기 때문에, CLR은 각 추론 경로를 의사 결정에 결정적인 주장들의 압축된 세트로 요약하여 논리적 닻을 분리합니다.

또한, 고정된 모델 능력 하에서 완전히 정확한 솔루션을 생성하는 것의 본질적인 어려움을 인식하여 CLR은 의미론적 허위 판별(semantic falsification)에 초점을 맞춥니다. 이 접근 방식은 솔루션 구성과 주장 반박 사이의 근본적인 비대칭성을 활용합니다. 유효한 솔루션을 구성하려면 완벽한 추론 경로가 필요하지만, 잘못된 주장을 반박하려면 단 하나의 결정적인 결함만 식별하면 됩니다.

이러한 부정적 증거에 대한 표적 탐색은 고신뢰도 오류 추론의 생존 공간을 체계적으로 압축하여 비선형 신뢰도 점수를 통해 오류된 합의를 효과적으로 억제합니다. 네 가지 LLM과 네 가지 추론 벤치마크에서 일치된 예산 하에 CLR은 일반적으로 pass@1과 자기 일관성(self-consistency)을 개선합니다. 예를 들어 GPT-OSS-20B/CMIMC25의 경우 CLR은 pass@1을 27.15 퍼센트 포인트 초과하고 자기 일관성 정확도를 77.50%에서 82.19%로 높이며 토큰 수를 37.0% 줄였습니다.

Muon 옵티마이저의 뉴턴-슐츠 직교화 단계는 세제곱 시간 복잡도로 인해 상당한 오버헤드를 발생시킵니다. 특히 가중치가 분할(sharded)될 경우 통신 오버헤드가 이 계산 비용을 증폭시켜 많은 설정에서 Muon의 이점을 약화시킵니다. 이에 따라 연구진은 모든 계층에서 이러한 오버헤드를 해결하는 Muon의 개선 버전인 Dion3를 제시합니다.

Dion3는 Gram Newton-Schulz 알고리즘을 사용하여 직교화의 FLOP 비용을 줄이고, 대칭성을 활용하여 CuteDSL 커널을 가속하며, megabatching 전략으로 통신 오버헤드를 감소시킵니다. 또한, 각 단계에서 모멘텀 행렬의 일부 행만 직교화하도록 업데이트 규칙을 단순하게 변경하여 비용을 추가로 절감합니다.

이러한 개선을 통해 Dion3는 Muon이 달성한 손실(loss)과 동등하거나 더 나은 성능을 보이며 옵티마이저 단계 시간을 최대 6배까지 단축합니다. Dion3는 Muon의 대체재로 사용될 수 있으며, microsoft의 dion 패키지를 통해 Muon과 교체하여 사용할 수 있습니다.

Zig의 I/O 인터페이스 개편 작업인 Writergate는 2023년 말부터 시작되어 2025년 8월에 GenericWriter, GenericReader 등을 완전히 제거하며 완료되었습니다. 이 변경은 Zig I/O 코드를 다루는 개발자들에게 직접적인 영향을 미쳤습니다. 이전 API는 타입 매개변수를 사용한 제네릭 디자인을 채택하여 모든 컨테이너 구조체를 제네릭으로 만들었고, 이는 API 재사용성을 저해하고 컴파일 시간을 악화시키는 문제를 일으켰습니다.

새로운 API는 vtable 기반의 구체적인 타입과 명시적인 버퍼링을 사용합니다. 예를 들어, 이전에는 `std.io.getStdOut()`을 사용했다면 이제 `std.fs.File.stdout()`을 사용하며, 버퍼는 호출자가 직접 제공해야 합니다. 이 변화는 I/O를 메모리 할당처럼 취급하여 비동기(async) 지원을 가능하게 하고, 버퍼가 vtable 위에 위치하여 성능을 개선하며, 백엔드 작업에 따라 구체적인 에러 세트를 제공하여 오류 처리를 정밀하게 만듭니다.

새로운 아키텍처는 Io(백엔드) 레벨과 File(구체적인 구현체) 레벨로 세 단계로 구성되어 있으며, 구조체는 @fieldParentPtr을 통해 상위 구조체와 연결됩니다. 개발자는 버퍼를 명시적으로 플러시해야 하며, 인터페이스를 복사할 때는 포인터를 사용해야 하는 등의 몇 가지 주의할 점이 있습니다. 특히 인터페이스를 상속받는 구조체를 복사할 때 vtable이 상위 구조체를 복구하는 방식 때문에 주의가 필요합니다.

거대 언어 모델(LLM)은 뛰어난 성능을 보이지만 정적인 데이터로 학습되어 빠르게 변화하는 세상에서는 지식이 쉽게 구식이 됩니다. 이러한 문제를 해결하기 위해 LLM 내의 특정 지식만 업데이트하는 지식 편집(Knowledge Editing, KE)이 연구되고 있으며, 최근에는 여러 사실을 동시에 포함하는 자유 형식의 문장인 비정형 지식 편집(Unstructured KE, UKE)으로 발전하고 있습니다.

하지만 기존의 편집 방식은 이러한 비정형 지식을 주입하더라도 모델이 해당 정보를 활용하여 원자적인 질문에 답하거나 다단계 추론을 구성하는 능력이 부족합니다. 연구진은 이러한 부족한 능력을 '컴포저빌리티(composability)'라고 정의하며, 이는 편집기가 고정된 문장을 유일한 학습 소스로 수동적으로 의존하기 때문에 발생한다고 분석했습니다.

이에 연구진은 편집을 외부 감독 없이 동일 모델의 특권적인 인컨텍스트 상태로부터 능동적으로 자기 증류(self-distillation)하는 방식으로 전환할 것을 제안했습니다. 특히 새로 주입된 지식의 특성상 사전 편집된 모델의 롤아웃이 해당 지식을 거의 포함하지 못하여 순수 온-폴리 정책 증류(on-policy distillation)의 효과가 제한된다는 한계를 지적했습니다.

이러한 격차를 해소하기 위해 연구진은 HPSE라는 하이브리드 롤아웃을 제안했는데, 이는 모델의 커버리지가 부족한 지점에 누락된 사실을 학생의 궤적 위에 정확히 배치하면서도 다른 부분에서는 정책을 유지하는 방식입니다. HPSE는 순수 온-폴리 증류 대비 이론적 우위를 분석했으며, 다양한 시나리오에서 네 가지 LLM 백본과 두 가지 KE 편집기 전반에 걸쳐 실증적인 개선 효과를 입증했습니다.

AI 코딩 에이전트가 인간의 검토나 사전 검증 없이 대규모 코드베이스의 핵심 구조적 불변성을 성공적으로 해체한 사례를 보고합니다. 이 연구는 사양 우선(specification-first) 프로토콜을 통해 목표 행동을 검증하는 오라클(oracle)이 없는 환경에서 에이전트가 복잡한 작업을 수행할 수 있음을 입증합니다.

실제 사례에서 에이전트는 717,725줄에 달하는 TypeScript 애플리케이션을 대상으로 핵심 수명 불변성(lifetime invariant)을 해체하는 작업을 수행했습니다. 이 불변성은 AI 요청 시간 동안 UI 패널이 열려 있어야 한다는 보장이었으며, 목표 행동은 스트리밍 생성물이 패널이 닫힌 후에도 재연결 시 손실이나 중복 없이 동일한 라이브 스트림에 다시 부착되는 것이었습니다.

에이전트는 사양 정의, 14회의 정제 주기, 17회의 검증 주기를 거치는 엄격한 프로토콜을 통해 코드를 구현하고 검증했습니다. 이 과정에서 인간이 코드를 실행하기 전에 201개의 결함이 수정되었으며, 두 번의 연속적인 검증 통과에서 0개의 결함이 발견되는 것을 기준으로 수렴했습니다.

이 작업은 3일 만에 완료되었으며, 변경된 코드는 189개 파일에 영향을 미쳤고 추출 단계에서는 총 288개 파일, 34,770개의 삽입, 16,422개의 삭제가 발생했습니다. 이 연구는 AI 에이전트가 복잡한 아키텍처 변경을 수행할 때 필요한 신뢰성과 자동 검증 메커니즘에 대한 중요한 통찰을 제공합니다.

항공 운송 분야의 심각한 지연이나 비정상적인 비행 시간과 같은 극단적인 사건은 운영, 경제, 안전에 상당한 비용을 초래하며, 이러한 사건은 역사적 기록에서 드물어 머신러닝 모델을 위한 충분한 학습 신호를 제공하지 못합니다. 기존의 합성 데이터 증강 방법은 분포의 꼬리 부분을 제대로 반영하지 못하며, 짧은 비행 시간과 긴 비행 거리처럼 운영상 불가능한 사례에 대한 보장을 제공하지 못하는 한계를 가지고 있습니다.

이에 연구진은 생성 모델과 두 개의 이상 탐지 레이어를 결합한 이중 계층 생성 프레임워크인 TailBooster를 제안했습니다. 이 프레임워크는 통계 레이어를 통해 사분위 범위(interquartile range)를 이용해 극단값을 추출하고, 이를 Tabular Variational Autoencoder와 같은 전용 생성 모델에 꼬리 집중형 학습 신호를 공급합니다. 또한 딥러닝 레이어는 오토인코더 기반 클리닝을 적용하여 과거 데이터에서 학습된 운영 한계를 위반하는 합성 기록을 제거함으로써 데이터의 운영 타당성을 확보합니다.

이 프레임워크는 다양성, 통계적 유사성, 충실도, 운영 타당성, 유용성이라는 다섯 가지 차원에서 평가되었으며, 데이터 기반 클리닝은 운영 타당성을 크게 개선했고, 목표 지향적인 증강은 극단 사건 예측에 대한 유용성을 향상시켰습니다. 특히, 이 프레임워크의 기록을 사용하여 6가지 회귀 알고리즘으로 훈련했을 때, 기존 합성 데이터 대비 극단 비행 시간 예측에서 평균 절대 오차(MAE)가 47~49%, 극단 도착 지연 예측에서 29~57% 감소하는 결과를 보였습니다.

TailBooster는 데이터 기반이며 모델에 구애받지 않는 접근 방식을 제공하므로, 특정 도메인 규칙이 없는 극단 사건 예측이 중요한 모든 영역으로 확장될 수 있습니다. 이는 극단 사건 예측이 필수적이지만 도메인별 규칙이 없는 분야에서도 유용하게 적용될 수 있음을 의미합니다.

레이어 간 혼합 어텐션(HLA) 대규모 언어 모델에서 거대한 활성화(Massive Activations, MAs)에 대한 체계적인 연구를 통해 두 가지 구조적으로 정렬된 형태가 밝혀졌습니다. 첫째는 전체 어텐션 레이어 직전에 발생하는 전어텐션 스파이크(pre-attention spikes, PAS)이며, 둘째는 중간의 선형 어텐션 레이어를 통과하여 지속되는 스파이크 간 간격(inter-spike plateaus, ISP)입니다.

이러한 현상은 전체 어텐션이 밀집될수록 연속적인 PAS가 ISP를 통해 점점 연결되어 최종적으로 전체 어텐션 LLM의 안정적인 MA 형태를 회복하는 방식으로 나타납니다. 연구진은 이러한 조직화가 다섯 가지 선형 어텐션 아키텍처, 여섯 가지 하이브리드 구성, 다섯 가지 데이터 도메인, 그리고 12억에서 3970억 개의 총 파라미터를 가진 대표적인 오픈 소스 하이브리드 모델에 걸쳐 재현됨을 확인했습니다.

또한, GDN 기반 하이브리드 모델을 13억 파라미터까지 제어 학습했을 때, 두 형태 모두 초기에 나타나며 출력 게이팅에 비대칭적으로 반응한다는 것을 발견했습니다. 전체 어텐션 출력 게이팅은 레이어별 조직화를 제거하지 않으면서 MA의 절대 크기를 강력하게 약화시키는 반면, GDN 게이트를 제거하면 상대적으로 적은 증폭 효과만 나타났습니다.

체계적인 이상치 분석을 통해 PAS는 국소적인 쓰기-싱크-취소 과정으로, ISP의 확장된 지속성은 지연된 취소와 일치하는 공통적인 수명 주기를 설명합니다. 이는 MA 취소 시점의 타이밍에 의해 통제되는 공유된 메커니즘임을 시사하며, 연구 코드는 GitHub에서 공개되어 있습니다.

새로운 연구에 따르면 계산 최적화가 클러스터 최적화와 같지 않다는 결론이 도출되었습니다. 이 연구는 시스템 단계를 스케일링 법칙 단계에 통합하는 MOSAIC 프레임워크를 사용하여, 특정 클러스터에서 실제로 달성할 수 있는 성능을 고려해야 함을 제시합니다.

모델의 희소성(sparsity)과 Mixture-of-Experts(MoE) 설정은 사용된 클러스터에 따라 달라지며, 이는 모델이 실제로 제공하는 성능에 영향을 미칩니다. 기존의 스케일링 법칙은 계산 예산을 모델로 변환하지만, 클러스터는 FLOPs가 아닌 GPU 시간으로 비용을 청구하기 때문에 실제 비용을 반영하지 못한다는 지적입니다.

연구 결과, 모델의 손실 대비 FLOPs를 최적화하는 설계와 실제 하드웨어 시간 대비 FLOPs를 최적화하는 설계는 서로 다른 결과를 보였습니다. 예를 들어, 동일한 모델 FLOPs 예산 내에서 희소성이 높을수록 손실이 감소하지만, 실제 하드웨어 컴퓨팅 비용을 고려하면 더 느린 설계가 우위를 점할 수 있습니다.

따라서 최적의 아키텍처를 선택하기 위해서는 모델의 손실뿐만 아니라 클러스터가 실제로 지불하는 비용, 즉 MFU(Model-FLOPs per GPU-hour)를 함께 고려하는 시스템 관점의 접근이 필요합니다.

LLM 에이전트 서비스는 모델과 툴 호출 사이에 결과 경로를 설정하고 상태를 업데이트하는 작은 결정들을 반복적으로 실행합니다. 연구는 이러한 제어 경로가 GPU 실행을 위한 충분한 동시 작업을 노출하는지, 그리고 GPU가 계산한 경로 결정이 장치 내에 남아있을 때 어떤 변화가 생기는지를 탐구합니다.

연구진은 고정 파티션 공유 F, 정확한 오프라인 공유 P*, 로컬 상한 U, 그리고 온라인 달성 공유 A를 사용하여 준비된 코호트 경계를 공식화했습니다. 서비스 시간이 0이고 용량이 무제한이며 출시 마감 기한이 동일할 때, 특화된 동적 프로그램은 P*를 정확하게 계산할 수 있음을 보였습니다. 특정 조건 하에서 실험 결과, 정확한 패킹은 고정된 창 경계에서 손실된 기회의 81.83%를 회복시켰습니다.

실제 실험에서는 100,000개의 활성 세션, K=256, 50ms 출시 마감 기한 조건에서 F=30.19%, P*=43.00%, U=45.85%라는 수치가 도출되었습니다. 또한, 결과에서 파생된 경로 키는 실행 가능한 정체성의 증거가 아니라 조건화 프록시임을 명확히 했습니다.

GPU 에이전트 제어를 위한 두 가지 측정 가능한 게이트, 즉 출시 마감 기한이 충족되는 코호트 공급과 관측 배치(observation placement)를 확립했습니다. 장치 내 경로를 유지하는 고정된 중첩 장치 그래프는 모든 배치에서 더 느렸으며, 장치 내 경로는 모든 구성에서 호스트 결정이 없는 경우 더 빨랐습니다. 이 연구는 A, CPU 변위, 서비스 수준 이점을 측정하기 위해 결합된 유한 온라인 런타임이 필요함을 시사합니다.

AI 모델의 능력과 잠재적 위험에 대한 메커니즘이 여전히 불분명한 상황에서, AI를 과학적 도구로 활용하여 지능의 근본적인 메커니즘을 자율적으로 발견하는 에이전트 시스템인 메카니스트를 소개합니다. 이 시스템은 자율적인 메커니즘 발견을 지원하기 위해 약 13,000편의 논문으로 구성된 해석 중심의 지식 그래프와 26개 분야에 걸친 4300만 편의 다학제 데이터베이스를 통합했습니다.

메카니스트는 메커니즘 분석, 인과적 개입, 검증을 위한 32가지 기초 방법을 포함하는 라이브러리를 구축하여 기존의 AI 과학자 시스템이나 Claude Code보다 더 가치 있는 메커니즘 가설을 생성하고 실험을 더 신뢰성 있게 수행합니다. 특히 메카니스트는 안전한 훈련 데이터에서도 안전하지 않은 특성이 양식(modality)을 통해 전이될 수 있다는 직관에 반하는 안전 위험을 발견했습니다.

나아가 메카니스트는 모델이 세계 지식을 어떻게 표현하고, 신념을 형성하며, 타인의 신념을 추론하는지, 그리고 이러한 메커니즘이 사전 훈련 중에 어떻게 발생하는지에 대한 신념의 메커니즘 이론을 개발했습니다. 최종적으로 메카니스트는 이러한 메커니즘적 통찰을 실제 개입으로 전환하여 다양한 시나리오에서 모델 성능을 개선하고, 과학적 기초 모델이 특정 속성을 가진 DNA 서열을 생성하도록 유도하는 실질적인 방법을 제시합니다.

거대 언어 모델(LLM) 에이전트가 외부 도구와 통합될 때 환경 상태에 내재된 간접 프롬프트 주입에 취약하다는 연구 결과가 나왔습니다. 기존 연구들은 수동으로 구현되거나 재사용된 환경, 확률적 도구 시뮬레이션, 미리 정의된 주입 위치에 의존하여 보안 연구의 확장성을 제한해 왔습니다.

이러한 한계를 극복하기 위해 연구진은 인간의 엔지니어링을 줄이고 추가적인 시드 도메인과 컴퓨팅으로 확장할 수 있는 확장 가능한 적대적 환경 합성 프레임워크인 ToolHazard를 제안했습니다. ToolHazard는 환경 시뮬레이터, 공격 에이전트, 사용자 시뮬레이터를 통해 실행 가능한 상태 기반 환경을 합성하고, 유효한 주입 지점을 발견하며, 환경별 페이로드를 생성하고, 상태에 기반한 장기 태스크를 구성합니다.

ToolHazard를 기반으로 복잡한 워크플로우와 다양한 환경 공격 하에서 에이전트를 스트레스 테스트하기 위한 ToolHazard-Bench를 구축했습니다. 실험 결과는 에이전트가 상당한 취약점을 보이며, 주입의 타이밍과 위치가 공격 효과에 영향을 미친다는 것을 보여줍니다. 또한 ToolHazard가 생성한 정렬 데이터는 벤치마크와 AgentDojo 모두에서 보안을 향상시키면서도 태스크의 유용성을 유지합니다.

연구 아이디어를 완전한 논문으로 만드는 과정은 단순히 텍스트를 생성하는 것을 넘어 문헌 검색, 실험 설계 및 실행, 증거에 따른 주장 수정, 출판 준비용 그림 생성, 그리고 장기간 생성 과정에서의 일관성 유지 등 복잡한 단계를 요구합니다. 이에 따라 연구팀은 기존 코딩 도우미 내에 13개의 조합 가능한 기술(composable skills)로 구현된 엔드투엔드 연구 논문 생성 시스템인 Spark-to-Paper를 제시했습니다.

Spark-to-Paper는 모델 기반 판단과 직접 실행 및 검증이 가능한 결정론적 연산을 분리하며, 실험 계획과 보고를 분리하여 결과가 관찰되기 전에 필요한 증거를 명시하고 측정된 결과에 따라 논문의 주장을 수정할 수 있도록 합니다. 또한 장기적인 연구 궤적에서 신뢰도를 높이기 위해 결정론적 무결성 검사와 자기 비판(self-critique)을 결합하고, 반복적인 실험이 원래 연구 목표를 거부하는 실패 모드인 자기 반박 루프(Self-Refutation Loop)를 제한합니다.

이 시스템은 실험 결과를 위한 편집 가능한 벡터 그림을 프로그래밍 방식으로 생성하고 생성된 방법 다이어그램을 코드 기반으로 재구성할 수 있습니다. 여덟 가지 통제된 연구 주제에 걸쳐 Spark-to-Paper는 인용 타당성 99.5%와 그림 편집 가능성 96.4%를 달성했습니다. 전체 시스템은 1190만 토큰을 사용하며 논문당 8.1달러의 비용이 들고 평균 3.2시간이 소요됩니다.

이러한 결과는 엔드투엔드 연구 논문 생성이 기존 코딩 도우미 내에서 경량의 조합 가능한 워크플로우로 구현될 수 있으며, 실험 증거가 주장 수용, 수정 또는 포기 과정의 중심에 유지될 수 있음을 보여줍니다.