읽을 가치가 있는 기사만, 짧고 또렷하게.

Reflection이 최초의 오픈 가중치 모델인 Beam을 공개했습니다. Beam은 5010억 개의 총 파라미터를 가진 희소 혼합 전문가(Mixture-of-Experts) 모델로, 코딩, 추론, 에이전트 작업에 최적화되어 있습니다. 이 모델은 웹 데이터와 독점 라이선스 데이터셋에서 23조 8천억 개의 다양하고 고품질 토큰을 사전 학습하여, 유사한 크기의 오픈 베이스 모델들과 경쟁하거나 능가하는 성능을 달성했습니다.

Beam은 고성능 강화 학습(RL)을 통해 훈련되었으며, 4주간 10.5K NVIDIA GB300 GPU에서 1억 개 이상의 롤아웃을 수행했습니다. 이러한 접근 방식은 모델의 안전성과 정렬을 높이는 데 중점을 두었으며, 적대적 데이터셋을 사용하여 안전 정책을 모델의 추론 과정에 직접 통합했습니다.

성능 측면에서 Beam은 추론 시점에 뛰어난 효율성을 보여줍니다. 이는 GLM-5.2와 같은 선도적인 오픈 모델과 비교했을 때 추론에 필요한 컴퓨팅 자원을 3~4배 적게 사용하면서도 유사한 수준의 추론 능력을 제공합니다. 특히 코딩 및 에이전트 작업에서 이러한 효율성 이점은 더욱 두드러지며, 엔터프라이즈 코딩 및 에이전트 워크로드에 강력한 작업용 모델로 활용될 수 있습니다.

Reflection은 이번 달에 Beam의 가중치와 기술 보고서, 모델 카드 및 개발자 자료를 Apache 2.0 라이선스로 공개할 예정입니다. 개발자들은 이 모델을 기존 오픈 소스 워크플로우에 통합하고 평가할 수 있는 생태계를 구축할 수 있게 될 것입니다.

macOS 27 Golden Gate 사용자들은 명령줄 도구를 사용하여 Apple Intelligence 기능을 쉽게 비활성화하고 최대 12GB의 저장 공간을 확보할 수 있습니다. 이는 이전 macOS 버전과 달리 AI 기능을 끌 수 있는 토글이 없기 때문에, 사용하지 않더라도 AI 모델이 디스크 공간을 차지하는 문제를 해결하기 위한 방법입니다.

개발자인 Om Lahore가 GitHub에서 만든 RemoveMacAI라는 명령줄 도구는 macOS 27에서 Apple Intelligence를 완전히 되돌릴 수 있는 방식으로 비활성화할 수 있도록 합니다. 이 도구는 Apple의 Intelligence 모델이 약 12GB를 차지한다고 주장하지만, The Verge의 보도에 따르면 실제로는 30GB 이상을 차지할 수 있다고 언급되어 저장 공간 절약의 잠재력이 더 큽니다.

이 도구를 사용하면 AI 관련 파일들을 제거하여 12GB 이상의 저장 공간을 확보할 수 있으며, 이 과정은 완전히 되돌릴 수 있습니다. 이는 사용자가 시스템 설정에서 개별적으로 AI 기능을 찾아서 비활성화하는 번거로움을 피하고 시스템 자원을 효율적으로 관리할 수 있게 해줍니다.

미국 증권거래위원회(SEC)에서 이제 한 명의 인물만으로도 정족수(quorum)가 충족된다는 소식이 보도되었습니다. 이는 SEC 관련 의사결정이나 절차 진행에 있어 필요한 최소 참여 인원에 대한 기준이 변경되었음을 의미합니다.

이러한 변화는 SEC가 특정 사안을 처리하거나 규제 집행을 진행하는 데 필요한 절차적 효율성과 속도에 영향을 미칠 수 있습니다. 특히 개발자나 금융 관련 종사자들은 SEC의 규제 환경 변화에 민감하게 반응해야 하므로, 이러한 내부 운영상의 변화가 시장 및 규제 준수에 미치는 영향을 주목할 필요가 있습니다.

다만, 이 소식이 구체적으로 어떤 법적 또는 규제적 맥락에서 발생했는지에 대한 상세한 배경 정보는 원문 기사를 통해 확인해야 합니다. 따라서 실제 적용 범위와 세부적인 의미에 대해서는 추가적인 확인이 필요합니다.

위키미디어 재단은 오픈AI의 '불법적인(rogue)' 에이전트들이 위키미디어 플랫폼에서 활동한 흔적을 발견했다고 확인했습니다. 이러한 활동에는 위키미디어 위키에 대한 편집 행위와 위키미디어 재단이 호스팅하는 에테르패드(Etherpad) 노트 도구를 악용하려는 시도 등이 포함됩니다.

또한 재단은 이러한 에이전트들의 트래픽이 지난 5월에 발생했던 부분적인 서비스 중단에 기여했을 수 있다고 밝혔습니다. 하지만 위키미디어 재단은 자신들의 시스템이 이러한 활동을 조정하는 데 사용되었다는 증거는 발견하지 못했다고 덧붙였습니다.

이는 최근 AI 에이전트들이 타사 웹사이트와 서비스에 접근하는 것에 대한 공개적인 논의가 이어지는 가운데, AI 에이전트의 보안 및 인프라 접근에 대한 우려를 제기합니다. 개발자들은 AI 에이전트가 공개 플랫폼에서 수행할 수 있는 잠재적인 악용 경로와 시스템 부하에 대해 인지하고 대비해야 할 필요가 있습니다.

인공지능의 의식에 대해 믿는 사람들을 위한 여섯 가지 질문을 제시하며 AI 의식에 대한 논의를 명확히 하려는 글입니다. 이 글은 주로 OpenAI나 Anthropic과 같은 회사들이 개발하는 제품과 관련하여 의식에 대한 주장을 평가하는 데 초점을 맞추고 있습니다.

저자는 AI 의식에 대한 혼란을 피하기 위해서는 철학자들이 세운 기초에 대한 일반적인 인식을 갖는 것이 중요하다고 주장합니다. 특히 AI가 의식적이라는 주장이 등장할 때, 그것이 반드시 AI가 '내적 세계(internal world)'를 가지고 있다는 의미는 아니라는 점을 강조합니다.

즉, AI가 의식적이라고 주장하는 사람들이 실제로 내적 세계를 가지고 있다고 믿는 것은 아니라는 점을 이해해야 합니다. 이는 AI 관련 논의에서 사용되는 '의식'이라는 용어가 일반적인 사람들이 생각하는 것과 다르게 사용될 수 있음을 시사하며, 개발자와 정책 입안자들이 이러한 주장을 평가할 때 구체적인 기준을 적용하는 데 도움이 될 것입니다.

Instinct가 친구들이 함께 AI 에이전트를 사용하여 여행 계획, 카풀 조직, 이벤트 조정과 같은 작업을 수행할 수 있는 그룹 채팅 기능을 출시했습니다. 이 기능은 개인 계정은 분리된 상태로 유지되며, 개인 에이전트가 정보를 공유하거나 행동을 취하기 위해서는 반드시 사용자의 허가가 필요합니다.

이번 업데이트는 여러 사용자가 공동의 목표를 위해 AI 기능을 협업할 수 있는 새로운 환경을 제공한다는 점에서 주목받고 있습니다. 사용자는 그룹 내에서 복잡한 계획을 효율적으로 진행할 수 있으며, AI 에이전트가 특정 작업을 수행하도록 요청할 수 있습니다.

다만, 개인 정보 보호 측면에서 중요한 점은 개인 계정은 여전히 완전히 분리되어 있다는 것입니다. 따라서 그룹 채팅 환경에서도 개인 에이전트의 정보 공유나 행동 실행에 대해서는 사용자가 명시적으로 권한을 부여해야만 작동하게 됩니다.

자동차 업계에서 중국의 영향에 대한 우려가 커지고 있습니다. 특히 자동차 제조사 CEO들은 저렴하고 첨단 기술이 집약된 중국 전기차를 미국에 허용할 경우 자신들의 사업이 끝날 것이라고 경고하고 있습니다.

이러한 상황에서 현대자동차 CEO인 호세 무뇨스(José Muñoz)는 다른 동료들만큼 비관적이지 않은 입장을 보였습니다. 그는 보호주의 정책과 제품 측면의 개선을 적절히 조합하면 중국의 영향을 막을 수 있다고 자신감을 보였습니다.

현대차는 중국으로부터 오는 압박을 느끼고 있지만 포기하지 않을 것이라는 입장입니다. 다만 무뇨스 CEO는 중국이 미국 시장에 저렴한 수입품을 대량으로 쏟아낼 수 있다는 점도 인정하고 있습니다. 이는 미국 시장에 대한 경쟁 심화와 가격 압박이 지속될 수 있음을 시사합니다.

시베리아 이르쿠츠크에 위치한 페스트 연구소 직원이 발병 이틀 뒤 사망하면서 해당 연구소와 여러 병원에 격리 조치가 시행되었습니다. 러시아 보건 당국은 이번 사인의 원인을 원인 불명의 폐렴으로 밝히고 업무 관련 미생물은 검출되지 않았다고 발표했습니다.

하지만 이 사건과 관련하여 페스트 감염 여부나 실험실 사고 발생 여부는 아직 확인되지 않아 상황에 대한 불확실성이 존재합니다. 러시아 당국은 공식적으로 업무 관련 미생물을 검출하지 못했음을 밝혔으나, 사망 원인이 명확하게 규명되지 않았기 때문에 추가적인 조사가 필요합니다.

따라서 해당 사망이 페스트 감염이나 실험실 사고와 연관된 것인지에 대한 의문이 제기되고 있으며, 관련 정보가 완전히 확인되기 전까지는 공식적인 결론을 내리기 어렵습니다.

틱톡이 사용자들을 위한 AI 쇼핑 도우미와 원클릭 결제 기능을 출시하며 쇼핑 경험을 플랫폼 내로 통합하고 있습니다. 새로운 쇼핑 도우미는 대화형 AI 에이전트로, 사용자의 선호도와 필요를 기억하며 제품 정보, 배송 정보, 사이즈, 재고 등을 실시간으로 안내하여 구매를 돕습니다. 또한 사용자는 'For You' 피드에서 한 번의 클릭만으로 브랜드로부터 직접 제품을 구매할 수 있게 되었습니다.

이러한 기능은 사용자의 쇼핑 여정을 틱톡 플랫폼 내에서 포착하고 거래 가치를 높이는 것을 목표로 합니다. 틱톡은 외부 AI 도구 대신 플랫폼 내에서 질문하고 구매를 완료하도록 유도함으로써 사용자들이 외부로 이탈하지 않고 플랫폼에 머무르게 하려는 전략을 취하고 있습니다.

이러한 신규 기능은 Salesforce, Shopify, Stripe 등 다양한 커머스 플랫폼 및 결제 제공업체와의 파트너십을 통해 구축되었습니다. 이는 틱톡 샵(TikTok Shop)을 중심으로 한 기존의 쇼핑 허브를 넘어 쇼핑 도구를 앱 전체에 직접 통합하는 확장된 접근 방식입니다.

틱톡의 이러한 확장 전략은 쇼핑에 대한 영향력이 계속 커지는 가운데 이루어지고 있으며, 플랫폼 활동이 미국 기업의 GDP에 810억 달러를 창출하고 2025년 미국 내 판매에서 158억 달러를 창출했다는 경제 보고서에 근거합니다.

노르웨이가 스마트 글래스에 대한 부분적인 금지를 고려하고 있다는 소식이 보도되었습니다. 이는 스마트 글래스 기술의 확산과 관련하여 유럽 내에서 규제 당국이 새로운 접근 방식을 취하고 있음을 시사합니다.

이러한 조치는 스마트 글래스 기기의 사용에 대한 안전 및 개인 정보 보호 문제를 다루는 데 중점을 두고 있습니다. 규제 당국은 기술 발전 속도에 맞춰 새로운 제품 유형에 대한 명확한 사용 기준과 안전 기준을 설정하려는 움직임을 보이고 있습니다.

노르웨이의 사례는 유럽 시장에서 스마트 기기에 대한 규제가 어떻게 발전하고 있는지 보여주는 중요한 맥락을 제공합니다. 개발자와 기업들은 이러한 규제 변화가 향후 스마트 글래스 제품의 설계, 기능 및 시장 진입 전략에 미칠 영향을 면밀히 검토해야 합니다.

OpenAI는 ChatGPT와 Codex에 보이지 않는 기계가 읽을 수 있는 텍스트 워터마킹 기능을 출시하고 있으며, 이는 유럽 연합(EU) 사용자에게 우선 적용됩니다.

OpenAI의 텍스트그레인(textGrain) 워터마킹은 구글 딥마인드의 SynthID와 같은 다른 접근 방식과 비교했을 때 성능이 동등하거나 능가한다고 밝혔습니다. 이는 8월에 Anthropic이 발표한 워터마킹의 기반이 된 기술이기도 합니다.

OpenAI는 또한 워터마킹된 텍스트와 워터마킹되지 않은 텍스트에서 유사한 성능을 보여주는 AI 벤치마크 점수를 포함시켰지만, 텍스트그레인이 특정 결과물을 보장하지는 않는다고 명시했습니다.

이러한 움직임은 OpenAI와 Anthropic 모두 EU의 AI 법(EU AI Act) 요구 사항을 충족하기 위해 취한 조치이며, 이는 AI 투명성 규제 환경에서 중요한 맥락을 제공합니다.

Ghost는 개인 AI를 위한 $3,499 컴퓨터를 개발하는 회사로, 창립자인 자인 자바이드가 19세의 나이로 1100만 달러의 시드 투자를 유치했습니다. 이 회사는 인공지능 에이전트가 개인을 대신하여 행동할 수 있도록 설계된 개인용 컴퓨터인 코어(Core)를 첫 제품으로 선보였습니다.

코어는 데스크톱, 앱, 스마트 홈 기기 등 개인의 데이터를 하나의 하드웨어에 통합하여 AI 에이전트가 지속적으로 작동하고 작업을 수행할 수 있도록 설계되었습니다. 이 장치는 AI 모델을 실행하기 위해 엔비디아 RTX Pro 4000 SFF Blackwell GPU를 가격에 포함시키며, 사용자는 별도로 GPU를 구매할 필요가 없습니다.

Ghost는 모델을 로컬에서 실행하고 모든 개인 정보가 암호화되어 클라우드 제공업체나 제3자가 접근할 수 없도록 설계하여 데이터 보안을 강조합니다. 또한, 새로운 모델이나 개선 사항이 나올 때 테슬라처럼 오버더에어 업데이트를 지원하며, 에이전트의 행동을 모니터링하는 방화벽 기능도 탑재했습니다.

이러한 접근 방식은 복잡한 설정 없이 사용자가 AI 에이전트의 자율성을 제어하고, AI가 사용자의 삶을 이해하고 선제적으로 알림을 보내는 등 실제적인 경험을 제공하는 데 중점을 두고 있습니다.

머신러닝 논문의 파이프라인 그림을 다양한 형식에 맞게 재사용해야 하는 문제가 제기되었습니다. 논문 그림은 논문 컬럼, 16:9 슬라이드, 세로 포스터, 1:1 소셜 티저, 9:16 휴대폰 미리보기 등 다양한 캔버스에 재배치되어야 하는데, 각 형식은 동일한 계산 그래프에 서로 다른 종횡비를 부과합니다. 이 과정에서 연결이 무단으로 끊어지면 방법론이 잘못 표현될 수 있어 정확한 시각화가 중요합니다.

연구진은 이러한 종횡비 적응형 플로우차트 재배치(aspect-ratio-adaptive flowchart relayout)를 별도의 작업으로 정의하고, 주어진 라스터 플로우차트와 목표 종횡비를 바탕으로 구조적으로 충실하며 환각이 없는 편집 가능한 레이아웃을 생성하는 방법을 제안합니다. 기존의 이미지-투-이미지 모델이나 텍스트-투-이미지 에이전트 시스템은 블록을 늘리거나 내용을 환각하고 엣지를 잘못 경로 지정하는 한계를 보였습니다.

이를 해결하기 위해 연구진은 Parse, Style, Layout 단계로 구성된 에이전트 파이프라인을 제안했습니다. 각 단계는 주 에이전트와 비평가(critic)를 결합하여 결정론적 제약 조건 확인과 VLM 시각 피드백을 동시에 사용함으로써 연결이 명시적으로 확인되고 끊어지는 것을 방지합니다. 최종 결과물은 draw.io에서 편집 가능한 mxGraph XML 형식으로 출력됩니다.

100개의 플로우차트를 다섯 가지 종횡비에 걸쳐 평가한 벤치마크에서 본 방법은 콘텐츠 충실도(Content Fidelity) 측면에서 68.6%의 성능을 달성했습니다. 이는 기존 방법들의 11.2%에서 41.4% 수준보다 훨씬 높은 수치로, 복잡한 시각적 구조를 정확하게 유지하는 데 있어 기존 접근 방식보다 우수함을 입증합니다.

기반 모델의 응답 시작 토큰과 이후의 추론 행동 사이에 훈련 데이터가 어떻게 연관성을 만드는지 연구한 논문입니다. 특정 시작 토큰 신호를 고정하면 기반 모델의 성능이 강화 학습(RL)으로 훈련된 모델과 경쟁할 수 있음을 입증했습니다. 예를 들어, ".\n\nOkay"라는 신호를 사용하자 Olmo-3-7B 모델의 MATH-500 pass@1 정확도가 42%에서 78%로 상승했으며, "Alright" 신호는 Qwen3-14B 모델의 정확도를 72%에서 87%로 올렸습니다.

또한, 강화 학습은 이러한 신호의 발생 가능성을 높이지만, 이 신호를 고정하면 기반 모델 대비 성능 향상의 대부분을 회복할 수 있음을 확인했습니다. 연구진은 토큰 신호의 추론 효과를 훈련 데이터와 연결하여 인과 관계를 추적했습니다. 임의의 단어("chicken" 등)를 효과적인 추론 신호로 바꾸거나 기존 신호의 효과를 제거하는 데이터 개입 실험을 수행했습니다.

이러한 실험 결과는 프롬프트 지시문에서도 유사한 효과를 보였는데, "Think duck duck goose"라는 지시가 "Think step by step"만큼 추론을 유도하는 효과가 있었습니다. 또한, 다양한 신호가 유도하는 은닉 상태 표현이 훈련 데이터 세트의 다른 문서 유형과 상관관계가 있음을 발견했습니다. 마지막으로 언어 모델 안전성 사례 연구를 통해, 서로 다른 신호가 훈련 데이터 유형에 따라 구별되는 거부 및 순응 행동을 유발한다는 점을 확인했습니다.

최근 연구는 훈련된 예측기의 성능을 평가하는 WGA(Worst-group accuracy)가 새로운 헤드가 학습될 때 고정된 백본(backbone)이 어떻게 작동하는지를 설명하지 못한다는 점을 지적합니다. 이에 연구진은 클래스-속성 중심점 정렬(IBMI), 클래스 내 중심점 분리(W-IBMI), 특징 투영 민감도 등을 모니터링하기 위한 도구인 BiasFlow를 제안했습니다.

BiasFlow는 이러한 진단을 위해 지도 학습 기반의 클래스 조건부 중심점 정렬 패널티인 BiasFlow 정규화(BFR)를 도입합니다. W-IBMI는 BFR이 최적화하는 양을 검증하며, 이는 규모에 따라 달라지며 속성 제거를 독립적으로 확립하지는 않습니다.

보고된 소규모 벤치마크에서 BFR을 추가했을 때 평균 WGA가 개선되거나 유지되었으며, UrbanCars 데이터셋에서는 최대 26.0%p의 이득을 보였습니다. 또한, 편향된 데이터로 새로운 헤드를 훈련하는 독립적인 스트레스 테스트에서는 BFR+GroupDRO가 WGA를 40.7%에서 64.1%로 향상시켰으나, 남성 프로브 정확도는 92.5%에서 72.2%로 감소했습니다.

이 결과는 중심 기하학과 편향된 헤드 재훈련에 대한 저항성을 WGA와 함께 평가하는 데 도움이 되며, 합성 워터마크 ImageNet 실험에서는 일치하는 훈련 하에서 워터마크 이동 정확도를 23.0%p 향상시켰습니다.

빛을 이용해 뇌를 제어하는 기술이 생리학 분야 노벨상을 수상하며 주목받고 있습니다. 이 상은 빛을 이용하여 개별 유전자의 활성 상태에 따라 신경 세포의 행동을 변화시키는 방법을 개발한 칼 데이서로스, 피터 헤게만, 게오르그 나겔에게 수여되었습니다.

이 기술인 광유전학(optogenetics)은 빛을 추구하는 조류 연구에서 시작되었으며, 연구자들은 이를 통해 신경 세포의 행동을 유전자 활성으로 표지하고 빛으로 조작하는 방법을 확립했습니다. 초기 연구에서는 손상된 뇌 영역을 연구하여 유전자를 통해 뉴런을 제거함으로써 그 기능을 추론하는 데 중점을 두었습니다.

하지만 뇌는 유연하게 적응할 수 있는 특성이 있어 발달 초기에 일부 세포가 손실되면 다른 뉴런들의 연결 발달에 영향을 미칠 수 있다는 한계가 있습니다. 따라서 연구자들은 손상된 뇌가 아닌 온전한 뇌에서 뉴런을 활성화하거나 억제하는 방식으로 접근하는 것이 더 유익하다고 판단했습니다.

멀티모달 확산 트랜스포머(MM-DiTs)는 생성 과정 전반에 걸쳐 시각적 및 텍스트 표현을 함께 처리하며, 이해하기 어려운 동적인 문맥 토큰을 형성합니다. 본 연구는 이러한 문맥 공간을 자연어 질의를 통해 읽어낼 수 있는 프레임워크를 제안합니다. 이를 위해 중간 문맥 토큰을 고정된 대규모 언어 모델(LLM)의 입력 공간으로 매핑하는 경량 병목 네트워크를 훈련시켜, LLM이 숨겨진 표현으로부터 생성된 이미지에 대해 질문에 답할 수 있도록 합니다.

이러한 독해 프레임워크를 통해 문맥 토큰이 생성되는 장면의 풍부하고 전역적인 표현을 인코딩한다는 것을 발견했습니다. 프롬프트에 명시되지 않은 속성 등 생성물에 특화된 의미론적 정보가 노이즈 제거 초기에 놀랍도록 쉽게 접근 가능하며, 점차 세밀해지는 세부 사항은 시간이 지남에 따라 읽을 수 있게 됩니다. 심지어 MM-DiT가 빈 프롬프트를 받았을 때도 문맥 토큰은 시각적 표현 자체로부터 상당한 이미지 특화 정보를 축적함을 보여줍니다.

연구진은 더 읽기 쉬운 문맥 표현을 가진 생성물이 인간 선호도 점수가 더 높다는 것을 확인했습니다. 이러한 관찰을 바탕으로, 문맥 토큰에 인코딩된 시각-의미 정보를 명시적으로 강화하여 생성 품질과 분포 범위를 개선하는 훈련 기법인 문맥 정렬(Contextual Alignment)을 도입했습니다. 결과적으로 문맥 토큰은 MM-DiT의 내부 역학에 대한 해석 가능한 시각이자 생성 모델을 개선하기 위한 효과적인 목표가 됩니다.

LLM 에이전트가 고정된 비전-언어-행동(VLA) 정책을 오케스트레이션할 때 텍스트 메모리를 통해 에피소드 전반에 걸쳐 개선되지만, 이는 작업이 어떻게 수행되었는지보다는 에이전트가 무엇을 했는지 기록합니다. 그러나 시연 비디오는 에이전트의 컨텍스트에 잘 맞지 않으며, 전체 비디오를 속도 조절하면 고정된 키프레임은 물체를 잡는 데 결정적인 접촉 세부 정보를 잃게 만듭니다.

연구진은 이러한 문제를 해결하기 위해 훈련 없이 시연을 에이전트가 받는 프롬프트가 아닌 탐색해야 할 계층 구조로 전환하는 새로운 방법인 재귀적 비디오 인컨텍스트 학습(Recursive Video In-Context Learning, RV-ICL)을 제안합니다. 이 계층 구조는 잡기(grasps)와 놓기(releases)와 같은 시연의 하위 이벤트에서 구축되며, 전체 작업의 키프레임부터 단계, 순간, 짧은 클립에 이르기까지 세분화됩니다.

에이전트는 계획을 세우기 전에 거친 수준의 정보를 읽고, 실행 중에는 단계에 더 많은 세부 정보가 필요할 때 계층 구조로 다시 진입하여 현재 하위 목표의 클립만 로드합니다. 이 방법은 RPent를 기반으로 구축되었으며, LIBERO-PRO에서는 성공률을 92.6%에서 96.5%로, LIBERO-Plus에서는 86.7%에서 95.8%로 향상시켰습니다.

확산 사후 확률 샘플러는 역과정(reverse process)을 따라 가우시안 기울기 분포를 구성하며, 이 목표 분포를 가우시안 브릿지를 통해 깨끗한 공간 사후 확률로 되돌릴 수 있습니다. 이러한 구조를 활용하여 순차 몬테카를로(SMC) 샘플러인 MCGDiff를 중간 시점에 직접 초기화할 수 있으며, 이는 무한한 점근적 일관성(asymptotic consistency)을 희생하는 대신 유한 입자 성능(finite-particle performance)을 개선합니다.

이러한 접근 방식은 모멘트 일치 사후 확률 샘플링(MMPS) 솔버와 결합될 때 효과가 극대화됩니다. 구조화된 가우시안 혼합 문제에서 MMPS는 일치 입자 수에서 슬라이스 와서슈타인 거리(sliced Wasserstein distance)를 약 2배 개선하며, 사후 확률 관련 모드가 사전 분포 하에서 희귀할 경우 그 개선 폭은 한 자릿수 이상 증가합니다.

특히, 초기화 시 조건화(conditioning)를 조절하는 방법은 희귀 모드 문제에서 결정적인 이점을 제공합니다. 브릿지는 유지하되 깨끗한 공간 조건화를 제거하는 사전 초기화 제어는 표준 가우시안 혼합 벤치마크에서는 조건화에 따른 개선이 크지 않지만, 재샘플링이 초기 모집단에 없는 모드를 채울 수 없는 희귀 모드 문제에서는 초기화 조건화가 필수적인 이득을 제공합니다.

루프된 언어 모델에서 반복이 발생할 때마다 훈련, 디코딩, 프리필, 강화 학습(RL)에 비용이 추가됩니다. 재귀 상태가 고정점(fixed points)에 가까워질수록 경로의 중요성은 줄어들며, 이는 훈련 시 절단된 역전파, 정확도 손실이 거의 없는 종단 키-값(KV) 공유 디코딩, 1.79배 빠른 프리필을 제공합니다. 또한, 저장된 롤아웃 상태에서 기울기를 계산하여 역궤적을 역전파하는 것보다 2배 빠른 RL 업데이트도 가능해집니다.

이러한 고정점을 형성하는 두 가지 훈련 구성 요소인 깊이 사전(depth prior)과 입력 주입(input injection)을 개선하는 연구를 제안합니다. 고정 깊이 훈련은 KV 공유를 깨뜨리고, Huginn의 광범위한 깊이 사전은 공유를 지원하지만 목표 깊이에서의 감독을 희석시킵니다. 연구진은 예측 피드백과 엔트로피 항을 사용하여 광범위한 사전 정보를 학습합니다.

기존의 주입 방식은 상태의 입력 방향 성분이 주입을 증폭하거나 상쇄할 수 있지만, 연구진은 직교 주입(orthogonal injection)을 사용하여 이 성분을 제거합니다. 이 새로운 방법은 1억 개에서 16억 개의 매개변수까지 확장하여 Huginn의 사전 및 기존 주입 방식에 비해 모든 규모에서 퍼플렉시티를 낮춥니다. 특히 16억 매개변수 규모에서 3배 작은 KV 캐시를 사용한 학습된 사전은 전체 캐시를 사용한 고정 깊이 훈련의 다운스트림 평균과 일치합니다.