읽을 가치가 있는 기사만, 짧고 또렷하게.

Vercel의 AI 보안 스캐너인 DeepSec은 오픈소스 도구로, 의심스러운 코드를 빠르게 검색하고 분석하는 기능을 제공합니다. 이 도구는 Codex나 Claude와 같은 AI 모델을 활용하여 파일 사이의 데이터 흐름과 방어 장치를 추적함으로써 실제 보안 문제를 조사할 수 있게 합니다.

DeepSec의 주요 특징은 단순히 새로운 PR 코드만 검사하는 것이 아니라, 오랫동안 수정되지 않은 기존 코드까지도 검사할 수 있다는 점입니다. 이는 코드베이스 전체의 보안 상태를 포괄적으로 파악하는 데 도움을 줍니다.

또한, 이 도구는 분석 이력을 저장하여 작업이 중단되었을 때도 연속성을 유지할 수 있도록 지원합니다. 이러한 분석 이력 저장 기능은 개발 과정에서 복잡한 보안 검사를 진행할 때 중요한 맥락을 제공합니다.

AI가 생성한 설계 문서와 PR 요약은 변경 사항을 상세히 나열하지만, 그 변경이 왜 필요한지, 무엇이 중요하며 어디를 검토해야 하는지에 대한 맥락은 빠지기 쉽습니다. 이는 AI가 생성한 문서가 기술적인 변경 사항을 나열하는 데는 효과적이지만, 실제 개발 과정에서 필요한 의사 결정의 근거를 제공하지 못한다는 점을 시사합니다.

프롬프트를 작성한 사람은 해당 작업의 배경과 제약을 알고 있지만, 그 과정에 직접 참여하지 않은 독자들은 변경 사항의 중요성을 파악하기 어렵습니다. 따라서 AI가 제공하는 정보만으로는 코드나 설계의 전체적인 맥락을 이해하고 적절한 검토를 수행하는 데 한계가 발생할 수 있습니다.

개발자가 AI 기반 문서를 활용할 때 단순히 변경 사항의 목록을 보는 것을 넘어, 해당 변경이 전체 시스템 아키텍처나 요구사항에 어떤 영향을 미치는지에 대한 깊은 이해가 필수적입니다. 따라서 AI가 생성한 문서를 참고할 때는 변경 사항 자체뿐만 아니라 그 배경과 의도를 파악하려는 노력이 필요합니다.

Transformer Explainer는 사용자가 브라우저 환경에서 대규모 언어 모델의 작동 방식을 시각적으로 탐색할 수 있도록 돕는 도구입니다. 이 도구는 1억 2,400만 매개변수를 가진 GPT-2 small 모델을 실행하며, 입력 텍스트가 다음 토큰 예측으로 이어지는 전체 과정을 상세하게 보여줍니다.

사용자는 직접 문장을 입력하고 토큰화, 임베딩, 어텐션, 그리고 출력 확률과 같은 핵심 단계를 단계별로 펼쳐 볼 수 있습니다. 이를 통해 복잡한 계산 과정이 어떻게 이루어지는지 실제 계산 결과를 확인하며 Transformer의 내부 작동 원리를 직관적으로 이해할 수 있습니다.

이 도구는 개발자들이 텍스트 생성 모델의 핵심 메커니즘을 추상적인 이론이 아닌 시각적인 경험을 통해 학습할 수 있도록 돕는 데 중점을 둡니다. 특히 어텐션 메커니즘과 같은 핵심 개념이 실제 계산에서 어떻게 작용하는지 확인하는 데 유용합니다.

React 컴포넌트를 활용하여 PDF 문서를 만드는 오픈소스 프로젝트 pdfcn이 공개되었습니다. 이 프로젝트는 청구서나 보고서와 같은 문서를 처음부터 디자인하는 대신, 준비된 React 컴포넌트와 문서 템플릿을 조합하여 PDF를 생성하는 방식을 제공합니다.

이 방식은 개발자가 복잡한 문서 디자인을 직접 구현하는 대신, 이미 잘 설계된 컴포넌트를 활용하여 문서의 디자인과 동작을 자유롭게 구성할 수 있게 합니다. 이는 개발자가 문서 생성에 드는 시간과 노력을 크게 줄여주는 데 중점을 둡니다.

특히 shadcn/ui와 같은 접근 방식과 유사하게, 필요한 컴포넌트의 소스 코드를 프로젝트에 가져와 직접 수정할 수 있다는 점이 특징입니다. 이를 통해 사용자는 문서의 시각적 요소와 기능을 원하는 대로 커스터마이징할 수 있으며, 효율적으로 고품질의 문서를 제작할 수 있습니다.

카카오가 독립형 AI 서비스인 카나나의 운영을 종료했습니다. 이 서비스는 2025년 5월 베타로 시작되었으나 정식 출시 없이 약 1년 5개월 만에 서비스가 마감되었습니다.

카나나 서비스는 ‘카나’와 ‘나나’라는 AI 메이트와 대화하고 음성 대화, 이미지 생성, 차량 정비 예약 등의 기능을 제공했던 독립형 AI 서비스였습니다. 개발자 및 사용자들은 이 서비스를 통해 AI 기반의 다양한 기능을 경험할 수 있었습니다.

이 서비스는 정식 출시 단계에 이르지 못하고 운영이 종료되었기 때문에, 해당 프로젝트의 개발 과정과 서비스 운영에 대한 구체적인 기술적 맥락을 파악하는 데 참고가 될 수 있습니다.

소크라테스와 기록된 말씀에 대한 논의는 지식과 진실의 본질에 대한 근본적인 질문을 던집니다. 이 대화에서 소크라테스는 글쓰기가 진정한 지혜를 담아내지 못하며, 마치 그림처럼 질문을 받으면 침묵하는 특성을 지닌다고 주장합니다. 글자는 스스로 보호하거나 지식을 보존하는 힘이 없으며, 외부의 인물에 의존하기 때문에 진정한 지혜가 아닌 겉모습만을 전달한다는 것입니다.

이러한 비판은 플라톤주의적 형이상학에 기반하며, 사물은 영원히 존재하는 관념의 반영일 뿐이고, 기록된 말은 또 다른 반영에 불과하다고 설명합니다. 따라서 글쓰기는 본질적인 진실에서 멀어지며, 이는 우리가 지식을 습득하고 전달하는 방식에 대한 근본적인 성찰을 요구합니다.

이러한 고대 철학적 관점은 현대의 소통 방식에도 적용될 수 있습니다. 저자는 현대인들이 진보에 대해 느끼는 반감이나 소통 방식의 차이를 설명하며, 문자 기록이 지닌 한계와 현대의 커뮤니케이션 도구 간의 차이를 대비시킵니다. 특히 문자 기록이 갖는 한계를 이해하는 것은 우리가 정보를 어떻게 인식하고 관계를 맺는지에 대한 통찰을 제공합니다.

Opus 5.5는 Claude 및 Claude Code에서 더 긴 작업 수행 능력과 명확한 보고 방식을 제공하며, 이를 최대한 활용하기 위한 프롬프트 전략이 필요합니다. 특히 Opus 5.5는 이전 모델보다 장기적이고 다단계적인 작업, 예를 들어 대규모 리포지토리의 변경 사항을 테스트 통과까지 진행하는 작업에서 큰 성능 향상을 보였습니다.

효율적인 작업을 위해서는 전체 태스크를 한 번에 제시하고 명확한 종료 지점을 지정하는 것이 중요합니다. 예를 들어, Claude Code에서 코드를 마이그레이션할 때 "모든 엔드포인트가 새 클라이언트를 사용하고, 이전 클라이언트는 삭제되며, 테스트 스위트가 통과되면 종료하라"와 같이 구체적인 완료 조건을 명시하면 모델이 작업을 더 잘 수행합니다. 또한, 프롬프트에서 "신중하게 생각하라"와 같은 지시를 제거하면 Opus 5.5가 이미 답변 전에 내부적으로 생각하기 때문에 응답 속도가 빨라지고 품질은 유지됩니다.

Claude Code에서 장기 실행 작업을 제어하기 위해 CLAUDE.md 파일에 규칙을 추가하여 작업 중 언제 멈추고 질문할지 명시할 수 있습니다. 이는 모델이 작업 중 보고를 위해 멈추는 상황을 관리하고, 데이터 삭제나 강제 푸시와 같은 파괴적인 명령 전에 사용자의 개입을 요청하는 기준을 설정하여 위험을 줄입니다.

추가적으로, Claude는 메시지가 플래그될 경우 파일이나 검색 결과까지 포함하여 상태를 알리는 기능을 제공하며, 사용자는 `/model` 명령으로 모델을 전환하거나 `/feedback`을 사용하여 피드백을 요청할 수 있습니다. 또한, 백-앤- forth 작업 시에는 `/fast` 모드를 사용하여 빠른 모드를 활성화할 수 있지만, 이 모드는 표준 모드보다 토큰당 비용이 더 높다는 점을 고려해야 합니다.

분산 양자화(Disaggregated Quantization, DQ)는 LLM 추론의 프롬프트 처리와 생성 단계에 맞춰 연산 형식, 가중치, 저장 위치를 특화하여 효율성을 높이는 방법론을 제안합니다. 이는 프롬프트 처리에는 저정밀 연산을, 생성에는 압축된 가중치를 사용하여 메모리 트래픽을 줄이는 접근 방식입니다.

이 방법은 Qwen 3 및 Gemma 3 모델에서 디코딩 단계에만 활성화 양자화를 제거함으로써 추론 비용을 증가시키지 않으면서 디코딩 중심 작업의 정확도를 향상시킵니다. 또한, 별도의 컴퓨팅 네이티브 프릴필 가중치를 훈련하면 가중치만 사용하는 추론 대비 프롬프트 처리가 빨라지며, 디코딩 단계에서 2~3비트 양자화를 적용했을 때 정확도를 동등하거나 능가합니다.

구체적인 사례로 Qwen3.8-27B GGUF 디코더를 사용하여 NVFP4 프릴필을 훈련하면 디코더 체크포인트를 수정하지 않고 MMLU-Pro에서 32.5점, MMMU-Pro에서 35.3점의 1비트 정확도를 향상시킬 수 있습니다. 추가적인 체크포인트를 단일 장치에 수용하기 위해 오프로드 분산 프릴필(Offloaded Disaggregated Prefill, ODP)은 가중치를 SSD에서 스트리밍하여 프롬프트 길이에 걸쳐 로딩을 분산시킵니다.

이 ODP 기법은 동일한 27B 모델에서 llama.cpp 환경의 8K 프롬프트 길이에서 가중치 전용 기준 대비 첫 토큰 도달 시간을 1.78배 단축시킵니다. 연구진은 vLLM 환경에서 분산 서비스 하에서의 정확도를 평가했으며, 2.8조 파라미터 규모의 모델에 대한 양자화 검증을 통해 이 분산 가중치 형식 분산의 유효성을 입증했습니다.

참조 기반 이미지 품질 평가(IQA) 지표는 두 이미지 쌍 사이의 인간이 인지하는 지각적 거리를 반영하는 것을 목표로 합니다. 하지만 이러한 지표를 학습하기 위해서는 인간의 시각 체계(HVS)를 이해해야 하므로 최근의 IQA 지표들은 주로 인간 주석 데이터에 크게 의존하고 있습니다. 평균 의견 점수(MOS) 기반의 점수화는 주석에 적합하지만 대규모로 수집하기에는 비용이 많이 들고 인간 판단의 일관성 부족으로 인해 노이즈가 발생합니다.

대안으로 두 가지 대안 강제 선택(2AFC) 쌍별 레이블이 신뢰성과 효율성 때문에 인기를 얻었으나, 이는 쌍 간의 상대적 비교만을 포착한다는 한계가 있습니다. 본 논문에서는 인간 주석 없이 이미지 쌍 간의 점별 지각적 거리 레이블을 생성하는 완전 자동화된 데이터 생성 파이프라인을 제안합니다. 이 접근 방식은 확산 모델의 생성 역학을 지각적 거리의 대리 지표로 활용합니다. 이미지의 거친 구조는 생성 초기 시간 단계에서, 세부 사항은 후기 시간 단계에서 생성되는데, 이 생성 과정에서 분기점(forking moment)을 지각적 거리의 참조 기반 레이블인 FoMo로 사용합니다.

이러한 FoMo 레이블은 참조 기반 IQA 지표의 훈련을 감독하는 데 사용되며, 임의의 이미지 쌍 간의 보편적인 비교를 지원하는 점별 레이블을 제공합니다. 이는 정보가 풍부한 훈련 목표를 가능하게 합니다. 다양한 백본 아키텍처에 걸친 광범위한 실험 결과, 이 생성 파이프라인은 여러 벤치마크에서 인간 주석 데이터셋보다 우수한 성능을 입증했습니다.

모든 Apple Silicon Mac은 로컬 LLM을 구동할 수 있으며, 이는 통합 메모리 구조 덕분에 PC 환경보다 접근성이 매우 높습니다. 모델 크기에 따라 메모리 요구 사항이 달라지는데, 1~3B 모델은 모든 Mac에서 구동 가능하며, 7~8B 모델은 8GB 메모리에서 편안하게 실행할 수 있고, 70B급 모델을 구동하려면 64GB 이상의 메모리가 필요합니다. 이러한 구동을 위해서는 Ollama나 LM Studio와 같은 무료 도구를 사용하며, 모델의 성능보다는 사용자가 원하는 인터페이스를 선택하는 것이 중요합니다.

로컬 LLM의 장점은 속도, 개인 정보 보호, 비용 효율성, 안정성에서 비롯되며, 이는 일상적인 작업에 매우 유용합니다. 하지만 로컬 모델은 복잡한 추론이나 장문의 문서 처리와 같은 고난도 작업에서는 최신 클라우드 기반 모델에 미치지 못한다는 점을 인지해야 합니다. 따라서 로컬 AI는 일상적인 타이핑 보조, 회의록 자동 작성, 파일 검색 등 일상적인 작업의 95%를 처리하는 데 적합한 사용 사례입니다.

특히, 사용자의 글쓰기 스타일에 맞춰 훈련된 로컬 모델은 채팅 인터페이스를 넘어 Slack이나 Mail에서 자동 완성 기능을 제공하는 등 일상적인 도구에 통합될 때 가장 큰 가치를 발휘합니다. 이는 모델이 사용자의 실제 작업 환경 내에서 작동하며 개인 정보를 서버로 전송하지 않아 프라이버시를 보장한다는 점에서 클라우드 서비스와 차별화됩니다.

TypeSafe AI가 발표한 Jev와 System One 모델은 정확도보다 보정(Calibration)이 실제 생산 시스템에서 더 중요한 병목임을 주장합니다. Jev는 채팅이나 추론 없이 구조화된 질문에 대해 단일 순방향 통과로 확률을 제공하는 비자기회귀(non-autoregressive) 모델로, 이로 인해 기존 거대 언어 모델보다 훨씬 빠른 속도와 낮은 지연 시간을 달성합니다.

이 모델은 선택, 점수, 예/아니오와 같은 구조화된 입력을 처리하며, 모든 질문을 병렬로 평가하여 속도를 높입니다. 특히 이 모델은 강화 학습을 통해 보정된 결정을 내리는 방식으로 훈련되어, 일반적인 정확도 지표(F1, AUC 등)만으로는 포착하기 어려운 모델의 불확실성을 해결하고자 합니다.

실제 ML 시스템에서 보정의 중요성은 예측 결과에 기반한 의사 결정에 결정적인 영향을 미칩니다. 모델이 95%의 확률로 예측하더라도 실제 정확도가 낮다면, 설정된 임계값에 따라 적용되는 비즈니스 규칙이 오작동할 수 있기 때문입니다. 따라서 단순히 정확도를 높이는 것보다 보정된 확률을 신뢰하는 것이 생산 시스템의 안정성을 확보하는 데 더 중요합니다.

결론적으로 System One 모델은 대규모 언어 모델이 아닌, 지연 시간에 민감하고 구조화된 의사 결정을 요구하는 생산 분류기에 적합하며, 보정된 확률을 통해 신뢰할 수 있는 결과를 제공하는 데 중점을 둡니다.

특정 모델을 넘어 일반화되는 표현(representation)에 대해 주장하려면 두 표현이 언제 동등하다고 간주되어야 하는지 명시해야 합니다. 현재 선형 표현 가설(Linear Representation Hypothesis)은 이러한 동등성을 명시하지 않고 논의되는 경우가 많습니다.

서로 다른 동등성의 개념은 서로 다른 구조를 보존하기 때문에, 동일한 표현을 연구하는 지표, 탐침, 개입 등이 실제로는 다른 가설에 해당할 수 있습니다. 따라서 선형 표현 가설은 단일 가설이 아니라 표현 동등성으로 구별되는 일련의 주장으로 간주해야 합니다.

저자들은 이 아이디어를 그룹 작용(group actions)을 사용하여 형식화합니다. 이를 통해 표현 객체, 생성 절차, 그리고 궁극적으로 주장되는 속성을 명시하고, 모델 아키텍처에 의해 부과되는 동등성을 고려합니다.

이러한 프레임워크는 측정 지표, 읽기 지점, 분석 단계에 따라 가정들이 어떻게 변화하는지를 명확히 설명하며, 이를 통해 공통 표현량과 최근 해석 가능성 분석을 감사하는 데 사용될 수 있습니다.

최신 선도 언어 모델의 뛰어난 능력 향상이 추론 능력 개선에 기인한다는 것이 널리 알려져 있지만, 폐쇄형 시스템 내의 원시적인 CoT 흔적은 숨겨져 있어 이를 검증하기 어렵습니다. 연구진은 표준 API 기능을 통해 간단한 사용자 정의 도구를 등록함으로써 선도 모델이 중간 추론 과정을 외부화하도록 유도하는 방법을 제시했습니다.

이러한 외부화된 추론 흔적은 후행적 합리화일 수 있으므로, 연구진은 먼저 오픈 소스 모델에서의 네이티브 CoT와 비교한 후 GPT-6 Astra를 포함한 폐쇄형 선도 모델에까지 확장하여 평가했습니다. 그 결과, 추출된 추론은 네이티브 추론 성능과 일치하며, 경쟁 수학, 과학, 코드 생성 분야에서 추론이 없는 기준선보다 훨씬 뛰어난 성능을 보였습니다.

나아가 연구진은 선도 모델이 중간 추론을 어떻게 구조화하는지 토큰 효율성, 추론 단계 유형, 유도된 추론 트리 등을 기준으로 특성화했습니다. 이 분석을 통해 모델들이 추론을 외부화하고 압축하며 조직하는 방식에서 체계적인 차이점을 발견했습니다.

특히 Astra 모델은 토큰 효율적인 방향성 추론을 보이며 올바른 경로를 더 일찍 선택하고 기본 단계를 내부적으로 해결하면서 중요한 추론만을 외부화하는 방식으로 작동했습니다. 이러한 발견은 벤치마크 점수를 넘어 선도 모델 추론에 대한 행동적 관점을 제공합니다.

지식 풀 리퀘스트(Knowledge Pull Requests, KPR)는 각 변경 사항을 해석 가능하게 만드는 지속적인 문서 작성 프레임워크를 소개합니다. 기존의 문서 수정 방식은 새로운 지식이 등장함에도 불구하고 변경된 지식을 반영하지 못하거나 처음부터 재구성하는 방식에 머물러 있었습니다.

KPR은 새로운 지식을 문서에 통합하기 위해 주장(claims)을 추출하고, 이를 필터링하여 섹션에 라우팅하며, 기존 내용과의 충돌을 표시하는 과정을 거칩니다. 이 과정에서 지식 변경 사항(주장 제안)과 텍스트 변경 사항(문서 차이)을 분리하는 변경 로그(ChangeLog)를 생성하여 변경의 내용을 명확하게 구분합니다.

이러한 KPR 접근 방식은 소스에서 다시 작성하거나 처음부터 재구성하는 방식보다 더 많은 정보를 통합하고 기존 콘텐츠를 더 잘 보존하면서도 생성된 토큰당 가장 많은 정보를 추가합니다. 실제로 KPR을 통해 수정된 문서는 다른 언어로만 문서화된 지식을 표면화하지 못하는 검색을 사용하는 최첨단 모델보다 질문 응답 능력이 향상됩니다.

KPR은 다국어 위키피디아 수정 및 RAGTIME에 대한 질의 기반 보고서 업데이트를 평가하는 데 사용되었으며, 이는 문서의 지속적인 개정 과정에서 정보의 정확성과 보존성을 높이는 데 기여합니다.

트랜스포머 아키텍처는 계층 간 중복성을 가지고 있지만, 기존의 후처리 압축 파이프라인은 레이어를 개별적으로 최적화하거나 휴리스틱 그룹화 전략에 의존하여 레이어별 활성화 기하학을 무시하는 경향이 있습니다. 이 연구는 이러한 한계를 극복하기 위해 훈련 없이 작동하는 원칙 기반 프레임워크를 제안합니다.

제안된 방법은 교차 레이어 가중치 쌍과 공유 사전(shared-dictionary) 분해를 순차적으로 최적화합니다. 단순히 인접 레이어의 가중치를 공유하거나 활성화 통계를 휴리스틱하게 병합하는 대신, 이 접근 방식은 구조적으로 호환되는 투영을 식별하고 각 레이어의 고유한 보정 기하학을 더 잘 보존하는 공유 표현을 학습합니다.

이러한 기법은 구조적 희소성(structured sparsity)과 결합되어 기능적 충실도를 희생하지 않으면서도 매우 효율적인 가중치 분해를 가능하게 합니다. 다양한 아키텍처, 규모, 양식에 걸쳐 이 방법은 독립적인 구조적 가중치 분해나 휴리스틱 그룹화 전략을 따르는 대안적인 쌍별 가중치 분해보다 일관되게 최고 수준의 결과를 달성합니다.

결론적으로, 이 연구는 휴리스틱 엔지니어링 전략을 최적화 주도 파이프라인으로 대체함으로써 다양한 양식에 걸친 확장 가능한 트랜스포머 압축을 위한 이론적으로 근거 있는 기반을 확립합니다.

언어 모델의 보정(Calibration)은 표현되거나 암시된 신뢰도와 실제 정확성 간의 정렬을 의미하며, 이는 자연어 처리 분야에서 잘 연구된 하위 분야입니다. 현재 보정 측정 방법은 존재하지만, 이 분야 외의 연구에서는 모델의 신뢰도 점수가 의미 있는지 확인하지 않고 새로운 모델이나 벤치마크를 도입하는 경향이 있습니다. 이러한 채택 격차는 신뢰할 수 있는 LLM 평가에 있어 주요 장애물로 작용합니다.

보정되지 않은 모델은 두 가지 영역에서 문제를 야기합니다. 배포 단계에서는 과신(overconfident)으로 인한 오류가 실제 피해를 발생시킬 수 있으며, 연구 파이프라인 내부에서는 LLM-as-a-judge, 합성 데이터 생성, 능동 학습과 같은 방법들이 보정된 신뢰도에 의존하지만 이를 검증하지 못하고 있습니다.

표준 보정 지표는 예시당 신뢰도 점수와 정확성 판단이라는 두 가지 입력만 필요하며, 대부분의 현재 벤치마크는 이미 이 두 가지를 제공하므로 보정을 즉시 보고할 수 있습니다. 그러나 개방형 생성(open-ended generation)의 경우 이 두 가지 입력을 정의하는 것은 여전히 해결해야 할 과제입니다. 따라서 각 NLP 하위 분야는 주요 성능 지표와 보정 점수를 짝지어 보정을 모든 모델의 필수 속성으로 간주해야 합니다.

학습된 메모리 방법론은 정보를 명시적인 테이블에 저장하고 별도의 리더를 통해 소비하여 주소 지정, 저장, 읽기를 독립적으로 수정할 수 있게 합니다. MemoryAthena는 단순히 메모리를 검색하는 것을 넘어 유용한 메모리를 생성할 수 있는지 연구합니다. 이 시스템은 직접 인그램 검색(E), 검색된 인그램 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고의 인과적 백본 상태로부터의 생성(GH)이라는 세 가지 경로를 사용합니다.

생성된 메모리는 조건적으로 유용하며, 특정 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있습니다. 따라서 MemoryAthena는 E를 앵커로 간주하고 생성된 표현이 언제 개입해야 하는지를 학습합니다. 백본, 메모리, 생성기, 리더를 고정시킨 상태에서, GE와 GH가 E에 비해 갖는 반사실적 미래 토큰 가능성 이점을 기반으로 경량의 인과적 라우팅 헤드를 훈련합니다.

추론 시, 채택된 후보는 경계 있는 보간을 통해 E 잔차를 수정하며, 거부된 경우는 직접 경로를 복구합니다. 이 시스템은 질문 응답에서 5개 작업 평균을 37.65에서 39.28로, 6개 작업 일반 NLP 평균을 76.73에서 79.13으로 향상시켰습니다.

이러한 결과는 생성된 메모리가 직접 검색에 대한 선택적 보정임을 뒷받침하며, 언제, 무엇을, 얼마나 강하게 개입할 것인지에 대한 라우팅이 핵심 과제임을 강조합니다. 전체 메모리 측 시스템은 고정된 백본을 제외하고 약 2억 100만 개의 파라미터를 포함합니다.

대규모 언어 모델(LLM)의 후처리 과정에서 강화 학습이 핵심 요소가 되었지만, 토큰 수준의 크레딧은 수학적 정의가 부족하여 일반적인 훈련 신호와의 관계가 불분명했습니다. 이에 연구진은 완전성(Completeness), 접두사 일관성(Prefix Consistency), 중립성(Neutrality)이라는 세 가지 규칙 조건을 정립하여 토큰 수준의 크레딧을 유일하게 결정함을 증명했습니다.

이러한 특성화는 기존 알고리즘 전반의 현상을 설명하는 통일된 기반을 제공하며, 개선된 액터-크리틱 훈련 절차 개발을 안내합니다. 이상적인 온-폴리 정책 증류(OPD)의 교사는 암묵적인 비평가 역할을 하여 토큰 수준의 크레딧에 비례하는 기대 정책 기울기를 산출하며, 응답 수준의 REINFORCE Leave-One-Out(RLOO) 신호 역시 크레딧의 기대 정책 기울기 기여도와 일치함을 확인했습니다.

이러한 이론적 기반을 바탕으로 정책 정렬 비평 훈련(Policy Aligned Critic Training, PACT)이 제안되었습니다. PACT는 비평가 훈련에 중요도 샘플링 보정을 적용하는 액터-크리틱 업데이트 순서를 채택하여 비평가를 업데이트된 정책과 더 잘 정렬시킵니다.

실제 적용 결과, 에이전트 수학적 추론 분야에서 PACT는 네 가지 벤치마크에서 평균 72.87%의 정확도를 달성했으며, GRPO와 PPO보다 각각 8.80%p, 13.16%p 더 높은 성능을 보였습니다. SWE-bench Verified에서도 PACT는 67.4%의 통과율을 기록하며 PPO, GRPO, SAO를 각각 2.4%p, 2.0%p, 3.8%p 앞섰습니다.

단일 모노큘러 이미지에서 정확한 객체 관계와 고충실도 재구성을 통해 완전한 3D 장면을 복원하는 것은 여전히 어려운 과제입니다. 기존 연구들은 공간 관계에 대한 의미론적 이해는 제공하지만 정밀한 정렬이 부족한 에이전트 추론 방식과, 밀집된 포인트 맵을 예측하지만 재구성 품질이 제한적인 시각 기하학 기반 파운데이션 모델이라는 두 가지 방향으로 탐색되어 왔습니다.

이 논문은 이러한 한계를 극복하기 위해 에이전트 추론과 시각 기하학 파운데이션 모델을 모두 활용하는 계층적 사고의 사슬(hierarchical chain-of-thought) 프레임워크인 HARMONY를 제시합니다. HARMONY는 실내 장면 이미지를 입력받아 먼저 참조 이미지에 대해 카메라를 보정하여 의미론적으로 기반을 둔 공간 프레임을 설정합니다. 이후 에이전트 VLM 추론을 사용하여 3D 방 레이아웃과 초기 배치 순서를 복원하며, 벽 부착 요소부터 가구, 장식물 순으로 계층적인 순서에 따라 객체를 배치합니다.

HARMONY는 깊이 우선 순회(depth-first traversal)와 반사적 피드백 루프를 사용하여 이전 구조에 기반하여 배치를 조건화하고 오류 누적을 방지합니다. 또한 VLM에 의한 각 객체 배치 후 포인트 클라우드 추정치를 사용하여 기하학 기반 정제(geometry-based refinement)를 수행함으로써 렌더링된 이미지가 입력 이미지와 더 잘 정렬되도록 합니다.

이러한 과정을 통해 HARMONY는 단일 이미지 기반 구성적 재구성을 복잡한 실내 장면 이미지로 확장하며, 의미론적으로 일관되고 지각적으로 정렬된 3D 장면을 생성할 수 있습니다. 합성 및 실제 이미지 실험 결과, HARMONY는 평가된 재구성 기준선보다 우수한 성능을 보였으며, GPT-6 Astra와의 정성적 비교는 보다 충실한 객체 배열과 장면 세부 사항의 더 나은 보존을 시사합니다.

LLM 기반 평가(LLM-as-a-judge)는 다양한 작업에 대한 평가를 가능하게 하지만, 규모가 커질수록 추론 비용과 신뢰성 문제가 중요해집니다. 본 연구는 결정만 내리는 심판(decision-only judge)이 경제적인 1차 평가를 제공하고 더 강력한 평가가 필요한 시점을 식별할 수 있는지 탐구했습니다.

연구진은 JEV-as-a-judge를 16개의 생성 모델 및 보상 모델 심판과 비교했으며, 이 과정에 블라인드된 인간 심사가 포함되었습니다. 그 결과, JEV-as-a-judge는 가장 강력한 비교 대상인 최첨단 LLM 심판과 일반적인 선호도 및 증거 기반 사실성에서 3%p 이내의 오차로, 비교 대상 비용의 0.36% 수준에서 유사한 성능을 보였습니다.

그러나 판단이 도출 과정이나 복잡하게 작성된 오답에 저항하는 것을 요구할 때에는 더 큰 격차가 발생했습니다. 이러한 격차는 주로 낮은 신뢰도의 결정에서 집중되는 것으로 나타났습니다. 따라서 자신감 있는 판정을 수용하고 불확실한 판정을 상위 단계로 에스컬레이션하는 고정된 연쇄 과정(frozen cascade)은 더 낮은 비용으로 비교 대상의 정확도를 99% 유지할 수 있습니다.