읽을 가치가 있는 기사만, 짧고 또렷하게.

희소 뷰(Sparse-view)의 새로운 뷰 합성 문제는 3차원 콘텐츠 제작에서 핵심적인 과제이지만, 확산 기반 접근 방식은 반복적인 노이즈 제거 과정 때문에 추론 시 비용이 많이 듭니다. 이에 연구진은 다중 뷰 이미지 합성을 기하학적으로 조건화된 다음 규모 자기회귀(geometry-conditioned next-scale autoregression)로 재정의하는 확산 프리 프레임워크인 NAMVIS를 제안합니다.

NAMVIS는 반복적인 노이즈 제거 대신 소수의 거친-세밀한 규모 단계(coarse-to-fine scale steps)를 통해 이산적인 시각 토큰을 예측하며, 각 규모와 타겟 뷰 전체에 걸쳐 토큰을 병렬로 샘플링합니다. 이 생성 과정을 명시적인 카메라 기하학에 고정하기 위해 다중 규모 투영 자세 인코딩(Multi-scale Projective Pose Encoding)을 제안했는데, 이는 소스 및 타겟 카메라 변환을 모든 해상도에서 타겟 뷰 자기 주의(self-attention) 및 소스-타겟 교차 주의(cross-attention)에 주입합니다.

NAMVIS는 전역 조건화와 밀집된 기하학 인식 교차 주의를 결합하여 소스-뷰 외관을 보존하면서 타겟 뷰 일관성을 유지할 수 있게 합니다. Objaverse, GSO, OmniObject3D 데이터셋에서 NAMVIS는 확산 기반 기준 모델보다 PSNR, SSIM, LPIPS 지표에서 더 우수한 성능을 보였으며, 동일한 평가 설정에서 확산 기준 모델보다 3배 이상 빠른 속도로 실행되었습니다.

이러한 결과는 기하학적으로 조건화된 다음 규모 자기회귀가 희소 뷰 다중 뷰 합성을 위한 확산 모델에 대한 유망하고 효율적인 대안임을 시사합니다. 추가적인 정성적 결과와 리소스는 제공된 링크에서 확인할 수 있습니다.

자기 진화 추론 모델은 자체 생성된 질문을 학습하지만, 반복적인 자체 훈련은 성능 저하를 초래할 수 있다는 연구 결과를 제시합니다. 연구진은 연속적인 훈련 과정에서 성능이 왜 악화되는지 분석했으며, 이는 생성된 질문에 내재된 두 가지 품질 문제에서 비롯됨을 밝혀냈습니다.

첫 번째 문제는 질문의 유효성 문제입니다. 반복되는 훈련 라운드에서 질문의 유효성이 떨어지며, 답변 일관성 필터링은 이러한 무효 질문의 비율을 더욱 증가시킵니다. 두 번째 문제는 질문 다양성 문제입니다. 어휘적 유사성을 기반으로 하는 기존의 질문 다양성 제어 방식은 표현 방식이 다른 수학적으로 동등한 질문들을 놓칠 수 있어 후속 훈련 라운드에서 질문 다양성이 붕괴됩니다.

이러한 문제들을 해결하기 위해 연구진은 질문의 유효성과 참신성 피드백을 활용하여 자기 진화를 안내하는 R-Quest를 제안했습니다. R-Quest는 먼저 유효하지 않은 질문을 인식하고 거부하도록 솔버를 훈련시킨 다음, 질문 반복을 피하기 위해 고정된 기반 모델을 사용하여 샘플링된 질문 쌍을 비교하고 참신성 피드백을 제공합니다.

실험 결과, R-Quest는 수학 추론, 일반 도메인 추론, 코드 생성 분야의 12개 벤치마크에서 두 모델 계열 모두에서 가장 높은 평균 성능을 일관되게 달성했습니다. 또한 R-Quest는 10라운드에 걸친 자기 진화 과정에서 안정적인 성능 향상을 유지하며 최종 라운드에서 최고 성능을 보였고, R-Zero보다 17.32점 더 높은 성능을 기록했습니다.

온폴리 디스틸레이션(OPD)은 기존 증류 방식의 훈련-테스트 불일치를 줄이기 위해 학생 모델이 자체 생성한 궤적을 감독하는 방식으로 널리 사용되고 있습니다. 하지만 기존 OPD 목표들은 여전히 토큰 수준에 국한되어 있고 결과에 무관하며, 추론 품질은 궤적 수준에서 결정된다는 한계가 있습니다. 반면, 검증 가능한 보상을 이용한 강화 학습(RLVR), 특히 그룹 상대 정책 최적화(GRPO)는 결과 수준의 감독을 제공하지만, 보상이 희소하고 신뢰도 할당이 거칠다는 단점이 있습니다.

연구진은 OPD와 RLVR이 상호 보완적인 사각지대를 가지고 있음을 지적하며, 교사 신호는 밀도 높은 지역적 지침을 제공하지만 롤아웃의 정확도와는 약하게 정렬되어 있으며, 그룹 상대 보상은 작업 성공을 포착하지만 토큰 수준의 거친 신뢰도와 모든 실패 그룹에서 사라지는 특징이 있다고 설명합니다.

이러한 한계를 극복하기 위해 연구진은 그룹 상대 보상(GRPO)과 선택적, 경계가 있는 교사 지침을 결합한 결과 기반 목표인 DiffGate를 도입했습니다. DiffGate는 실패한 궤적에만 교사 감독을 적용하고 그룹 난이도에 따라 조정하여 최적화 과정에서 극단적인 교사-학생 불일치가 지배하는 것을 방지합니다.

실제 실험 결과, Qwen3-0.6B 및 Qwen3-1.7B 학생 모델에서 DiffGate는 GRPO와 비교하여 코드 평균 정확도(avg@8)를 각각 1.7점과 1.8점 향상시키고, 통과 정확도(pass@8)를 1.6점과 5.7점 향상시켰습니다. 수학 분야에서는 평균 정확도는 GRPO와 0.5점 이내로 유지되었으나, 통과 정확도는 1.1점과 3.9점 향상되었습니다. 전반적으로 DiffGate는 네 가지 모델-도메인 설정 모두에서 통과 정확도를 개선하여 평가 프로토콜 하에서 개선된 솔루션 범위를 입증했습니다.

로봇 정책에 행동 조건화된 환경 역학을 추가하는 월드-액션 모델(WAM)은 주로 미래 관측 재구성이나 일반적인 잠재 예측에 의존하여 행동 생성과 긴밀하게 연결된 구조화된 세계 표현이 부족하다는 한계를 가지고 있습니다. 이 문제를 해결하기 위해 연구진은 구조화된 물리적 상태 진화와 연속적인 행동을 공동으로 모델링하는 월드-액션 파운데이션 모델인 Magic-W0을 제안합니다.

Magic-W0은 상호작용을 현재 상태(Current State), 전환(Transition), 미래 상태(Future State)로 구성된 구조화된 세계 전환으로 표현합니다. 현재 상태는 비전-언어 컨텍스트와 현재 3D 기하학을 결합하며, 전환은 행동에 의해 유도된 3차원 변화를 포착하는 3D 움직임으로 표현됩니다. 미래 상태는 작업 관련 결과를 설명하는 미래 의미론으로 표현됩니다.

이러한 예측과 제어를 결합하기 위해 레이어 정렬된 월드-액션 상호작용 아키텍처를 제안하여, 진화하는 행동 가설이 세계 전환 예측을 조건화하고 예측된 세계 표현이 행동 생성을 지속적으로 정보로 제공하도록 설계했습니다. Magic-W0은 대규모의 시점 중심 인간 조작, UMI, 실제 로봇 및 시뮬레이션 데이터로 사전 학습되었으며, 기하학, 3D 움직임, 미래 의미론에 대한 잠재적 감독을 시각 모델에서 얻었습니다.

실제 추론 시 개입 결과, 구조화된 세계 표현이 후보 행동 변화에 체계적으로 반응하며, 행동 관련 정보가 공유된 3D 표현을 통해 미래 의미론 예측으로 전파됨을 보여줍니다. RoboDojo-Sim 환경에서 Magic-W0은 비교된 WAM 중 평균 점수 27.10을 달성하며 최고 성능을 보였습니다. 또한, 제한된 다운스트림 데이터로 미세 조정 후에도 여러 실제 로봇 작업에서 강력한 후속 성능을 입증하여 일반화와 빠른 적응을 지원합니다.

비전-언어-행동(VLA) 모델은 낮은 속도의 추론과 높은 속도의 로봇 실행 사이에 시간적 격차를 겪고 있습니다. 연구진은 모델 추론과 로봇 실행 체인의 종단 간 지연 시간을 측정하여 이 격차를 분석했습니다. 이 지연은 반복적인 Flow Matching 디노이징으로 인한 추론 비용과 인식 획득, 통신 스케줄링, 물리적 반응에 따른 로봇 측 지연으로 발생합니다.

연구팀은 이러한 단계별 이질성을 바탕으로 두 단계 비균일 디노이징을 제안하여 스텝 수를 10에서 2로 줄이고 모델 추론 시간을 61.557ms에서 21.956ms로 단축했습니다. 또한 독립적인 추론, 행동 공개, 로봇 제어 속도를 갖는 분산 실시간 VLA 프레임워크를 개발하여 시스템 효율성을 높였습니다.

실제 물리적인 의류 접기 작업에서 여섯 가지 실시간 실행 방법을 평가한 결과, 학습 기반 방법 중 Legato가 전반적으로 가장 우수했으며, 학습이 필요 없는 방법 중 Temporal Smoothing이 우위를 보였습니다. 두 단계 디노이징과 대표적인 실행 방법을 결합하면 작업 성능의 작은 감소만으로도 추론 비용을 크게 줄일 수 있었습니다.

이러한 결과는 모델 추론 효율성과 로봇 시스템 타이밍을 공동으로 최적화해야 함을 시사합니다. 이는 VLA 시스템의 실시간 성능과 효율성을 개선하는 데 중요한 동기를 제공합니다.

Drifting Models는 반복적인 분포 정제를 추론에서 훈련으로 전환하여 효과적인 단일 단계 생성을 가능하게 합니다. 그러나 이러한 모델의 성능은 드리프팅 필드를 구성하는 데 사용된 표현에 크게 의존하는데, 픽셀 공간 드리프팅은 성능이 좋지 않은 반면 사전 학습된 특징 공간은 샘플 품질을 크게 향상시킵니다. 연구진은 이러한 격차가 표현의 판별적 기하학(discriminative geometry)에서 비롯되며, 이는 커널 밀도 추정(KDE)에서 샘플 가중치를 결정하고 결과적으로 드리프트를 유발한다고 분석했습니다.

연구는 생성기가 배치(batch)를 거치면서 더 판별적인 표현 기하학을 지속적으로 학습하는 지속적인 표현 학습(persistent representation learning)을 도입합니다. 또한, KDE 비율 손실과 드리프트 회귀 손실 간의 현재 단계 기울기 등가성을 확립하여 밀도 비율 기반 생성기 최적화와 경험적 드리프팅을 연결하고 드리프트 속도의 직접 제어를 가능하게 합니다.

여러 데이터셋에서 이 방법은 픽셀로부터 효과적인 판별적 표현을 직접 학습하며, 사전 학습된 인코더 없이 원래의 픽셀 공간 드리프팅 모델 대비 FID를 약 82~95% 감소시킵니다. 추가적으로 사전 학습된 표현을 조정하고 속도 클리핑을 적용하면 성능이 더욱 향상됩니다.

컴퓨터 비전 분야의 시각 설명 방법들은 픽셀 중요도를 강조하지만, 이를 의미적으로 의미 있는 개념과 연결하는 데 어려움을 겪어 해석 가능성과 신뢰성이 제한되어 왔습니다. 이에 본 연구에서는 시각화와 개념 기반 추론을 연결하여 충실도와 해석 가능성을 모두 제공하는 새로운 프레임워크인 개념 기반 설명(Concept-based Explanations, ConEx)을 제안합니다.

ConEx는 클래스별 개념을 자동으로 발견하고 개념 활성화 벡터(Concept Activation Vectors, CAVs)를 통해 이를 표현합니다. 이 개념들은 분할 마스크에서 발생하는 노이즈를 줄여 개념 순도를 높이는 아키텍처별 마스킹 메커니즘을 사용하여 수동 지도 없이 학습됩니다. 이를 통해 ConEx는 각 개념이 이미지의 어느 위치에 나타나며 예측에 어떻게 기여하는지를 보여주는 충실한 시각화 맵을 생성합니다.

또한, 학습된 개념의 신뢰성을 평가하기 위해 벡터-개념 일치(Vector-Concept Match, VCM)와 개념-클래스 일치(Concept-Class Match, CCM)라는 두 가지 보완적인 지표를 제안했습니다. 이 지표들은 개념 정렬을 정량화하여 기존 방법들과 직접 비교할 수 있게 합니다. 광범위한 실험 결과 ConEx는 충실도, 분할, 개념 품질 벤치마크에서 최고 수준의 성능을 달성했습니다.

결론적으로 ConEx는 비전 모델에서 진정으로 해석 가능하고 개념에 기반한 설명을 제공하는 방향으로 해당 분야를 발전시킵니다.

DistScene은 환경과 개별 객체를 공동으로 모델링하여 단일 이미지 기반의 구성적 3차원 장면 생성을 위한 프레임워크입니다. 기존 방법들이 장면을 주로 객체의 집합으로 표현했던 것과 달리, DistScene은 환경을 명시적인 장면 구성 요소로 모델링하여 객체 배치를 위한 기하학적 맥락을 제공합니다.

이 프레임워크는 세 가지 핵심 단계로 구성됩니다. 먼저 Scene-Frame Generation을 통해 공유 좌표계 내에서 환경과 객체 구성 요소를 공동으로 생성하여 기하학과 상대적 배치를 함께 학습합니다. 다음으로 Object-Centric Refinement를 사용하여 장면 맥락을 바탕으로 각 객체를 로컬 프레임 내에서 정제합니다. 마지막으로 Object-to-Scene Distillation을 통해 사전 학습된 객체 생성 지식을 합성된 장면을 통해 장면 생성으로 전달합니다.

이러한 접근 방식은 자동적으로 구성되고 렌더링된 합성 장면을 통해 사전 학습된 객체 생성 지식을 장면 생성으로 효과적으로 이전합니다. 실내 및 실외 벤치마크 평가에서 DistScene은 평가된 기준 모델들보다 향상된 장면 수준의 공간 일관성을 입증했습니다.

머신 언러닝은 모델을 처음부터 재학습하지 않고 지정된 훈련 데이터의 영향을 제거하는 것을 목표로 합니다. 기존의 Retrain-free 방법인 Selective Synaptic Dampening(SSD)과 그 레이블 없는 변형인 LFSSD는 전체 데이터셋에 대한 역전파와 파라미터 중요도 계산을 필요로 합니다. 이러한 방법들은 전체 클래스를 잊을 때 효과적이지만, 삭제 요청 시 소수의 이미지에만 의존하는 경우 네트워크가 붕괴될 위험이 있습니다.

이러한 문제를 해결하기 위해 연구진은 경사(gradient) 없이 작동하는 그래디언트 프리 클래스 언러닝 방법인 UnAct를 제안했습니다. UnAct는 삭제할 이미지에 대한 순방향 전달(forward pass)만 필요하며, 이를 통해 후반 레이어 유닛의 응답을 점수화하고 가장 반응성이 높은 연결을 약화시킵니다. UnAct는 최대 20회에 걸쳐 이 과정을 반복하며, 삭제 데이터가 부족하더라도 네트워크가 붕괴되지 않는다는 장점을 보입니다.

실제 실험 결과, UnAct는 ResNet-18 모델에서 CIFAR-10, CIFAR-20, CIFAR-100 데이터셋에 대해 SSD 및 LFSSD와 경쟁하며 전체 클래스를 잊을 때 효과적입니다. 특히 CIFAR-10에서 5개의 삭제 이미지를 사용할 경우, UnAct의 재학습까지의 거리는 0.21점으로 LFSSD의 67점과 SSD의 90점보다 훨씬 낮습니다. 이는 삭제 요청 시 SSD가 중요도를 계산하는 방식과 비교했을 때 19배 빠른 속도를 보이며, ViT-B/16으로의 이전에서도 SSD보다 훨씬 적은 재학습 거리를 기록했습니다.

UnAct는 삭제 데이터가 부족한 상황에서도 네트워크 안정성을 유지하면서 효율적인 언러닝을 수행할 수 있는 새로운 접근 방식을 제시합니다. 해당 코드는 GitHub에서 공개되어 있으며, 개발자들은 이 방법을 통해 데이터 삭제의 정확성과 효율성을 높일 수 있습니다.

수치 선형 대수학(NLA)은 과학 및 공학 분야의 근본적인 문제를 해결하는 도구를 제공함으로써 지속적으로 발전해 왔습니다. 과거 에어로다이내믹 분야에서 고유값 문제를 해결하기 위한 LR 및 QR 알고리즘이 발견된 것처럼, NLA는 과학적 발견의 흐름에 맞춰 진화해 왔습니다.

최근에는 머신러닝(ML) 혁명이 과학 및 공학 분야에 큰 변화를 가져오면서 NLA가 다시 한번 발전의 중심에 서고 있습니다. 특히 대규모 언어 모델(LLM)을 포함한 많은 ML 도구들은 행렬 및 텐서 방법론에 기반하고 있습니다.

이러한 변화 속에서 수치 해석 전문가들이 NLA 개념을 LLM 기술에 어떻게 적용하는지 이해하는 것은 중요합니다. 이 논문은 LLM의 핵심 개념을 수치 방법 전문가들이 이해하기 쉽게 설명하고, LLM 기술에 사용되는 주요 수치 선형 대수학 개념들을 검토하며, 최근 NLA의 중요한 기여들을 강조하는 것을 목표로 합니다.

현재 변화 속도가 매우 빨라 수치 선형 대수학 실무자들이 이러한 변화에 적응하는 데 어려움을 겪고 있습니다. 따라서 이 연구는 LLM 분야에서 NLA의 역할을 명확히 하고 관련 지식을 제공하고자 합니다.

LLM 기반 에이전트는 복잡한 3차원 구조를 생성하는 능력을 보이고 있지만, 단순히 우아한 기하학을 만드는 것과 실제로 제작 가능하고 의도된 기능을 수행하는 물체를 만드는 것은 근본적으로 다르다. 기존의 평가들은 주로 기하학적 품질에 초점을 맞추었기 때문에 물리적 실현 가능성을 간과했다. 이러한 한계를 극복하기 위해 연구진은 LLM 에이전트가 제작 가능하고 기능적인 구조를 생성하는지를 평가하기 위한 벤치마크인 LMBuild를 소개한다.

LMBuild는 생성된 객체를 부품 분해, 연결부, 재료, 순서 등으로 구성된 조립 구조로 표현하며, 재현 가능한 평가를 위해 세 가지 통합 프레임워크를 제공한다. 첫째는 에이전트가 도구를 사용하여 구성 요소를 검색, 생성, 배치할 수 있는 상호작용 환경이며, 둘째는 기존 CAD 데이터셋을 위키피디아 지식으로 보강한 큐레이션된 벤치마크이고, 셋째는 구조적 건전성, 기능적 어포던스, 디자인 품질, 물리적 실현 가능성을 포괄하는 평가 프레임워크이다.

30개 시스템에 대한 평가 결과는 흥미로운 사실들을 보여준다. 선도형 클로즈 소스 모델의 경우 건전성과 정렬이 더 이상 주요 병목 현상이 아니지만, 기능적 어포던스와 물리적 작동 가능성은 여전히 훨씬 더 어려운 과제로 남아있다. 또한 더 강력한 모델은 새로운 구성 요소를 더 효과적으로 생성하는 반면, 약한 모델은 검색에 의존하는 경향이 있다. 특히 기능적 사양을 제공하는 것이 부품의 완전성, 운동학, 물리적 작동 가능성을 크게 향상시킨다는 점이 확인되었다.

이러한 결과는 실제 세계의 구조를 생성하는 것이 기능적 어포던스, 역학에 대한 더 깊은 추론, 그리고 새로운 구성 요소를 설계하고 만드는 것에 대한 이해를 요구한다는 것을 시사한다. LMBuild는 이러한 진보를 측정하고 제작 가능하며 기능적인 구조를 생성하는 에이전트를 향한 연구를 장려하는 기반을 제공할 것으로 기대된다.

스켈레톤 모션은 모든 프레임의 모든 관절 변환으로 저장되지만, 실제 움직임의 내용보다는 신체에 의해 대부분 암시됩니다. 따라서 프로덕션 코덱은 주어진 오차 범위 내에서 모든 스켈레톤에 대해 움직임이 무엇을 의미해야 하는지를 답변해야 합니다. 이전 코덱인 CurveCodec은 현대 게임 엔진의 프로덕션 라이브러리인 ACL의 평균 오차를 일치시켰으나 최악의 경우를 고려하지 않았고 페이로드를 비트 대신 부동소수점(floats)으로 계산했습니다.

CurveCodec 2는 스켈레톤 모션의 중복성이 어디에 있는지 파악하고 학습된 모델이 코덱의 어느 부분에서 역할을 해야 하는지를 탐구합니다. 이 연구는 압축 효율을 높이기 위해 각 양자화된 곡선을 자신의 과거로부터 예측하고, 계층 구조를 통해 코딩하지 않을 관절을 선택하는 방법을 제시합니다. 이러한 인코더가 남기는 간극에는 수백만 개의 훈련 샘플에 대한 최근접 이웃 오라클이 선형 보간만큼 효과적이며, 학습된 중간 모델이 비용을 상쇄한다는 결과가 나왔습니다.

CurveCodec 2는 모든 디코딩된 클립에 대해 ACL의 최악의 경우 또는 평균 오차를 기준으로 두 가지 계약을 검증합니다. 33개 데이터셋에서 4,472개의 클립을 홀드아웃 테스트 측으로 사용하여 검증한 결과, CurveCodec 2는 ACL의 기본 정밀도 0.01cm에서 최악의 계약 하에 ACL 바이트의 0.37배, 평균 계약 하에 0.22배의 공간만 필요합니다. 이 코덱은 단일 CPU 코어에서 디코딩되며, 훈련 없이도 학습된 모델을 사용하여 전송이 가능합니다.

비전-언어-행동(VLA) 정책은 행동을 결정하는 데 필요한 증거를 무시하면서 복잡한 작업을 완료할 수 있습니다. 예를 들어, 손목 카메라 근처에 물체를 두면 지시된 목표물을 이동시킬 수 있으며, 언어와 행동에서도 유사한 패턴이 나타납니다. 이는 성공적인 시연에서 나타나는 규칙성 때문에 시각적, 어휘적, 운동 단서가 근본적인 결정에 필요한 작업 증거 없이도 전문가의 행동을 예측하기에 충분하다는 것을 의미합니다.

이러한 현상을 모달리티 단축(modality shortcuts)이라고 부르며, 이는 작업 증거 없이도 전문가 행동을 예측하게 만드는 성공적인 시연의 규칙성을 의미합니다. 연구진은 이러한 단축을 해결하고 작업 관련 증거에 대한 정책의 반응성을 유지하면서 VLA 결정을 분리하기 위한 새로운 프레임워크를 제안합니다.

제안된 방법인 Perturbot은 작업 관련 증거를 더 쉽게 사용하고 단축이 단독으로 불충분하게 만들도록 합니다. 이는 작업 보존적인 손목 시점 섭동을 적용하고, 결정 관련 캡션으로 지침을 풍부하게 하며, 무작위 및 실패 궤적 세그먼트를 추가하는 방식으로 작동합니다. 또한 GroundingFscore는 정책이 모달리티 단축에 얼마나 심하게 의존하는지 진단하는 오프라인 점수입니다. 이는 정책의 성공률이 개선되었는지와 별개로, 정책이 단축이 아닌 작업 증거에 의존하여 건강하게 확장되는지를 보여줍니다.

Perturbot과 GroundingFscore는 VLA 결정과 단축 선호도를 분리하면서 작업 관련 증거에 대한 반응성을 보존하는 훈련 및 평가 프레임워크를 제공합니다. 이는 VLA 모델이 작업 증거를 효과적으로 활용하도록 돕는 동시에, 모달리티 단축의 영향을 측정하여 모델의 확장성을 평가할 수 있게 합니다.

확산 언어 모델(DLM)은 병렬 토큰 예측을 통해 빠른 생성을 가능하게 하지만, 비교 가능한 크기의 자기회귀(AR) 모델에 비해 품질 격차가 지속적으로 존재합니다. 이러한 격차는 부분적으로 관찰된 시퀀스 내에서 일부 알 수 없는 토큰은 예측하기 쉽지만 다른 토큰은 훨씬 더 많은 계산을 필요로 하는 계산 난이도 불일치에서 기인합니다. 기존 DLM들은 각 디노이징 단계에서 모든 알 수 없는 위치에 균일한 계산 깊이를 적용하고 있습니다.

이에 연구진은 균일한 계산을 토큰 적응형 잠재 재귀(token-adaptive latent recurrence)로 대체하는 ALoDLM을 제안합니다. ALoDLM은 각 디노이징 단계에서 토큰의 난이도에 따라 계산을 할당하며 잠재 표현을 반복적으로 개선합니다. 확정 준비가 된 토큰은 이산적인 컨텍스트로 피드백되고, 해결되지 않은 토큰은 추가적인 재귀 통과를 통해 잠재 상태를 유지하고 더욱 정제합니다.

토큰 예측과 계산 할당을 공동으로 학습하기 위해 ALoDLM은 토큰별 계산 스케줄을 잠재 변수로 공식화하고 조건부 음성 증거 하한(NELBO)을 도출합니다. 17억 및 80억 파라미터 규모로 학습된 ALoDLM은 열한 개의 벤치마크에서 평가된 모든 DLM과 해당 AR 기준 모델을 평균 벤치마크 점수에서 능가했습니다. 또한 ALoDLM은 빠른 병렬 디코딩을 유지하여 최적화된 추론 엔진 하에서 평가된 자기회귀 및 확산 모델 간에 강력한 품질-효율 균형을 제공합니다.

LoRA 기반 지속 학습 방법들은 파국적 망각을 완화하지만, 대부분 작은 학습률을 통해 기울기 스케일링 크기를 제한하는 휴리스틱에 의존합니다. 이러한 고정된 휴리스틱은 태스크가 축적됨에 따라 제한 강도가 어떻게 진화해야 하는지에 대한 이론적 지침이 부족합니다. 연구진은 방향 제약(예: 영공간 투영) 하에서도 유한 정밀도 업데이트는 누적된 이전 지식의 부분 공간으로 여러 방향으로 누출된다는 것을 밝혀냈습니다.

작은 학습률은 이러한 누출을 완화할 수 있지만, 과거 지식의 유효 랭크가 증가함에 따라 누적된 망각이 심화되는 것을 막을 수는 없습니다. 연구는 안정성과 가소성, 즉 이전 지식 보존과 새로운 태스크 정보 획득 사이의 균형을 맞추기 위해 최적의 크기 제한이 유효 랭크에 따라 적응적으로 증가해야 함을 제시합니다. 이를 바탕으로 기울기 단계의 최적 스케일링을 나타내는 속도 법칙 $s^*=R/c$를 도출했습니다.

이러한 통찰을 기반으로 연구진은 역사적 지식을 적응적 SVD 절단을 통해 압축하고, 기울기를 이전 태스크의 영공간으로 투영하며, 랭크 인식 적응적 속도를 적용하는 PaLoRA를 제안했습니다. 실험 결과는 기존 방법들보다 일관된 개선을 보여주었으며, 특히 장기 지평 설정에서 강력한 성능을 입증했습니다.

PaLoRA는 도전적인 50개 태스크의 ImageNet-A 및 ImageNet-R 벤치마크에서 4%의 정확도 향상을 달성하며 지속 학습 성능을 크게 향상시켰습니다.

비전-언어 모델(VLM)을 이용한 장편 비디오 이해는 일반적으로 고정된 네이티브 해상도에서 정보가 풍부한 프레임이나 시각 토큰을 선택하는 방식으로 접근됩니다. 연구 결과, 프레임당 해상도를 조정하여 시간적 커버리지를 높일 수 있으며, 프론트엔드 디코딩 지연 시간은 최종 토큰 예산보다는 후보 풀의 크기에 더 크게 의존한다는 사실을 발견했습니다.

실제 실험을 통해 세 가지 주요 발견이 도출되었는데, 토큰 예산이 일치할 때 조밀한 저해상도 샘플링이 희소한 네이티브 해상도 샘플링보다 우수하며, 해상도에 민감한 작업에서는 선택된 고해상도 프레임이 이점을 제공한다는 것입니다. 또한, 한 시간 분량의 비디오에서는 프론트엔드 디코딩이 전체 벽 시간을 지배한다는 점도 확인되었습니다.

이러한 발견을 바탕으로 연구진은 LoHi라는 학습 불필요(training-free) 단일 패스 프레임워크를 제안했습니다. LoHi는 VLM의 네이티브 비디오 및 이미지 경로를 통해 조밀한 저해상도 비디오 스트림과 희소한 고해상도 이미지 프레임을 결합합니다. LoHi-Anchor는 코덱 I-프레임 메타데이터를 사용하여 고해상도 프레임을 선택하고, LoHi-SemDiv는 CLIP 특징에 대한 쿼리 관련성과 시각적 다양성을 활용합니다.

세 가지 장편 비디오 벤치마크에서 LoHi는 토큰 예산이 일치할 때 네이티브 해상도 기준선보다 평균 정확도를 10.6 퍼센트 포인트, 기존 효율성 방법보다 5.2 퍼센트 포인트 향상시켰습니다. 또한 한 시간 분량의 비디오에서 프론트엔드 디코딩 지연 시간을 최대 7배까지 줄이는 성능을 보였습니다.

필자는 EMT(응급 의료 기술자)가 되기로 결심하기까지 여러 가지 이유로 지연했다고 밝히며, 그중 문화적 요인과 심리적 두려움이 가장 큰 장벽이었다고 설명합니다. 응급 의료 서비스(EMS) 분야의 문화에 대한 우려, 특히 소방관이나 응급 구조대원들의 소진 문제와 일부 환경에 대한 경험 때문에 직업에 대한 회의감이 생겼습니다.

또한, 필자는 새로운 분야에 도전하는 것에 대한 두려움도 중요한 이유로 꼽았습니다. 의료 행위를 연습하는 것이 두렵고, 가장 힘든 날에 침착함을 유지해야 하는 책임감, 그리고 낯선 사람들로 가득 찬 환경에 대한 부담감 때문에 EMT 과정에 참여하는 것을 망설였습니다.

이러한 심리적 장벽 때문에 필자는 EMT 대신 다른 대안을 모색했고, 결국 구조 및 수색(SAR) 분야에 관심을 갖게 되었습니다. 필자는 EMT 자격증을 취득하는 것보다 CPR이나 Stop the Bleed와 같은 실질적인 교육을 먼저 받고, 더 안전하고 현실적인 준비를 하는 것이 낫다고 판단했습니다.

결론적으로 필자는 자신이 어떤 일을 하지 않기로 결정하는 이유를 만들어내는 데 능숙하며, 새로운 도전을 망설일 때 스스로에게 이유를 만들어내어 행동을 유보하는 경향이 있음을 시사합니다.

집에 있는 쓰레기통이 수거를 위해 밖에 놓여 있는지 확인하는 시스템을 초광대역(UWB) 통신 기술로 구현하는 프로젝트가 진행되었습니다. 이 시스템은 홈 어시스턴트(Home Assistant)를 기반으로 하며, 여섯 개의 쓰레기통에 배치된 배터리 태그와 고정된 UWB 앵커를 사용하여 쓰레기통의 위치와 수거 일정을 추적합니다.

이전 시도에서 블루투스 신호 강도(RSSI)를 이용해 거리를 추정하는 방식은 벽이나 차량 등으로 인해 신호의 정확도가 떨어져 부정확한 결과를 초래했습니다. 반면 UWB는 무선 신호가 이동하는 데 걸리는 시간을 측정하여 신호 강도에 의존하지 않고 더 정확한 거리 측정을 가능하게 합니다.

개발자는 이 시스템을 통해 쓰레기통이 집에서 멀어지거나 수거를 위해 이동했을 때의 상태 변화를 학습하여 '수거 완료(Out)' 상태 대신 '추정 완료(Presumed Out)' 상태를 표시하도록 개선했습니다. 이는 쓰레기통이 사라졌다가 다시 돌아왔을 때 알림의 정확도를 높이는 데 중요한 변화를 가져왔습니다.

현재 프로젝트는 여섯 개의 쓰레기통에 대한 커버리지, 배터리 수명, 앙커의 배치 등 실제 환경에서의 성능을 지속적으로 관찰하고 개선하는 단계에 있습니다. 개발자는 이 경험을 바탕으로 반려동물 추적과 같은 다른 분야에도 UWB 기술을 적용할 가능성을 탐색하고 있습니다.

투프테의 데이터 잉크 비율에 대한 이해를 명확히 하는 것에 관한 기사입니다. 이 기사는 데이터 시각화에서 정보의 밀도와 시각적 요소의 관계를 다루며, 데이터 표현의 효율성과 명료성에 대한 중요한 관점을 제시합니다.

데이터 잉크 비율은 시각적 요소가 데이터 자체에 얼마나 집중되어 있는지를 측정하는 개념으로, 불필요한 시각적 잡음을 줄이고 정보 전달의 정확성을 높이는 데 중점을 둡니다. 이는 복잡한 데이터를 다루는 개발자와 디자이너에게 데이터 시각화의 본질을 이해하는 데 필수적인 배경 지식을 제공합니다.

이 개념을 이해하는 것은 단순히 미적인 측면을 넘어, 사용자가 데이터를 더 빠르고 정확하게 해석할 수 있도록 돕는 실질적인 방법론을 제공합니다. 따라서 데이터 시각화 시스템을 설계하거나 데이터를 표현하는 모든 과정에서 이 원칙을 적용하는 것이 중요합니다.

Ataraxos가 역대 최고 Stratego 선수로 꼽히는 Pim Niemeijer를 상대로 15승 1패 4무라는 놀라운 기록을 달성했습니다. 이 성과는 정보 대부분이 숨겨진 Stratego 게임에서 인공지능이 한 단계 발전했음을 보여줍니다.

이러한 성과를 달성하기 위해 Ataraxos는 상대 기물의 정체를 추정하는 별도의 신경망인 믿음 모델(belief model)을 도입했습니다. 이 믿음 모델은 가능한 배치 일부를 표본으로 뽑아내고 이를 기반으로 수를 미리 탐색할 수 있게 하여 AI의 전략적 깊이를 더했습니다.

믿음 모델은 단순히 게임을 플레이하는 것을 넘어, 상대방의 의도를 추론하고 숨겨진 정보를 해석하는 데 중점을 둡니다. 이는 복잡한 정보가 부족한 환경에서 AI가 효과적으로 추론하고 예측하는 방법을 제시하며, 다른 게임 환경에서의 AI 개발에도 중요한 시사점을 제공합니다.