읽을 가치가 있는 기사만, 짧고 또렷하게.

AI 시스템의 훈련, 학습, 추론의 통일된 역학 관계를 정의하는 연구가 발표되었습니다. 연구진은 생성 사실을 기록하는 원자적 생성 사실 $f$를 정의하고 이를 생성 기록을 보존하는 Generation-Fact Graph(GFG)로 컴파일하여 AI 고유의 과학적 사실 기질을 구축했습니다. 이 GFG를 기반으로 분석, 개입, 재생, 검증이 이루어지는 재귀적 과학적 프로세스를 확립하여 후속 사이클을 위한 사실을 생성합니다.

nanoGPT를 사용하여 훈련과 학습의 통일된 역학 관계를 설정했습니다. 훈련은 상태와 메모리를 가진 파라미터 최적화 시스템의 진화로 정의되며, 각 훈련 행동은 수신 상태와 목표 특정 업데이트 기하학에 의해 조건화된 유한 진폭 비선형 기능 응답을 생성합니다. 학습은 이러한 응답에 의한 분산된 기능 지원의 지속적인 재조직이며, 목표 특정 상태를 평가할 때 능력 형성, 유지, 쇠퇴 또는 회복이 관찰됩니다.

세 가지 주요 좌표, 즉 목표 경계 상태, 목표 특정 업데이트 기하학, 파라미터-Adam 수신 상태는 업데이트 후 출력(post-update outputs)이 읽히기 전에 작동하는 2차 예측기를 산출합니다. 홀드아웃 실행에서 이 예측기는 네 가지 전환에 걸쳐 91.43%의 정확도와 91.49%의 평균 재현율을 달성했습니다.

또한 추론을 훈련-학습 역학의 고정된 투영으로 설정했습니다. 컴포넌트 게이팅과 롤백은 훈련 중에 형성된 질의 조건부 지원의 인과적 모집 및 비가산적 결합을 보여주며, 이는 Attention에 의해 실현되는 조직적 조건을 도출합니다. ResNet/CIFAR-100 및 diffusion/CIFAR-10 실험은 수신 상태 조건부 응답, 지속적인 지원 재조직, 그리고 nanoGPT를 넘어선 고정된 추론 투영을 확인시켜 줍니다.

의료 영상에서 신뢰할 수 있는 공간 이해는 방사선 보고서 생성 및 구조화된 이미지 이해를 목표로 하는 미래의 비전-언어 시스템에 필수적인 전제 조건입니다. 최근 비전-언어 모델(VLM)이 많은 의료 영상 작업에서 유망한 성능을 보이지만, 통제된 공간 추론 능력은 여전히 약하며 이미지 증거에서 공간 관계를 신뢰성 있게 근거화하는 데 실패하는 경우가 많습니다. 이는 해부학적 구조와 소견의 상대적 위치를 이해하는 방사선 추론이 공간적 이해에 의존하기 때문에 진단 정확도에 위험을 초래합니다.

이에 연구진은 축 방향 CT 슬라이스의 이진 공간 관계 검증을 위한 모듈형 의료 영상 에이전트를 제시했습니다. 이 시스템은 공간적 답변을 직접 예측하는 대신, 작업을 언어 구문 분석, 해부학적 위치 파악, 그리고 결정론적 기하학적 검증이라는 명시적인 단계로 분해합니다. 자연어 질의는 구조화된 관계 튜플로 변환되고, YOLO 기반 검출기를 사용하여 장기를 위치 파악하며, 최종 공간 결정은 객체 중심을 사용하여 결정론적 기하학 규칙으로부터 계산됩니다.

이 접근 방식은 MIRP 공간 QA 벤치마크에서 평가되었으며, 대표적인 종단 간 VLM 기준선과 비교되었습니다. 가장 성능이 좋은 하이브리드 구성은 94.1%의 정확도와 94.2%의 F1 점수를 달성했습니다. 이는 직접적인 Qwen2-VL 프롬프팅보다 정확도에서 42.5% 포인트 더 우수하며, 해석 가능한 중간 표현과 감사 가능한 추론 단계를 보존합니다.

이 결과는 명시적인 모듈형 공간 검증이 향후 보고서 지향 의료 영상 에이전트를 위한 유망한 구성 요소가 될 수 있음을 시사합니다. 이는 의료 AI 시스템에서 공간적 추론의 신뢰성과 투명성을 확보하는 데 중요한 기반을 제공합니다.

AI 에이전트에게 프롬프트 주입은 가장 큰 위협으로 꼽힙니다. 공격자는 외부 데이터에서 "모든 이전 지침을 무시하고 <공격자의 작업>을 수행하라"와 같은 프롬프트를 주입하여 에이전트를 임의로 조작할 수 있습니다. 현재 방어 기법들은 이러한 적응형 프롬프트 주입에 대해 거의 100%에 가까운 공격 성공률(ASR)을 보입니다. 이는 기존의 방어 파인튜닝 방식이 시퀀스 수준의 피드백 신호(DPO나 GRPO)에 의존하기 때문에 모델이 어떤 출력 토큰이 취약한지 정확히 학습하지 못하기 때문입니다.

이러한 문제를 해결하기 위해 본 논문은 토큰 수준의 피드백을 제공하는 Secure On-Policy Distillation(SecOPD)을 제안합니다. SecOPD는 LLM이 주입된 샘플을 받고 롤아웃을 생성할 때, 초기화 모델이 해당 토큰을 평가하여 점수를 매기도록 하여 방어 파인튜닝을 안내합니다. 이처럼 세밀한 학습 신호를 통해 방어 성능을 높일 수 있습니다.

실제 실험 결과, SecOPD를 적용한 Qwen3.6-27B 모델은 SoTA PISmith 적응형 프롬프트 주입에 대해 9.0%의 ASR을 달성했습니다. 이는 기존의 SoTA 방식인 Meta-SecAlign의 94.0% ASR에 비해 크게 개선된 수치입니다. 또한, 에이전트 도구 호출과 같은 훈련에서 전혀 보지 못한 도메인에서도 보안성이 일반화되어, Meta-SecAlign의 5.5% ASR보다 낮은 4.7%의 ASR을 기록했습니다.

해당 연구의 코드와 모델은 GitHub 및 Hugging Face에서 공개되어 있습니다.

JDK 28에서 JEP 401을 통해 도입된 밸류 클래스는 프로그램의 의미론을 공유하는 능력을 높이고 JVM의 최적화 기회를 증가시킨다는 점에서 매우 흥미롭습니다. 밸류 클래스는 객체의 동일성(identity) 요구 사항을 제거함으로써 JVM이 특정 상황에 맞는 표현 방식을 선택할 수 있게 하여 값(value)을 평탄화(flattening)하고 스칼라화(scalarization)하는 최적화 이점을 제공합니다.

이러한 최적화는 특히 불변성(immutability)을 통해 극대화되는데, 불변 밸류 클래스는 JVM이 최종 필드가 초기화된 후에만 관찰될 수 있다는 보장을 받으므로 원자적 업데이트 없이도 평탄한 레이아웃을 사용할 수 있게 됩니다. 하지만 가변 필드(mutable fields)의 경우, 데이터 경쟁(data race)이나 찢어진 할당(torn assignment) 문제를 방지하기 위해 JVM은 여전히 참조 레이아웃을 사용해야 하며, 이는 최적화의 자유도를 제한하는 제약 조건으로 작용합니다.

예를 들어, 밸류 클래스 내의 필드가 원자적 평탄화 업데이트에 너무 큰 값을 포함할 경우, JVM은 안전을 위해 참조 레이아웃을 사용하게 됩니다. 이는 밸류 클래스가 제공하는 최적화 잠재력과 JVM의 안전성 보장 사이의 균형을 이해해야 함을 의미합니다. 개발자는 밸류 클래스를 설계할 때 이러한 JVM의 표현 방식 선택과 동기화 문제를 고려하여 코드를 작성해야 합니다.

친구 아론의 이야기는 예측 시장이라는 시스템에 대한 탐구와 그 위험성을 다루고 있습니다. 아론은 학업 대신 월드 오브 워크래프트와 축구에 몰두했으며, 결국 예측 시장에서 부를 얻을 기회를 발견했습니다. 그는 유가나 게임 출시 같은 사소한 결과에 돈을 걸면서, 예측 시장 시스템 자체가 조작되어 있다고 느꼈습니다.

아론은 이러한 시스템에 대한 불신을 바탕으로 자신만의 예측 시장 거래소를 만들고자 했으나, 시스템의 구조적 한계 때문에 좌절했습니다. 그는 자신이 온라인 거래소를 운영해 본 경험이 없었음에도 불구하고 자신이 알고 있다고 주장하며 조언을 구했습니다.

이후 아론은 자신의 경험을 바탕으로 예측 시장에 대한 극단적인 베팅을 시도했고, 이는 결국 매우 위험한 상황으로 이어졌습니다. 그는 자신의 죽음에 대해 수만 달러를 베팅하는 행위가 합법적이라는 점을 이용했습니다.

결국 아론은 경주 중 총격 사건으로 사망했으며, 이 사건은 예측 시장의 극단적인 위험성과 사기적인 측면을 극적으로 보여줍니다. 이는 온라인 예측 시장이 제공하는 기회와 그 이면에 숨겨진 위험에 대해 숙고하게 만듭니다.

대규모 언어 모델을 저렴하게 서비스하기 위해 모델을 구조적으로 압축하고 4비트로 양자화하는 과정에서 추론, 수학, 코딩, 장문 맥락 처리 능력이 저하되는 문제가 발생합니다. 이러한 성능 저하를 해결하기 위해 배포 전에 복구 또는 치유(healing) 단계를 도입하는 방법이 제시되었습니다.

기존 방식인 양자화 인식 훈련(QAT)은 압축된 모델을 하드 레이블에 맞춰 재조정하지만, 이 과정에서 수렴이 느리고 성능이 최고점 이상으로 붕괴되는 문제가 있었습니다. 이에 연구진은 양자화 인식 치유(QAH) 방법을 채택했는데, 이는 구조적으로 압축된 모델을 전체 정밀도로 훈련하지 않았기 때문에, 원본 비압축 모델에서 4비트 학생 모델을 직접 추출하는 방식입니다.

GPT-OSS 120B에서 60B, 그리고 MXFP4로 이어지는 파이프라인에서 QAH 학생 모델은 bfloat16 소스 모델과 9개 벤치마크 중 7개에서 동등하거나 더 나은 성능을 보였습니다. 또한, 이 모델은 가중치 메모리를 약 4배 적게 사용하고 교사 모델의 파라미터 수를 절반으로 줄였으며, Hypernova-60B로 오픈 웨이트로 공개되었습니다.

QAH는 QAT 기준선과 비교했을 때 비슷한 최고 성능에 약 7배 빠르게 도달하며, 수동으로 조정된 조기 종료 없이도 지속적인 훈련 하에서 안정성을 유지합니다. 연구진은 또한 분산 훈련 백엔드 간에 품질에 큰 차이가 발생한다는 배포 교훈도 보고하며, 여러 주에 걸친 하이퍼파라미터 탐색 없이 배포 가능한 레시피를 목표로 합니다.

심층 얼굴 인식(FR) 모델은 높은 정확도를 달성했음에도 불구하고 유사도 점수가 어떤 의미적 속성에 의존했는지 알 수 없어 불투명하다는 문제가 제기되었습니다. 이에 대해 EXPL-FR은 FR 모델의 임베딩 공간 내에서 이 정보를 설명합니다. 이 방법은 비전-언어 모델(VLM)의 이미지 인코더를 얼굴 이미지만을 사용하여 학습된 고정된 FR 공간과 정렬하는 경량 어댑터를 사용합니다.

VLM 인코더가 동일한 공간을 공유하기 때문에 이 어댑터는 텍스트 인코더에도 적용되어 22개 범주의 978가지 속성 프롬프트를 추가 비용 없이 FR 공간의 앵커로 변환합니다. 하지만 이 전이가 자동으로 작동한다고 가정하지 않으며, 얼굴 검증 프로토콜과 어댑터만 변경하는 절제 분석을 통해 그 기여도를 측정합니다.

또한 레이블 없이도 각 개념의 분리 가능성을 FR 공간과 VLM 공간에서 비교하는 감지 가능성 측정 방법을 통해 모델의 읽을 수 있는 의미론적 서명(semantic signature)을 도출합니다. 이 서명은 전체 어휘보다 신원을 더 잘 분리하며, EXPL-FR은 신원 수준, 이미지별, 차등 설명 등 다양한 설명을 지원합니다.

연구진은 인간 레이블, VLM 유사 레이블, 그리고 자체 프롬프트 기반 감사(prompt-driven audit) 세 가지 감독 설정 하에서 속성 수준 감사를 수행하여 실제 검증 행동과 비교했습니다. 이 감사 결과는 레이블 없이도 네 가지 FR 모델을 인종별 RFW 오류 및 제어된 속성 변화에 따른 실제 검증 비용으로 순위를 매깁니다.

이커머스 라이브 스트리밍은 음성, 비디오 프레임, 제품 이미지, 오버레이 텍스트, 사용자 질문 등 노이즈가 많은 시간적으로 확장된 스트림에 대한 옴니모달 이해를 요구합니다. 이에 본 논문은 라이브 커머스 시나리오에 맞춰 설계된 옴니모달 이해 모델인 TLive-Omni를 제시합니다. 이 모델은 이미지, 비디오, 오디오, 텍스트 입력을 통합된 표현 공간으로 매핑합니다.

장시간 라이브 스트리밍 분석을 위해 시간적 정렬을 용이하게 하는 Per-vGrid를 도입하여 각 비디오 그리드를 시간적으로 대응하는 오디오와 명시적인 경계 토큰 내에서 그룹화합니다. 또한 옴니모달 인식에서 지시 사항 따르기 응답으로 점진적으로 발전하는 3단계 지도 학습 레시피를 설계했습니다. 나아가 실시간 요구 사항을 충족하면서 답변의 충실도와 표현 품질을 개선하는 강화 학습 미세 조정 단계인 Faithful-RFT를 제안합니다.

TLive-Omni는 라이브 커머스 오디오, 이미지, 비디오 스트림을 음성 인식, 화자 분석, 제품 시각 접지, 시간적 정렬 등 다양한 학습 신호로 변환하는 데이터 생산 엔진을 지원합니다. 또한 확장 가능한 학습을 위해 동기화된 길이 그룹 샘플러와 경량 동적 샘플링 전략을 사용하여 작업자 간에 비교 가능한 워크로드를 유지하면서 패딩을 줄이고 GRPO에 대한 의미 있는 상대적 이점을 보존합니다.

실제 이커머스 라이브 스트리밍 벤치마크 실험 결과, TLive-Omni는 라이브 커머스 도메인 작업에서 강력한 성능을 보였으며 일반 벤치마크에서도 뛰어난 일반화 능력을 입증했습니다.

마이크로소프트의 페인트와 포토 앱은 로컬에서 생성된 이미지에 서버에서 발급된 GUID를 보이지 않는 워터마크로 삽입한다는 사실이 역공학 분석을 통해 밝혀졌습니다. 이는 사용자가 로컬에서 이미지를 생성하더라도, 이미지 생성 과정이 원격 서버의 프롬프트 중재를 거치며 그 결과물이 서버에서 발급된 고유 식별자를 포함하게 됨을 의미합니다.

이러한 과정은 마이크로소프트가 Copilot+ PC에 로컬 AI 모델을 탑재하면서 이미지 생성 기능을 제공하는 방식과 관련이 있습니다. 이미지 생성은 로컬에서 이루어지지만 프롬프트 중재는 여전히 원격 서버에서 처리되며, 이 서버로부터 받은 GUID가 최종 이미지 픽셀에 숨겨진 워터마크로 삽입됩니다.

연구 결과는 페인트 앱이 AI 생성 이미지에 C2PA 메타데이터를 추가하며, 이 메타데이터 내에 보이지 않는 픽셀 워터마크를 식별하는 GUID가 포함되어 있음을 보여줍니다. 이는 파일 수준의 마커와 픽셀 수준의 워터마크가 동일한 출처 시스템의 일부임을 시사하며, 클라우드 이미지 생성과 로컬 추론 과정에서 데이터의 출처를 추적할 수 있는 기반을 제공합니다.

이러한 메타데이터는 EU AI 법의 투명성 규칙과 관련하여 중요한 의미를 가지지만, 이 GUID가 프롬프트와 연관되어 있다는 점은 일반 사용자에게 명확하게 공개되지 않습니다. 또한, 사용자는 이 메커니즘을 우회하여 프롬프트 중재나 워터마킹을 피할 수 있지만, 이는 이미 다른 방식으로 AI 모델을 직접 실행하는 것만으로도 가능합니다.

로봇 조작을 위한 능동적 지각을 위한 물리 정보 기반 코드-정책 에이전트인 PhysCaP를 소개합니다. 기존의 비전-언어-행동 정책은 시연을 모방하는 데는 능숙하지만, 조작에 필수적인 잠재적인 물리적 속성을 추론하지 못하고 수동적인 관찰에 의존한다는 한계가 있습니다. PhysCaP는 코드-정책 프레임워크에 물리 정보 기반 탐색 레이어를 추가하여 상호작용을 통해 명시적으로 정보를 탐색할 수 있도록 합니다.

이 에이전트는 추가 센서 없이 로봇의 고유 감각(proprioception)으로부터 물체의 질량과 강성을 추정하는 학습 불필요 물리적 속성 추출 모듈을 도입합니다. 또한 탐색 비용과 획득 정보의 효율성을 균형 맞추기 위해 이중 에이전트 설계 방식을 사용합니다. 계획자(Planner)는 탐색을 언제 시작하고 멈출지 결정하며, 우선순위 지정자(Prioritizer)는 비현실적인 상호작용을 필터링하고 휴리스틱 우선순위 점수를 사용하여 나머지 상호작용을 순위화함으로써 효율적이고 목표 지향적인 탐색을 가능하게 합니다.

PhysCaP는 실제 탁상 조작 작업(숨겨진 물체 찾기, 빈 캔 감지, 잘 익은 아보카도 찾기)과 LIBERO 시뮬레이션 환경에서 평가되었습니다. 실험 결과, 기존의 수동적 및 단순 상호작용 기준선들은 물리적 속성이 숨겨져 있을 때 실패하거나 과도하게 탐색하는 반면, PhysCaP는 더 적은 상호작용과 감소된 실행 시간으로 유사한 성능을 달성했습니다. 추가적인 분석 연구를 통해 제안된 물리적 속성 추출 모듈의 효과가 입증되었습니다.

실제 이미지 검색 쿼리는 "분홍색 셔츠를 찾아줘"와 같이 개체, 속성, 무시할 맥락을 지정하는 멀티모달적이고 구성적인 형태를 띠고 있습니다. 그러나 기존의 재순위 지정 모델들은 이러한 다면적인 관련성을 불투명한 임베딩으로 압축하거나 자유 형식의 사고 과정에 의존하여 세밀한 제약 조건을 누락하거나 환각을 일으키는 문제가 있었습니다.

이에 연구진은 멀티모달 이미지 재순위 지정 문제를 의미론적 제약 만족 문제로 재구성하고 EviRank를 제안했습니다. EviRank는 텍스트만 있거나, 이미지만 있거나, 혹은 조합된 모든 쿼리를 여섯 가지 의미론적 슬롯(예: 개체, 속성, 관계)에 걸친 유형화된 기준을 통해 통합된 증거 패키지로 분석합니다. 이 증거는 각 기준에 대해 필수, 금지, 무시 가능으로 레이블링됩니다.

재순위 지정 과정은 증거 기반 검증으로 단순화되며, 결정론적 기준 점수와 증거에 기반한 리스트별 비교를 단일의 학습 불필요 절차에서 결합합니다. 이 명시적인 증거는 경량 학생 모델을 선택적으로 증류하는 데 구조화된 지도 역할을 할 수 있습니다.

다섯 가지 벤치마크(텍스트-이미지, 이미지-이미지, 조합 이미지 검색) 전반에서 EviRank는 최고 성능을 달성했으며, 증류된 학생 모델은 훨씬 낮은 비용으로 교사의 성능의 90% 이상을 보존합니다.

에이전트 환경 구축에 대한 새로운 접근 방식인 AgentMercury가 제시되었습니다. 이 프레임워크는 고수준의 비즈니스 시나리오로부터 실행 가능한 환경을 합성하여 대규모 강화 학습(RL) 훈련을 가능하게 합니다. 기존의 작업 중심 패러다임이 현실적이고 진화하는 워크플로우를 반영하는 환경을 확장하는 데 어려움을 겪는 문제를 해결하고자 합니다.

AgentMercury는 특정 작업에 맞춰 환경을 구축하는 대신, 엔티티, 서비스, 도구, 상태, 실행 가능한 서비스 간 불변량(cross-service invariants)을 포함하는 지속적인 세계(persistent world)를 먼저 구성합니다. 이를 통해 다양한 작업과 상호작용 궤적이 자연스럽게 발생하도록 하여 환경을 합성합니다. 연구진은 이를 통해 14개 산업과 50개 국가에 걸쳐 4,783개의 실행 가능한 환경을 구축하고 이를 강화 학습의 훈련 기질로 사용했습니다.

이러한 비즈니스 지향적 환경에서 훈련된 정책은 벤치마크에 국한되지 않고 추론, 코딩, 과학 컴퓨팅, 도구 사용 등 광범위한 영역에서 성능을 크게 향상시켰습니다. 예를 들어, Qwen3.5-4B 모델은 AgentMercury 환경에서 훈련한 후 EnterpriseOps-GYM에서 12.3점에서 15.7점으로, AIME26에서는 45.9점에서 56.0점으로 성능이 개선되었습니다.

더 나아가, 환경 구축 과정 자체도 학습 가능한 능력으로 만들 수 있음을 입증했습니다. Qwen3.5-35B-A3B 모델을 구축 추적(construction traces)으로 미세 조정함으로써 보유 데이터셋에서 실행 가능한 세계 작성 성공률을 3.3%에서 83.3%로 증가시켰습니다. 이는 시나리오 기반 환경이 벤치마크에 국한되지 않는 유용한 학습 신호를 제공하며, 환경 구축 과정 자체가 학습 가능한 역량이 될 수 있음을 시사합니다.

옴니모달 대규모 언어 모델(Omni-LLMs)은 환경을 지속적으로 인식하고 사용자가 특정 목표를 달성하도록 안내하는 실시간 비디오 비서로서 큰 잠재력을 보여줍니다. 기존의 수동적인 비디오 이해와 달리, 상호작용 비서는 시각 상태, 사용자 목표, 사전 지식을 능동적으로 결합하여 효과적인 도움을 제공해야 합니다. 그러나 모델의 예측 불가능한 응답이 사용자의 다음 행동을 동적으로 변화시키기 때문에 정적인 오프라인 데이터셋으로는 이러한 상호작용을 평가하기가 매우 어렵습니다.

이러한 평가의 병목 현상을 해결하기 위해 OmniAssistBench라는 벤치마크가 도입되었습니다. 이 벤치마크는 동일한 사용자 목표가 다양한 방법으로 달성될 수 있는 상호작용 경로의 분기를 해결하기 위해, 모델이 소스 비디오에서 파생된 사전 지식을 제공하고 사용자를 정확히 동일한 경로로 안내하도록 요구합니다. 실제 상호작용 비디오가 희소하기 때문에, 기존 인터넷 비디오를 역공학하여 논리적 사용자 목표를 추론하고 연속적인 상호작용을 시뮬레이션하기 위해 비디오를 다중 턴 클립으로 구성하는 방식으로 데이터셋을 구축했습니다. 이 과정에는 1000시간 이상의 전문가 작업 시간이 소요되었습니다.

실험 결과, 독점 모델인 Gemini-3-Pro는 최대 점수 100점 만점에 66.4점을 달성한 반면, 오픈 소스 모델인 Qwen3-Omni-Instruct는 51.2점을 기록했습니다. 현재 모델들은 사용자 입력을 일반적으로 이해하지만, 시각적 프롬프트(예: 손 제스처)를 처리하는 데 어려움을 겪고, 다중 턴 상호작용 중 역사적 맥락을 유지하지 못하며, 목표 이벤트가 발생할 때까지 응답을 지연하지 못하는 문제가 있습니다. 따라서 모델이 신뢰할 수 있는 비서가 되기 위해서는 상당한 개선의 여지가 남아 있습니다.

LLM은 언어 생성기에서 복잡하고 장기적인 작업을 수행하는 자율 에이전트로 발전했습니다. 이러한 발전 과정에서 프롬프트 엔지니어링, 컨텍스트 엔지니어링, 하네스 엔지니어링, 루프 엔지니어링과 같은 패러다임이 등장했습니다. 그러나 작업이 복잡해질수록 개별 지능은 근본적인 한계에 직면합니다. 많은 작업은 이질적인 전문성, 상호 의존적인 하위 작업, 병렬 실행, 독립적인 검증, 그리고 지속적인 상태를 요구하며, 이는 단일 에이전트의 조직 능력을 초과합니다.

따라서 지능은 개별 에이전트의 능력이나 컨텍스트를 보강하는 것만으로는 해결되지 않으며, 대신 여러 전문 에이전트들로 지능을 분산하고 시스템 수준에서 조직해야 합니다. 이를 시스템 지능(System Intelligence)이라고 부르며, 에이전트 시스템이 여러 지능적 구성 요소를 일관되고 적응적인 전체로 조직하고 조정하는 능력을 의미합니다.

이러한 시스템 지능을 달성하기 위해서는 작업을 조직하고, 이질적인 에이전트를 조정하며, 진화하는 실행 상태를 유지하기 위한 명시적인 구조가 필요합니다. 이를 위해 새로운 패러다임인 그래프 엔지니어링(Graph Engineering)이 제시됩니다. 그래프 엔지니어링은 작업, 에이전트, 시스템 상태를 나타내는 명시적이고 동적이며 진화하는 그래프 구조를 구축합니다.

이러한 추상화는 복잡한 목표를 조직하고, 이질적인 에이전트를 조정하며, 시스템 역학을 모델링하고, 확장 가능한 에이전트 진화를 가능하게 하는 통합된 기반을 제공합니다. 그래프 엔지니어링은 LLM 에이전트를 위한 시스템 지능을 구현하는 데 필요한 방법론과 응용 분야를 체계적으로 검토합니다.

전자상거래 시나리오에서 실제 사용자 쇼핑 행동을 시뮬레이션하는 것은 오프라인 평가와 강화 학습에 필수적입니다. 최근 LLM 및 VLM 기반 시뮬레이터가 발전했음에도 불구하고 실제 브라우징 세션을 재현하는 데는 두 가지 주요 어려움이 존재합니다. 첫째는 메모리 문제로, 쇼핑 세션은 수십 페이지에 걸쳐 진행되지만 기존 에이전트는 장기 관찰 기록을 버리거나 단순히 연결하여 컨텍스트 창을 압도하고 시뮬레이션 품질을 저하시킵니다. 둘째는 최적화 문제로, 현재 사용자 시뮬레이터는 단계별 보상이나 모방을 통해 행동을 지도하지만, 그 결과로 나타나는 과도한 탐색이나 지나친 수동성과 같은 비현실적인 패턴을 감지하거나 수정하지 못합니다.

이러한 문제들을 해결하기 위해 저자들은 스크린샷을 통해 페이지를 인식하고 충실한 다중 턴 궤적을 생성하는 GUI 기반 시뮬레이션 에이전트인 RecVerse를 제시했습니다. RecVerse는 메모리 문제를 해결하기 위해 인지 기반의 계층적 메모리 구조를 채택했는데, 이는 단기 집중을 위한 작업 기억, 세션 내 흔적을 위한 에피소드 기억, 그리고 고차원적 의도를 위한 선호 기억으로 구성됩니다. 메모리 업데이트를 행동으로 취급하여 에이전트가 무엇을 기억하고 언제 기억할지 적응적으로 학습하도록 합니다.

또한 최적화 문제를 해결하기 위해 RecVerse는 전체 세션을 평가하는 궤적 수준의 강화 학습 목표로 최적화됩니다. 이를 통해 거시적인 행동 유형 분포와 미시적인 쇼핑 의도를 실제 사용자들과 일치시킵니다. 연구팀은 다중 턴 사용자 시뮬레이션을 위한 상호 작용적인 전자상거래 GUI 궤적 데이터셋인 USB(User Simulation Benchmark)를 추가로 공개했습니다. 실험 결과 RecVerse는 행동 충실도와 의도 일관성 모두에서 기존 기준 모델들을 크게 능가하는 것으로 나타났습니다.

모바일 기기에 비전-언어 모델(VLM)을 배포하는 것은 상당한 메모리와 컴퓨팅 요구 사항 때문에 어려운 과제입니다. 이에 본 연구는 자원이 제한된 하드웨어에서 효율적인 추론을 위해 VLMs를 양자화하는 프레임워크를 제시합니다. 이 접근 방식은 모델 자체를 사용하여 훈련 데이터를 생성하며 훈련 설정에 접근할 필요가 없는 양자화 파이프라인과 새로운 2.7비트-파라미터 형식을 결합합니다.

이 새로운 2.7비트-파라미터 형식은 Arm CPU에서 효율적인 실행을 지원하여 리소스 제약이 있는 환경에서 모델을 빠르게 구동할 수 있게 합니다. 연구진은 이 방법을 검증하기 위해 Llama 3.2 11B Vision Instruct 모델을 8비트 활성화(activations)를 사용하여 3.7GB로 압축했습니다.

압축 과정에서도 표준 시각 질문 응답(VQA) 작업에서 강력한 성능을 유지했으며, 이는 효율적인 모델 배포를 달성하면서도 모델의 성능을 보존할 수 있음을 입증합니다. 이 연구는 모바일 환경에서 대규모 VLM을 효율적으로 구동하기 위한 실질적인 방법을 제공합니다.

기존의 대규모 사전 학습 모델을 활용한 비디오 편집 방법들은 대부분 인플레이스 편집(in-place editing) 가정에 의존하여 고정된 시간 범위 내에서 프레임별로 비디오를 정렬합니다. 이러한 방식은 라이브 게임의 스타일 변경이나 진행 중인 샷에 카메라 움직임을 적용하는 것과 같이 열린 스트림(open-ended streams)에 적용하기 어렵습니다. 실제 편집은 정적인 입력 클립이 아닌, 도착하는 대로 미래 프레임까지 확장되어야 하는 상황이 발생합니다.

본 논문은 이러한 상황을 '무한 비디오 편집(infinite video editing)'으로 정의하고, 주어진 이전 세그먼트와 편집 요청에 따라 스트림을 계속 이어가면서 요청된 편집을 적용하는 모델 생성 작업을 연구합니다. 이 과정은 무한한 편집 지침이 도착하는 시퀀스로 반복됩니다. 이 작업은 편집이 프레임별 재작성이 아닌 충실한 연속이어야 하며, 누적되는 편집에도 생성 품질이 안정적으로 유지되어야 하는 두 가지 도전을 안고 있습니다.

이러한 문제를 해결하기 위해 연구진은 스트리밍 비디오 생성기에 무한한 편집 능력을 부여하는 경량 편집 어댑터인 InfinityEdit를 제안합니다. InfinityEdit는 히스토리 크로스 어텐션, 시간적 인과적 셀프 어텐션, 편집 크로스 어텐션의 세 가지 어텐션 모듈을 포함합니다. 추론 시 어댑터는 편집 요청이 도착하는 청크에만 활성화되며, 이후 청크들은 원본 모델이 리셋 앵커 프레임으로 생성하여 편집을 적용하면서도 모델의 무한한 생성 능력을 보존합니다.

광범위한 실험 결과, InfinityEdit는 각 편집에 따라 스트림을 충실하게 연속시키며 무한한 편집 시퀀스 전반에 걸쳐 안정성을 유지함을 입증했습니다. 이는 무한한 스트림 환경에서 편집을 수행할 때 생성 품질의 안정성을 확보하는 데 중요한 방법론을 제시합니다.

거대 언어 모델(LLM)의 안전성을 개선하는 과정은 종종 유용성(utility)을 희생시키는데, 이는 전역적으로 적용된 안전 튜닝이 유해한 입력뿐만 아니라 온건한 입력에 대한 모델 반응까지 영향을 미치기 때문입니다. 본 연구는 이러한 안전성과 유용성 간의 상충 관계를 해결하기 위해 연속 잠재 어댑터 라우팅(Continuous LatEnt Adapter Routing, CLEAR)이라는 조건부 안전 적응 프레임워크를 제안합니다.

CLEAR는 경량의 은닉 상태 게이트를 사용하여 안전 저차원 어댑터의 활성화 강도를 지속적으로 제어함으로써 유해한 완성은 줄이면서 고정된 백본(backbone)에 불필요한 변경을 피하여 온건한 프롬프트에 대한 성능 저하를 방지하는 것을 목표로 합니다. 이는 안전성 확보와 모델 성능 유지라는 두 가지 목표를 동시에 달성하고자 합니다.

다양한 안전 및 유용성 벤치마크 실험 결과, CLEAR는 전역적 안전 튜닝(SFT 또는 표준 LoRA)에서 관찰되는 유용성 저하를 줄이면서 HarmBench에서의 견고성을 향상시켰습니다. 특히 Llama-3-8B-Instruct 모델에서 CLEAR는 HarmBench ASR을 32.3%에서 0.5%로 감소시켰으며, 기본 모델의 유용성을 대부분 유지하면서 전역적 방법보다 최대 7.1퍼센트 포인트 더 높은 GSM8K 정확도를 달성했습니다.

이러한 결과는 CLEAR가 LLM 정렬에서 안전성과 유용성의 균형을 개선하는 데 유망한 메커니즘임을 시사합니다. 개발자는 CLEAR를 통해 모델 안전성을 높이면서도 모델의 핵심 성능을 보존할 수 있는 방법을 찾을 수 있습니다.

성숙 과정에서 중요한 세 가지 깨달음을 정리한 글입니다. 첫째는 자신의 보상 구조를 이해하고 모든 생각을 맹신하지 않는 것입니다. 개인의 행동과 믿음은 자기 이익을 충족시키려는 욕구에 의해 형성되므로, 자신의 행동에 대한 서사를 구성할 때 자신이 영웅이 되려는 욕구와 기본적인 욕구를 동시에 만족시키려 한다는 점을 인식해야 합니다. 따라서 자신의 신념과 행동에 대해 비판적으로 검토하고, 자신이 이 이야기 속에서 악당이 될 가능성은 없는지 숙고하는 것이 중요합니다.

둘째, 단일 원인 결정론은 컴퓨터 디버깅 영역을 제외하고는 환상이며, 모든 것은 확률적이고 다원인적이라는 점입니다. 이는 컴퓨터 과학자들이 확률이나 경험적 근거 없이도 많은 것을 성취할 수 있었던 배경이 되며, 모델 정렬과 같은 분야에서도 완벽하게 정렬된 모델조차 추론 과정에서 무작위적인 비트 플립의 영향을 받을 수 있음을 시사합니다. 따라서 시스템을 이해할 때 결정론적 사고에서 벗어나 다중 원인과 확률적 행동을 고려해야 합니다.

마지막으로 이성 대 감정의 이분법은 신경과학이나 논리에 근거하지 않은 문화적 구성물입니다. 감정적 가치 부여는 의사 결정 기계의 일부이며, 정보를 더 많이 활용하여 결정을 내릴 때 감정을 배제하는 것은 오히려 결정의 질을 떨어뜨릴 수 있습니다. 따라서 의사 결정에 감정을 포함한 모든 정보를 통합하는 것이 현명한 접근 방식이라는 점을 이해해야 합니다.

전기 스쿠터를 원격으로 잠금 해제하는 시스템은 복잡한 암호화나 희귀한 암호학적 결함이 아닌, 사용자 인증 및 권한 관리의 취약점에서 공격이 발생했습니다. 공격자는 도메인 열거를 통해 워드프레스 마케팅 사이트와 운영자 패널을 발견하고, 이를 통해 사용자 정보를 확보했습니다.

이후 공격자는 사용자 ID를 확인한 뒤 반복적인 로그인 시도(무차별 대입 공격)를 통해 운영자 계정의 비밀번호를 알아냈습니다. 이 과정에서 속도 제한(rate limiting)이 없었기 때문에, 단 하나의 사용자 정보와 추측 가능한 비밀번호만으로도 시스템에 접근할 수 있었습니다.

성공적으로 인증을 획득한 후, 공격자는 관리자 권한(Level 1000)을 가진 JWT 토큰을 얻었고, 이 토큰은 약 950일 동안 유효했습니다. 이 권한을 이용하여 공격자는 차량 위치, 도킹 스테이션, IoT 장치 목록, 심지어 원격 잠금 해제 명령까지 실행할 수 있는 운영 패널에 접근했습니다.

결론적으로, 이 취약점은 워드프레스의 사용자 노출, 취약한 비밀번호, 그리고 권한 분리 부족이라는 여러 문제들이 쌓여 발생한 것입니다. 단 하나의 관리자 자격 증명만으로도 물리적 하드웨어 제어권을 획득할 수 있었으며, 이는 무단 차량 사용, 사기, 운영 손실 및 물리적 위험으로 이어질 수 있습니다.