읽을 가치가 있는 기사만, 짧고 또렷하게.

정부 조사 결과, 티빙 약 3,954만 계정의 정보와 소스코드가 유출된 사실이 확인되었습니다. 이 유출에는 현재 이용 중인 계정뿐만 아니라 휴면 또는 탈퇴한 비활성 계정도 포함되어 있습니다.

유출된 정보에는 이름, 휴대전화번호, 이메일, 생년월일, 결제 이력 등 총 20개 항목과 70종의 개인 정보가 포함되어 있으며, 일부 개인정보는 암호화키로 보호되고 있습니다. 이는 대규모 사용자 데이터가 외부로 유출되었음을 의미합니다.

피해를 입은 사용자들은 보상을 받기 위해 직접 신청해야 합니다. 해당 정보 유출과 관련하여 구체적인 보상 절차 및 방법은 별도로 안내될 예정입니다.

개인 개발자가 운영하는 2026학년도 수능 LLM 평가에서 GPT-6 Astra가 처음으로 종합 450점 만점을 기록하며 주목받고 있습니다. 이 성과는 LLM이 단순한 정보 처리 능력을 넘어 복잡한 다중 영역의 추론 및 지식 통합 능력을 입증했다는 점에서 의미가 큽니다.

GPT-6 Astra는 국어와 수학의 모든 선택과목, 영어, 한국사, 그리고 평가 대상 탐구 4과목을 모두 맞혔습니다. 특히 기존 모델들이 어려움을 겪었던 사회문화 8번 문제까지 해결함으로써, 모델이 고난도 지식과 추론을 얼마나 정확하게 처리할 수 있는지 보여주었습니다.

이번 평가는 LLM이 실제 수능과 같은 고차원적인 학업 성취 벤치마크에서 요구되는 깊이 있는 이해와 문제 해결 능력을 갖추었는지 측정했다는 점에서 중요합니다. 이는 향후 LLM이 교육 및 복잡한 전문 지식 영역에서 어떤 수준의 성능을 발휘할 수 있을지에 대한 중요한 기준을 제시합니다.

Salesforce와 Docusign 같은 기존 소프트웨어 기업들이 데이터를 보관하는 곳에서 업무를 직접 수행하는 AI로 확장하고 있습니다. 이러한 움직임은 일부 업무가 기존 시스템과 범용 에이전트의 결합만으로도 충분히 해결될 수 있음을 시사합니다.

하지만 계약서를 관리하는 작업과 법률 사안을 해결하는 작업은 본질적으로 다르다는 점을 고려해야 합니다. 따라서 특화된 AI 스타트업들은 범용 에이전트가 해결하기 어려운 고도의 전문 영역에서 경쟁 우위를 확보해야 합니다.

기존 강자들이 AI를 통해 업무 프로세스를 확장하면서, 특화 AI 스타트업들은 특정 도메인에 깊이 있는 전문성을 제공함으로써 시장에서 차별화된 위치를 찾아야 하는 과제를 안고 있습니다. 이는 단순히 범용 AI 기술을 넘어 특정 산업이나 법률 영역에 특화된 솔루션 개발이 중요함을 의미합니다.

셀프 호스팅 데이터베이스 백업 도구인 Databasus는 백업된 데이터가 실제로 복원되는지까지 자동으로 확인하는 기능을 제공합니다. 이 도구는 백업 일정, 저장 위치, 보관 기간을 관리할 수 있어 데이터 관리의 효율성을 높여줍니다.

Databasus는 PostgreSQL, MySQL, MariaDB, MongoDB 등 다양한 데이터베이스에 대한 논리 백업을 지원합니다. 특히 PostgreSQL 환경에서는 전체 백업과 증분 물리 백업은 물론 특정 시점 복구(PITR) 기능까지 지원하여 데이터 복구의 신뢰도를 높입니다.

PostgreSQL의 경우 WAL 변경 사항을 활용하여 특정 시점 복구를 가능하게 하며, 이는 데이터 손실 위험을 최소화하고 복구 프로세스의 정확성을 보장합니다. 개발자는 이 도구를 통해 백업 데이터의 무결성을 자동으로 검증받으며 안정적인 데이터 관리 환경을 구축할 수 있습니다.

기존 시스템과 조직 구조가 자리 잡은 브라운필드 기업의 AI 전환은 기술적인 측면뿐 아니라 조직 내에서 자신의 역할과 팀의 권한을 정체성으로 여기는 근본적인 문제에 직면해 있습니다. AI 도입이 개인의 업무 처리 속도를 빠르게 만들었음에도 불구하고, 조직 구조가 그대로 유지되면서 발생하는 비효율성이 핵심 과제로 떠오르고 있습니다.

AI를 통해 담당 업무를 신속하게 처리할 수 있게 되었더라도 다른 팀의 승인이나 백로그를 기다려야 하는 상황이 발생하면 조직 경계를 넘는 순간 병목 현상이 발생합니다. 이는 개인의 생산성 향상과 조직의 프로세스 제약 사이의 괴리를 보여주는 사례입니다.

따라서 성공적인 AI 전환을 위해서는 단순히 기술을 도입하는 것을 넘어, AI가 조직 내에서 어떻게 작동하고 권한을 행사할지에 대한 명확한 정체성과 프로세스 재정립이 필수적입니다. 조직 구조와 AI 워크플로우 간의 불일치를 해소해야만 AI가 진정한 의미의 조직 효율성을 높이는 데 기여할 수 있습니다.

Asahi Linux의 M3 지원 코드가 설치 프로그램에 병합되어 M3, M3 Pro, M3 Max 기반의 MacBook과 iMac에서 사용 가능해졌습니다. 이로써 M3 기반 Apple Silicon 기기에서도 Asahi Linux를 구동할 수 있는 환경이 확장되었습니다.

이 업데이트를 통해 M1 및 M2에서 지원되던 대부분의 기능들이 M3 환경에서도 정상적으로 작동합니다. 특히 웹캠, 내장 마이크, WiFi, Bluetooth 연결 기능은 물론 최대 USB 3 10Gb/s 속도 지원이 가능해졌습니다.

또한, AV1 하드웨어 가속 디코딩 기능도 지원 범위에 포함되었습니다. 이는 하드웨어 레벨의 미디어 처리 성능을 Linux 환경에서 활용할 수 있게 함을 의미합니다.

Go 소스를 LLVM으로 컴파일하여 C 및 Python 생태계의 라이브러리를 함께 사용할 수 있도록 만든 새로운 컴파일러인 LLGo가 소개되었습니다. 이 컴파일러는 Go 개발자가 C와 Python 라이브러리를 효율적으로 활용할 수 있도록 설계되었습니다.

LLGo는 Go 소스를 LLVM 기반으로 컴파일하며, C 라이브러리와는 C ABI 공통 호출 규약(C ABI common calling convention)을 통해 연결하는 방식으로 작동합니다. 이를 통해 개발자는 C 함수를 직접 호출할 수 있게 되어 일반적인 Go의 cgo에서 발생하는 스택 관련 문제들을 해결할 수 있습니다.

이러한 개선은 Go 환경에서 C 및 Python 라이브러리와의 상호 운용성을 크게 향상시켜, 복잡한 시스템 프로그래밍 환경에서 라이브러리 통합의 효율성을 높이는 데 기여합니다. LLGo는 Go 개발자가 C와 Python 생태계의 강력한 기능을 더 쉽게 통합할 수 있도록 돕는 것을 목표로 합니다.

GPT-6 Astra는 ARC-AGI-3의 동일한 High 추론 설정에서 하네스(Harness)를 적용했을 때 54.8%와 99.9%의 결과를 기록했습니다. 이는 장기 실행 에이전트의 성능을 평가할 때 단순히 모델 자체의 능력뿐만 아니라 시스템 전체를 고려해야 함을 시사합니다.

이러한 결과는 장기 실행 에이전트가 모델 성능 외에도 메모리, 도구, 문맥 관리, 제어 루프를 포함하는 통합 시스템으로 평가되어야 함을 의미합니다. 요청 사이에 이전 추론 상태를 보존하는 기능은 이러한 시스템적 관리가 필수적임을 보여줍니다.

따라서 개발자들은 에이전트 시스템을 구축할 때 모델 성능뿐만 아니라 메모리 관리와 문맥 보존 메커니즘을 핵심적인 평가 요소로 포함해야 합니다. 이는 실제 환경에서 안정적이고 장기적으로 작동하는 에이전트를 설계하는 데 중요한 맥락을 제공합니다.

LG 스마트 TV와 관련된 216M 스파이 TV 문제에 대한 논의가 올라왔습니다. 이 영상은 LG 스마트 TV에 내재된 특정 문제에 대해 개발자 커뮤니티에서 제기된 이슈를 다루고 있습니다.

해당 논의는 LG 스마트 TV 시스템에서 발생하는 특정 기술적 문제와 관련된 것으로 보입니다. 구체적으로 어떤 기술적 결함이나 구현상의 문제가 스마트 TV 기능에 영향을 미치는지에 대한 내용이 포함되어 있을 것으로 예상됩니다.

개발자들은 이 문제를 통해 하드웨어와 소프트웨어 간의 상호작용 또는 펌웨어 수준의 구현 오류가 스마트 TV 경험에 미치는 영향을 분석하고 있습니다. 따라서 해당 영상을 통해 스마트 TV 관련 시스템의 안정성과 구현 방식에 대한 심도 있는 논의를 확인할 수 있습니다.

MathKernel은 LLM을 위한 증거 인식 다중 엔진 수학 런타임으로, 정확한 계산뿐만 아니라 기호적, 형식적, 인증된 구간 및 수치 계산을 지원합니다. 이 시스템은 타입이 지정된 MathIR, 신뢰 레이블, 그리고 전체 출처(provenance)를 통해 수학적 증거를 보존하는 것을 목표로 합니다. 이는 LLM이 수학적 의도를 해석하는 데 강점을 보이지만 실제 산술 계산에는 취약하다는 점을 보완하며, 수학적 결과에 명시적인 신뢰 수준과 엔진 태그, 그리고 도출 경로를 부여합니다.

MathKernel의 핵심은 수학적 증거를 계산과 분리하는 데 있습니다. 모델이 의도를 해석하는 반면, 커널은 실제 수학적 증거를 계산하고 기록하는 역할을 수행합니다. 이는 단일 신뢰 레이블만으로는 충분하지 않으며, 독립적인 인증이나 교차 확인을 통해 증거 묶음을 관리합니다. 다양한 수학 분야를 처리하기 위해 미분 경로, 기하학, 통계, 편미분 방정식(PDE) 등 여러 엔진을 통합하여 사용합니다.

아키텍처 측면에서 MathKernel은 단일 솔버가 아닌 타입이 지정된 오케스트레이션 계층으로 설계되었습니다. 이 계층은 구문 분석, 컨텍스트, 객체 식별, 출처 구성, 리소스 정책 및 도출 추적을 관리하며, 실제 수학 계산은 도메인 어댑터가 담당합니다. 이러한 분리는 결과가 제시되는 표현 계층이 주장하는 내용을 조용히 변경하는 것을 방지하며, 시스템의 안전성과 무결성을 보장합니다.

또한, 시스템은 강력한 안전 경계를 포함하고 있습니다. 제한된 문법과 알 수 없는 함수는 거부되며, 결과는 경계가 설정된 샌드박스 환경에서 실행됩니다. SQLite 영속성 체크와 SHA-256 검증을 통해 데이터 무결성을 유지하며, 멀티 테넌트 격리는 외부 워커 또는 샌드박스 계층에 위임됩니다.

소프트웨어는 건물과 달리 물리적인 붕괴 한계가 없기 때문에 시스템이 계속 작동하는 동안에도 복잡성과 성능 저하가 끝없이 누적될 수 있습니다. 이러한 특성 때문에 코드가 나빠지는 데에는 실질적인 한계가 없다는 점이 중요합니다.

실제로 Amazon 주문 처리 조직과 같은 대규모 시스템에서는 지식 소실과 미완료 재설계가 반복되는 악순환이 발생합니다. 이 과정에서 기존 구조에 새로운 계층과 인력이 계속 남게 되면서 시스템의 복잡성이 더욱 심화됩니다.

이러한 현상은 시스템이 지속적으로 운영되는 과정에서 발생하는 구조적 문제와 관리의 어려움을 보여줍니다. 따라서 개발자와 시스템 설계자는 단순히 기능 구현을 넘어, 시스템의 복잡성과 성능 저하가 어떻게 누적되는지 인지하고 구조적인 개선 방안을 모색해야 합니다.

하나의 언어 모델이 컨텍스트를 다시 읽지 않고 다른 모델에게 실시간 메모리를 전달할 수 있는지에 대한 연구를 제시합니다. 연구진은 아키텍처가 일치하는 Qwen3.5 4B와 9B 모델 쌍에서 지속적인 하이브리드 상태 전송을 성공적으로 입증했습니다. 이는 목표 접두사 재생 없이 서로 다른 크기의 하이브리드 언어 모델 간에 지속적인 순환 추론 상태를 교차 전달하는 최초의 사례로 알려져 있습니다.

이 연구는 Gated DeltaNet(GDN) 지속 상태 패키지를 추가함으로써 성능을 개선했습니다. GDN을 적용했을 때 교사 강제 음성 로그 우도(NLL), 즉 평균 다음 토큰 로그 손실이 토큰당 0.747 nats만큼 감소했으며, 이는 64개의 PG19 문서 모두에서 개선되었습니다. 또한, 직접적인 순환 및 컨볼루션 재사용 방식이 학습된 GDN 맵보다 우수한 성능을 보였습니다.

추가적인 정제 과정을 거친 결과, 보정된 9B 모델은 이전 4B 모델의 추론을 계속하는 것보다 훨씬 우수한 성능을 보였습니다. 이 결과는 9B 모델이 역사적 접두사 토큰을 0개로 처리하면서도 4B 모델보다 크게 앞선 성능을 달성했음을 의미합니다. 다만, 이 증거는 한 방향의 실험, 기하학적으로 일치하는 베이스 모델 쌍, 그리고 4K 교사 강제 연속에 국한됩니다.

연구 결과에도 불구하고, 거의 네이티브 게이트는 실패했으며 16K 분기는 실행되지 않았습니다. 따라서 자유 생성 동등성이나 일반적인 상태 인터페이스는 아직 입증되지 않았으므로, 지속 상태 전송의 일반적인 기능성에 대해서는 추가적인 검증이 필요합니다.

언어 모델은 시간이 지남에 따라 들어오는 정보를 내재화하고 후속 업데이트를 통해 이를 유지해야 하는 과제를 안고 있습니다. 이러한 문제를 연구하기 위해 본 논문은 장기 기억(long-horizon memorization)이라는 설정을 도입했는데, 이는 모델이 이전 훈련 예시를 보존하지 않으면서 지속적인 지도 미세 조정(continual supervised fine-tuning)을 통해 100개의 질의응답 작업을 학습하는 환경을 의미합니다. 순차적인 업데이트는 대참적인 망각(catastrophic forgetting)을 유발하며, 평가된 어떤 단일 지속 학습 메커니즘도 이 장기 기억 수준에서 강력한 보존을 유지하지 못한다는 점을 확인했습니다.

연구진은 망각의 상보적인 원인을 다루는 메커니즘들을 결합할 때 더 효과적일 것이라는 가설을 제시했습니다. 이들은 이러한 조합을 두 가지 설계 차원, 즉 각 업데이트가 보존해야 할 이전 정보(데이터, 함수, 가중치 앵커)와 연속적인 업데이트가 보존될 위치(저랭크 할당 규칙)를 기준으로 조직했습니다.

이 가설을 체계적으로 검증하기 위해 세 가지 구별된 100개 작업 기억 데이터셋을 구축했습니다. 그 결과, 모든 앵커를 병합 LoRA와 결합한 방법이 가장 우수한 성능을 보였으며, 이는 기존의 순차적 미세 조정 방식보다 최종 보존율을 1.2%에서 34.9%로 28배 향상시켰습니다. 데이터 앵커와 병합 LoRA가 가장 큰 평균 이득을 제공했으며, 이들은 세 데이터셋 모두에서 상호 가산적으로 작용하여 개별 메커니즘이 달성할 수 있는 수준을 훨씬 뛰어넘는 장기 기억 능력을 보여줍니다.

인공지능이 연구 협업을 어떻게 조용히 변화시키고 있는지에 대한 논의가 필요합니다. 이 글은 자율주행 기술인 웨이모(Waymo)의 사례를 통해, 마찰 없는 기술이 인간과의 상호작용에서 발생하는 마찰을 제거할 때 우리가 얻는 이득과 그 대가에 대해 탐구합니다. 저자는 이러한 마찰 제거가 결국 우리가 의도하지 않았던 중요한 대화와 협업 기회를 상실하게 만든다고 지적합니다.

웨이모 효과란 기술이 다른 인간과의 관계에서 발생하는 마찰을 제거할 때, 그 제거를 순수한 이득으로 경험하게 되는 현상을 의미합니다. 이는 편리함이 제공하는 이점은 명확하지만, 그 편리함을 얻기 위해 포기해야 했던 인간적인 상호작용의 비용은 간과하게 만드는 경향이 있습니다. 예를 들어, 택시 기사와의 대화에서 발생하는 사교적 노력이나 비공식적인 의견 교환은 편리함 뒤에 숨겨지며 사라집니다.

이러한 논리는 연구 분야에도 그대로 적용됩니다. 대규모 언어 모델(LLM)은 지적 삶의 웨이모와 같으며, 연구자들은 협업을 위해 시간대나 일정에 구애받는 인간 동료 대신 LLM을 활용할 수 있게 되었습니다. 그러나 연구의 본질은 단순히 결과물의 속도나 양이 아니라 기여와 함께 생각하는 과정에 있으며, 이 과정에서 발생하는 비구조화된 대화와 의견 교환이 중요합니다.

따라서 연구 리더들은 이제 누가 운전대를 잡고 있는지, 즉 연구 과정에서 협력자가 제거되는 것이 아닌, 협력자 자체가 제거되는 상황을 인식해야 합니다. 앞으로 연구는 승객의 편안함에 초점을 맞춘 과학이 아닌, 선두 주자의 과학이 되어야 하며, 우리는 이 편리한 기술 뒤에 무엇이 빠져 있는지 질문해야 합니다.

GPT 6 모델인 Astra를 활용한 코딩에 대해 우리는 왜 반복하고 있는가라는 질문을 던지고 있습니다. 저자는 AI 엔지니어링이 내재적 경쟁과 노력만 요구하고 결과물 개선이 없는 '내권(Involution)'의 시스템과 같다고 주장합니다. Astra는 매우 인상적인 모델이지만, 현재로서는 실제 소프트웨어 엔지니어링에 적용하는 방법을 알지 못합니다.

저자는 Astra를 활용하여 소프트웨어 공장(software factory)을 운영하는 실험을 진행했는데, 이 과정에서 모델이 워크플로우를 완전히 결정하게 하고 에이전트들이 코드를 생성하도록 했습니다. 이 실험 결과, 모델은 많은 코드와 입력 프롬프트를 생성했지만 실제 가치 있는 결과물이나 더 나은 모델 운영 방법을 가르쳐주지는 못했습니다. 이는 모델이 장기 목표 달성에는 보상을 받지만 '형편없는 코드'에 대한 처벌이 거의 없기 때문에 발생하는 현상으로 분석됩니다.

또한 Astra가 도구 호출에 Python을 지나치게 선호하며, 심지어 TypeScript 코드 내에서 Python 문자열 삽입을 통해 C 코드를 수정하는 등 이상한 코드를 생성하는 것을 발견했습니다. 이는 모델의 훈련 과정에 뭔가 잘못되었을 가능성을 시사하며, 코드의 품질에 대한 신뢰도를 떨어뜨립니다.

결론적으로 저자는 Astra와 같은 모델이 소프트웨어 엔지니어링의 현실적인 프로세스에 적합한지 회의적입니다. 이러한 모델들은 법률가, 3D 아티스트 등 다른 사용자들에게 더 많은 기회를 제공하며, 사용자가 코드를 신경 쓰지 않고 주말에 3D 게임을 만들거나 소프트웨어 공장을 운영하는 등의 결과물을 얻게 합니다. 따라서 비용과 성능을 고려했을 때, 이러한 모델이 현재의 소프트웨어 엔지니어링 환경에 실질적인 이점을 제공하는지에 대해 의문을 제기합니다.

관상동맥 조영술(CAG) 해석은 관찰자에 따라 해석이 크게 달라지기 때문에 진단에 있어 일관성이 부족하다는 문제가 있습니다. 기존 인공지능 시스템은 일관성을 개선할 수 있지만, 의사 결정 과정이 추적 가능하지 않고 포괄적인 개방형 평가에 한계가 있어 임상 적용 준비가 미흡합니다. 이에 연구진은 CAG 파이프라인의 추론 핵심으로 사용되는 통합 대규모 시각-언어 모델인 CARDEA를 개발했습니다.

CARDEA는 공개 데이터셋과 폐쇄형 작업을 세 단계로 훈련시켰는데, 이는 시각적 특징 정렬, 자체 압축된 Chain-of-Box(CoB) 콜드 스타트, 그리고 검증 가능한 보상을 사용한 강화 학습(RLVR)을 포함합니다. 특히 CoB 보상은 추론 과정에서 바운딩 박스 사용을 장려하여 공간적 증거를 명확히 드러냅니다. 이 모델은 두 가지 연구 수준 진단, 즉 지배 분류와 복잡성 평가를 통해 전용 분류기 및 두 명의 중재 시술 전문의와 비교 평가되었습니다.

CARDEA는 최종 보고서 생성 과정을 훈련에서 제외하고 외부 코호트에서 평가했으며, RLVR을 통해 도출된 결과는 기존 모델보다 향상되었습니다. 특히 보고서 생성 능력은 감독 모방 방식으로는 달성할 수 없었던 개방형 보고 능력을 보여주었으며, 용적 심각도 macro-F1 점수는 0.686으로 조정되지 않은 기본 모델(0.513)보다 높고 항상 정상 범위(0.312)보다 두 배 이상 높았습니다.

CARDEA는 원시 멀티뷰 비디오에서 연구 수준 진단까지의 전체 CAG 파이프라인을 수행하면서 결론 뒤에 추적 가능한 공간적 증거를 노출합니다. 그러나 임상적 사용을 위해서는 전문가 심장 전문의와의 전향적 검증이 반드시 필요합니다.

대규모 시각-언어 모델(LVLM)은 다양한 시각 작업에서 강력한 성능을 보였지만, 2D 이미지에 담긴 장면의 3차원 구조를 재구성하고 추론하는 능력, 즉 공간 지능(spatial intelligence)은 여전히 제한적입니다. 기존 접근 방식들은 실제 장면 공간 질문 응답 데이터셋을 사용하지만, 이러한 데이터셋을 구축하기 위해서는 조밀한 기하학적 주석이 필요하여 비용이 많이 들고 노이즈가 발생하기 쉽습니다.

이에 본 연구는 인간의 인지 발달에서 영감을 받아 구조화된 블록 조작 과제를 통해 기본적인 공간 기술을 학습하는 새로운 패러다임을 제안합니다. 이를 위해 3차원-2차원 투영, 시점 변환, 구조 결합을 다루는 15,000개의 블록 쌓기 문제로 구성된 합성 데이터셋인 SpatialBlock-15k를 도입했습니다. 이 데이터셋은 시각적으로 복잡한 조건에서 앵커 기반 추론을 장려하기 위해 제어된 색상 변조를 시각적 단서로 추가했습니다.

실험 결과, 이 데이터셋으로 학습된 LVLM은 직접적인 답변이나 추론 기반 예측을 통해 기존 모델들보다 현저히 우수한 성능을 보였으며, 합성적이고 간결한 데이터셋임에도 불구하고 실제 세계의 공간 작업에 일반화되는 능력을 입증했습니다. 이 연구는 LVLM이 실제 공간 지능을 갖추도록 훈련하는 데 있어 비용 효율적이고 구조화된 학습 방법이 효과적임을 보여줍니다. 관련 코드와 데이터는 GitHub에서 공개되어 있습니다.

최근 텍스트-투-비디오 및 이미지-투-비디오 모델로 생성된 완전히 합성된 클립을 탐지하기 위한 새로운 벤치마크인 DF26이 소개되었습니다. 이 벤치마크는 직접 카메라 녹화, 공식 성명, 스튜디오 인터뷰 등 단일 인물의 공개 연설 시나리오를 포함하는 비디오를 다루며, 총 271개의 실제 비디오와 2,420개의 합성 비디오로 구성되어 있습니다.

이 연구 결과는 일곱 가지 최신 비디오 모델로 생성된 비디오를 사용하여 진행되었으며, 현재의 평가 프로토콜과 인간의 탐지 능력, 그리고 최첨단 딥페이크 탐지기의 성능이 무작위 추측과 거의 같다는 것을 보여줍니다. 이는 현재의 평가 방식이 생성 모델의 분포 변화에 대한 견고성을 측정하는 데 한계가 있음을 시사합니다.

따라서 연구진은 현대적인 생성 모델의 분포 변화에 대한 견고성을 명시적으로 측정하는 벤치마크의 필요성을 강조하고 있습니다. DF26은 현재의 평가 한계를 극복하고 AI 생성 비디오 탐지의 신뢰성을 높이기 위한 새로운 기준을 제시합니다.

AI 연구 에이전트는 사전 지식, 공개 출처, 실험적 피드백을 결합하여 유용한 결과를 도출합니다. 이 발견 인증 프로토콜(DCP)은 이러한 결과에 대한 주장을 실행 가능한 복구 및 피드백 테스트로 전환합니다.

DCP는 여러 단계의 게이트를 통해 연구 결과의 신뢰성을 검증합니다. 첫 번째 게이트는 봉인된 평가에서 유용한 개선을 검증하며, 두 번째 게이트는 일치하는 에이전트에게 등록된 시작 정보와 관찰된 웹 콘텐츠를 제공하면서 목표 연구 기록은 숨깁니다. 유효한 방법이 수치적 목표에 도달하면 복구 증거를 제공하고 핵심 거부(Core veto)를 촉발합니다.

핵심(Core) 요구 사항은 적절한 통제, 관찰된 복구 없음, 그리고 한 번의 새로운 등록된 에피소드에서 복구에 대한 유한 샘플 경계를 요구합니다. 선택적 게이트 3은 공유 체크포인트에서 지정된 중립 정책에 대한 진실된 피드백의 평균 효과를 측정합니다.

두 번의 통제된 감사에서 SQLite 최적화 및 가상 촉매 제어 하에 전체 프로토콜이 실행되었으며, 각 감사에서 96 에피소드 동안 복구는 0건이었고 상한값은 0.0468이었습니다. 또한, 쌍별 연구는 30건의 진실된 복구와 0건의 중립 복구를 산출했으며, 60쌍의 무효 연구를 통과했습니다. 이 프로토콜은 AI 연구 전반에 걸쳐 유용한 결과, 대안 경로, 피드백 효과에 대한 공통의 증거 언어를 제공합니다.

거대 언어 모델(LLM)은 추론 능력을 향상시키기 위해 사전 수집된 추론 경로(reasoning trajectories)를 기반으로 후처리 학습을 진행하는 경우가 많습니다. 이러한 경로들은 정답으로 가는 과정에서 우회 경로를 포함하기 때문에 복잡하고 길게 이어지는 경향이 있습니다. 하지만 이러한 LLM이 지도 미세 조정(SFT)과 같은 후처리 과정에서 완전한 경로를 학습하는 것이 실제로 이점에 도움이 되는지에 대해서는 충분히 탐구되지 않았습니다.

실험 결과에 따르면, 전체 경로를 제공하는 것은 제한적인 이점만을 제공하는 반면, 경로를 대폭 잘랐을 때도 부분적인 경로가 효과적임이 밝혀졌습니다. 또한, 어텐션 기반 분석과 제어된 토큰 제거 연구를 통해 추론 경로의 중간 토큰들이 최종 추론 품질에 미치는 영향이 미미하다는 것을 확인했습니다. 이는 중복된 정보를 피함으로써 LLM이 내부 지식을 활용하여 알려진 경로의 시작점과 끝점을 바탕으로 누락된 단계를 추론하여 일관된 대안을 내부적으로 추론할 수 있게 함을 시사합니다.

나아가, 경로의 끝점(endpoints)을 사용하여 LLM을 훈련하면 추론 행동에 일관된 변화가 발생하며, 이는 강화 학습(RL)이나 온폴리 추illation(on-policy distillation) 기반의 후처리 방법에도 긍정적인 영향을 미칩니다. 따라서 LLM의 추론 경로에 대한 완전한 흔적을 재검토할 필요성이 강조됩니다. 관련 코드는 github에서 확인할 수 있습니다.