RotaryCell: Making an unmodified rotary phone work over LTE with an ESP32-S3

로터리셀 프로젝트는 기존의 회전식 전화기를 원본 전화기에 아무런 수정 없이 LTE 셀룰러 전화기로 변환하는 휴대용 배터리 구동 시스템을 구현했습니다. 이 시스템은 기존의 수화기, 다이얼, 스위치-훅 등 전화기의 원형을 그대로 유지하면서 추가된 전자 부품을 케이스 내부에 역으로 장착할 수 있도록 설계되었습니다.

하드웨어 구현을 위해 ESP32-S3 컨트롤러와 A7670 셀룰러 모뎀을 포함하는 LilyGO T-A7670G-S3 보드를 사용하며, AG1171 인터페이스를 통해 전화선 회로와 기계식 링거를 제어합니다. 현재 작동하는 프로토타입은 수동 배선으로 구현되었으며, 이는 실제 전화선 연결 없이도 휴대용으로 사용 가능한 상태를 보여줍니다.

다만, 현재 통합된 PCB는 아직 조립 및 검증 단계에 있으며, 레포지토리는 완성된 제품이 아닌 작동하는 엔지니어링 아카이브로 제공됩니다. 사용자는 프로토타입 배선 시 공중 전화망이나 전기가 흐르는 설비에 연결하지 않도록 주의해야 하며, 리튬 이온 셀 사용 시 적절한 보호 및 안전 조치가 필수적입니다.

Enoki: Efficient Multi-Level Hallucination Detection

LLM을 고위험 환경에 배포할 때 사실성(factuality)을 보장하는 것은 여전히 중요한 과제입니다. 기존의 환각 탐지기는 주로 주장 수준(claim-level) 방법이나 지원하지 않는 텍스트를 위치 지정하는 스팬 수준(span-level) 방법 중 하나의 수준에서만 작동합니다. 이러한 두 관점을 연결하는 것은 LLM 기반 파이프라인에서 여러 분해 및 검증 호출이 필요하고 모듈 시스템에서는 추가적인 주장-스팬 정렬이 필요하기 때문에 비용이 많이 듭니다.

이에 연구진은 다중 수준 환각 탐지를 위한 오픈 정보 추출 프레임워크인 Enoki를 제안합니다. Enoki는 텍스트에 기반한 관계 사실을 추출하고 이를 증거와 비교하며, 지원하지 않는 사실을 환각된 스팬으로 다시 투영합니다. 이 공유된 표현 방식은 별도의 정렬 작업 없이도 주장 수준 검증과 스팬 수준 위치 지정을 가능하게 합니다.

Enoki는 LLM 기반, 인코더 기반, 규칙 기반 추출 체제를 모두 지원하며 공통 인터페이스를 통해 정확도와 추론 비용 사이의 균형을 맞춥니다. 실험 결과, Enoki는 강력한 주장 수준 시스템과 경쟁할 수 있는 성능을 유지하면서 더 적은 리소스를 사용하며 세밀한 스팬 및 개체 수준 위치 지정에서 우수한 성능을 보였습니다. 또한, EnokiQA라는 이중 세분성 데이터셋을 발표하여 정렬된 주장 수준 검증 및 스팬 수준 위치 지정 주석을 제공합니다.

포스트 AI 데이터 스택의 형태와 사용감

데이터 스택의 진화는 데이터 과학자의 역할을 단일 서버 분석에서 전사 데이터 운영으로 확장시켰습니다. 포스트 AI 시대에는 기업이 무엇을 사실로 받아들이고 무엇을 중요하게 판단할지 설계하는 역할까지 요구됩니다.

코딩 에이전트와 AI 분석 도구의 발전은 분석 생산 비용을 거의 0으로 낮추는 결과를 가져왔습니다. 이러한 변화는 데이터 과학자가 단순 분석을 넘어 기업의 의사결정 구조를 설계하는 전략적 역할로 전환해야 함을 의미합니다.

결과적으로 데이터 스택의 형태와 사용감은 AI 시대에 기업이 데이터를 어떻게 관리하고 활용할지에 대한 근본적인 질문을 던지고 있습니다. 이는 기술적 효율성을 넘어 데이터 기반의 의사결정 체계를 구축하는 것이 핵심 과제가 되었습니다.

AI 칩 아키텍처

단일 스레드 CPU의 성능 증가율이 1980년대 연 52%에서 2018년 3%로 크게 낮아지면서, AI 연산 경쟁은 도메인 특화 아키텍처 중심으로 재편되고 있습니다. 이러한 변화는 범용 CPU가 아닌 특정 작업에 최적화된 하드웨어 설계가 AI 성능 향상의 핵심이 되었음을 의미합니다.

이에 따라 NVIDIA GPU뿐만 아니라 TPU, AMD Instinct, Cerebras WSE, Trainium, Groq LPU와 같이 서로 다른 데이터 이동 방식을 채택하는 다양한 AI 칩 아키텍처들이 경쟁하고 있습니다. 각 아키텍처는 데이터 처리 방식과 효율성을 극대화하기 위해 고유한 설계 철학을 가지고 발전하고 있습니다.

개발자들은 이러한 아키텍처 간의 차이를 이해하고 자신의 워크로드에 가장 적합한 데이터 이동 및 연산 방식을 선택해야 합니다. 따라서 특정 AI 모델의 학습이나 추론 과정에서 데이터 이동 효율성을 고려하는 것이 성능 최적화에 매우 중요합니다.

미군 매점 냉동고가 해킹당한 것 같다

미국 여러 군사시설에서 비슷한 시기에 냉장 및 냉동 설비 장애가 발생하여 최소 6개 시설이 공식적으로 문제를 확인했습니다. 이러한 사건들은 해킹과 관련이 있을 수 있다는 추측이 제기되고 있으나, 현재까지 공통 원인이나 사건 간의 연관성은 밝혀지지 않은 상태입니다.

이러한 장애는 Fort Huachuca와 같은 시설에서 구체적인 조치로 이어졌습니다. 해당 시설에서는 정전 없이도 모든 냉동고가 음식을 가열하는 제상 모드로 전환되었으며, 이때 DeCA 기술이 사용되었습니다.

이 사례는 군사 시설의 냉동 설비 시스템에 대한 잠재적인 보안 취약점이나 외부 공격 가능성을 시사합니다. 하지만 현재로서는 이 여러 사건들이 동일한 원인으로 발생했는지에 대한 명확한 증거는 제시되지 않았으므로, 시스템 관리자들은 잠재적인 보안 위험에 대해 주의를 기울여야 합니다.

2004 RuneScape fit a multiplayer RPG into 56k dial-up

2004 룬스케이프는 56k 다이얼업 환경에서 멀티플레이어 RPG를 구동하기 위해 극도로 효율적인 네트워크 프로토콜을 사용했습니다. 당시 56k 모뎀은 다운로드 속도가 약 5KB/s에 불과했기 때문에, 개발자들은 바이트 낭비를 최소화하는 데 집중하여 시스템을 설계했습니다.

이 시스템은 Java 앱릿과 단일 TCP 연결 위에서 작동했으며, 모든 데이터는 단일 TCP 연결을 통해 전송되었습니다. 서버는 약 600밀리초 주기의 사이클로 작동하며, 각 사이클마다 모든 플레이어에게 보여야 할 정보를 계산하고 전송해야 했습니다. 특히 패킷의 오프코드(opcode)는 스트림 암호인 ISAAC을 사용하여 암호화되었으며, 클라이언트와 서버 간의 통신 방향을 분리하기 위해 키에 50을 더하는 방식으로 스트림을 분리했습니다.

데이터 전송 시에는 경로 탐색을 통해 생성된 패킷의 길이를 나타내는 길이 바이트가 포함되어 서버가 데이터를 읽을 위치를 알 수 있게 했습니다. 이러한 설계는 두 프로그램이 네트워크를 단일 애플리케이션의 구현 세부 사항으로 취급하여 함께 작성되었기 때문에 가능했습니다.

결론적으로 이 프로토콜은 대역폭보다는 팀과 변경 속도에 의해 제약되는 현대의 웹 서비스와는 대조적입니다. 현대 서비스는 JSON을 통한 HTTP 통신처럼 많은 바이트를 사용하지만, 이는 독립적인 배포와 디버깅을 가능하게 하는 유연성을 제공합니다. 따라서 시스템이 바이트에 의해 제약받는 경우, 모든 바이트가 실제로 중요하게 작용하도록 설계하는 것이 더 나은 접근 방식입니다.

Hister - 방문한 웹페이지와 로컬 파일을 다시 찾는 개인 검색엔진

방문했던 웹페이지와 로컬 파일의 본문 전체를 색인하여 검색할 수 있는 개인 검색 엔진인 히스터(Hister)에 대한 내용입니다. 기존의 브라우저 기록이 제목과 URL만을 남기는 것과 달리, 히스터는 사용자가 페이지 내에서 실제로 읽었던 문장과 정보를 다시 검색할 수 있는 기능을 제공합니다.

이 검색 엔진은 단순한 링크 기록을 넘어 사용자가 특정 웹페이지에서 어떤 정보를 습득했는지에 초점을 맞춥니다. 따라서 사용자는 단순히 방문 기록을 확인하는 것을 넘어, 과거에 읽었던 구체적인 내용이나 보관 중인 로컬 파일 속의 세부 정보를 효율적으로 찾아낼 수 있게 됩니다.

이러한 기능은 Firefox나 Chrome 확장 프로그램 형태로 제공되어 사용 편의성을 높입니다. 확장 프로그램은 새로 방문한 페이지를 자동으로 색인하고 관리하는 기능을 수행하며, 이를 통해 사용자는 복잡한 웹 콘텐츠 속에서 필요한 정보를 즉각적으로 재검색할 수 있습니다.

Starboard - macOS Dock 옆에 항상 붙어 있는 터미널

macOS Dock 옆에 항상 표시되는 터미널을 제공하는 Starboard에 대한 소식입니다. 이 도구는 일반적인 단축키를 통해 불러오는 드롭다운 터미널과는 달리, Dock의 위치와 높이를 실시간으로 따라가며 모든 Space 및 전체 화면 앱 위에서도 터미널을 표시합니다.

이러한 설계는 사용자가 다른 앱을 사용하는 도중에 터미널에 접근할 때 포커스를 빼앗지 않고 필요할 때 즉시 명령을 입력할 수 있도록 돕습니다. 이는 개발 작업 중 컨텍스트 스위칭을 최소화하여 작업 흐름을 유지하는 데 매우 유용합니다.

Starboard는 Dock과의 연동을 통해 터미널을 항상 시각적으로 접근 가능하게 함으로써, 개발자가 여러 애플리케이션을 동시에 사용할 때 효율적인 명령 입력 환경을 제공합니다. 따라서 이 기능은 macOS 환경에서 터미널 사용의 접근성과 편의성을 크게 향상시키는 데 중점을 두고 있습니다.

Lachy Groom backs Indian startup aiming to keep aircraft aloft for a year

투자자 라키 그룸이 인도 스타트업 알테온에 투자하여 비행기를 1년 이상 공중에 띄우는 것을 목표로 하는 프로젝트를 지원했습니다. 알테온은 20세의 삼아이 상스휘가 설립했으며, 알바트로스가 바람에서 에너지를 추출하는 기술인 다이내믹 소어링(dynamic soaring)에서 영감을 받은 자율 항공기를 개발하고 있습니다. 이들은 해양 바람으로부터 에너지를 수확하여 연료나 배터리 없이 비행을 지속하는 것을 목표로 합니다.

알테온은 초기에는 해상 감시를 위해 이 항공기를 사용할 계획이며, 이는 정부에 해역 활동에 대한 실시간 시야를 제공할 수 있습니다. 이 항공기는 해수면 위에서 바람의 난류를 이용해 에너지를 추출하는 방식으로 작동하며, 궁극적으로 프로펠러를 터빈으로 전환하여 에너지를 전기 에너지로 변환하려는 계획입니다.

하지만 이 기술은 아직 실현되지 않았으며, 항공기가 다이내믹 소어링을 통해 지속적으로 비행할 수 있음을 입증하지는 못했습니다. 연구 결과는 저고도 비행이 유망한 첫 결과라는 평가를 받았으나, 실제 바람에서 충분한 에너지를 안정적으로 추출하여 장기간 비행을 유지하는 것이 가장 큰 도전 과제입니다.

특히 항공기가 난류, 파도, 물보라 등 실제 환경 조건 속에서 지속적으로 에너지를 수확하고 반응해야 하는 점이 기술적 난이도를 높입니다. 전문가들은 실제 비행 테스트를 통해 이러한 도전 과제들이 해결될 수 있을 것으로 보지만, 이는 기술적 위험을 수반하는 야심 찬 목표임을 인정하고 있습니다.

11줄 코드로 만드는 더 나은 SQL

UCLA RePL이 개발 중인 Prela는 데이터를 이항 관계로 표현하고 합성하여 복잡한 SQL 질의를 더 짧고 읽기 쉽게 작성할 수 있도록 돕는 시스템입니다. 이 기술은 기존의 긴 SQL 코드를 간결하게 만들고 데이터 관계를 명확하게 표현하는 것을 목표로 합니다.

Prela는 넓은 테이블을 6NF 방식으로 분해하는 접근 방식을 사용합니다. 이 방식은 각 열을 행 번호와 값의 쌍으로 변환하여 데이터의 이항 관계를 명확히 정의합니다. 이를 통해 데이터 관계를 여러 출력을 가질 수 있는 비결정적 함수처럼 다루어 복잡한 데이터 연산을 효율적으로 처리할 수 있게 됩니다.

이러한 접근 방식은 데이터베이스 설계와 쿼리 작성의 복잡성을 줄여 개발자들이 더 직관적이고 효율적인 SQL을 작성할 수 있도록 지원합니다. Prela는 데이터의 구조적 관계를 SQL 표현에 직접 반영함으로써 데이터 분석 및 조작의 생산성을 높이는 데 기여할 것으로 기대됩니다.

조정의 역풍: 조직은 어떻게 점균류와 닮았는가

조정의 역풍이라는 제목의 기사는 조직의 역동성과 점균류의 생장 방식을 비교하며 조직이 어떻게 성장하고 변화하는지에 대한 비유적인 분석을 제시합니다. 이는 조직 내에서 발생하는 조정 과정이 예상치 못한 역풍을 맞을 때 내부 구조가 어떻게 반응하고 적응하는지를 탐구하는 내용입니다.

이 글은 단순히 조직 구조를 설명하는 것을 넘어, 생물학적 시스템인 점균류의 성장 패턴을 통해 복잡한 조직 시스템의 역학을 이해하는 통찰을 제공합니다. 조직이 외부 환경 변화에 어떻게 반응하며 내부적으로 균형을 맞추는지에 대한 새로운 관점을 제시합니다.

이러한 비교는 조직 관리나 시스템 설계에 있어 외부의 압력과 내부의 성장 사이의 관계를 이해하는 데 도움을 줍니다. 조직이 외부의 역풍에 맞서 생존하고 발전하기 위해 필요한 적응 메커니즘에 대한 깊이 있는 논의를 담고 있습니다.

OpenClaw 2.0 출시, 설치부터 메모리와 브라우저 제어까지 전면 개편

OpenClaw가 역사상 가장 큰 업데이트인 버전 2.0을 출시하며 설치부터 메모리, 브라우저 제어에 이르는 전반적인 기능을 대대적으로 개편했습니다. 이번 업데이트는 933명의 기여자가 16,000개 이상의 PR을 반영하여 진행되었으며, 설치, 메시징, 메모리, 스킬, 자동화, 앱, 플러그인, 보안 등 플랫폼 전반이 재정비되었습니다.

이번 개편의 핵심은 기존 ChatGPT나 Claude 구독, API 키, 로컬 모델을 재사용하는 설치 과정을 간소화하고 대화 중심으로 기능을 재구성한 점입니다. 개발자들은 복잡한 설정 없이 기존 자원을 활용하여 OpenClaw 환경을 더 쉽게 구축할 수 있게 되었습니다.

사용자들은 이제 더욱 간소화된 설치 과정을 통해 외부 서비스와 로컬 모델을 효율적으로 통합할 수 있으며, 대화 중심의 환경에서 더욱 강력한 기능을 활용할 수 있습니다. 이는 기존 OpenClaw 사용자들에게 새로운 방식으로 플랫폼을 활용하고 확장할 수 있는 기회를 제공합니다.

VibeCoded AI-Slop License v1.0 - 만든 사람도 읽지 않은 코드를 위해

AI가 생성했지만 인간이 제대로 읽지 않았을 법한 코드를 위한 풍자적인 라이선스인 VibeCoded AI-Slop License v1.0이 등장했습니다. 이 라이선스는 코드의 사용, 수정, 판매, 재배포, 그리고 AI 학습을 포함하여 모든 행위를 허용하는 극도로 자유로운 조건을 제시합니다.

이 라이선스의 핵심은 저작권이나 저작자 표시와 같은 전통적인 법적 의무를 완전히 배제한다는 점입니다. 사용자는 수정본 공개나 사용 이유 설명 등을 제공할 필요가 없으며, 이는 "아무도 신경 쓰지 않기 때문"이라는 풍자적인 논리를 바탕으로 합니다.

따라서 개발자들은 이 라이선스가 실제 법적 효력을 갖는지 여부와 관계없이, AI가 생성한 코드에 대해 어떠한 제약 없이 자유롭게 접근하고 활용할 수 있는 환경을 제공한다는 점에 주목해야 합니다. 이는 AI 생성 콘텐츠의 소유권과 활용에 대한 기존의 논의에 새로운 관점을 제시합니다.

curl의 CVE 발급 여부를 둘러싼 분쟁

curl은 인증 기관(CNA)으로서 직접 CVE를 발급해 왔으나, 특정 조건에서 발생하는 인증서 호스트명 검사 버그는 CVE 대상이 아니라는 판단이 내려졌습니다. 이는 여러 극단적인 조건에서만 발생하는 버그이므로 CVE로 다루지 않는 것이 적절하며, MITRE 역시 이에 동의했습니다.

이러한 판단은 특정 취약점이 발생하기 위한 복합적인 조건에 초점을 맞춥니다. 즉, 점(.)으로 시작하는 불법 DNS 호스트명, 와일드카드 인증서, 그리고 특정 TLS 백엔드가 동시에 결합될 때에만 해당 호스트명 검사 버그가 발생합니다.

개발자는 이러한 맥락을 이해해야 합니다. 해당 취약점은 일반적인 환경에서는 발생하지 않으며, 특정 구성 요소들이 결합될 때만 위험이 발생한다는 점을 인지해야 합니다.

구체적으로 curl의 `Curl_cert_hostcheck()...` 함수와 관련된 문제는 이러한 복합적인 조건이 충족될 때에만 나타나므로, 시스템 구성 시 이러한 조건들을 고려하여 보안을 확보해야 합니다.

Apple shares ‘shocking evidence’ against former employee accused of stealing company data for OpenAI

애플이 OpenAI를 상대로 제기한 소송에서 전직 직원으로부터 회사 데이터를 훔쳤다는 충격적인 증거를 공개했습니다. 애플은 이 새로운 세부 사항을 통해 전직 직원인 창 류(Chang Liu)가 OpenAI에서 애플의 영업 비밀을 훔쳤다고 주장하며 주장을 강화했습니다.

애플은 류가 OpenAI에서 근무할 당시 기밀 애플 회로 도면과 내부 애플 엔지니어링 애플리케이션 도구에 접근했으며, 애플이 그를 조사하는 동안 증거를 파괴하기 위해 OpenAI 동료인 유팅 펑(Yu-Ting Peng)을 동원했다고 주장합니다. 애플은 류가 "드문, 이전에 알려지지 않았던 인증 버그"를 악용하여 계속 접근을 유지했다고 주장하며, 이는 퇴사 후 시스템 접근 관리가 제대로 이루어지지 않아 발생하는 흔한 문제라고 덧붙였습니다.

이러한 주장에 대해 OpenAI는 류가 동료들의 요청에 따라 퇴사 후에 파일을 접근했다고 방어해 왔습니다. 하지만 애플은 류가 "잔여 접근 권한"을 통해 접근을 지속했으며, 이는 시스템 접근 관리가 미흡했던 애플의 일반적인 문제라고 주장합니다. 애플은 이 소송을 통해 잠재적으로 더 많은 전직 직원들이 연루되었을 가능성을 제기하며 예비 금지 명령과 신속한 증거 발견 절차를 요구하고 있습니다.

학회에서 목격한 터무니없는 AI 사용: 질의응답까지 AI에 맡긴 발표자들

한 학회 발표 후 질의응답 세션에서 패널들 중 한 명을 제외한 전원이 질문을 녹음하고 인공지능(AI)을 사용하여 답변을 생성하는 모습이 목격되었습니다. 이는 학술 발표와 전문적인 질의응답 과정에서 AI 기술이 얼마나 광범위하게 활용될 수 있는지 보여주는 사례입니다.

논평을 맡은 교수가 2시간 동안 발표를 들으며 메모하고 깊이 있는 질문을 준비했음에도 불구하고, 패널들은 자신의 전문 분야에 관한 답변까지 AI에 의존하여 얻었습니다. 이러한 현상은 AI가 단순한 정보 제공을 넘어 전문적인 지식과 맥락을 이해하고 생성하는 능력이 향상됨에 따라, 학술적 환경에서 지식 생산 및 전달 방식에 근본적인 변화를 가져올 수 있음을 시사합니다.

이러한 AI 활용은 발표자의 역할과 답변의 진정성에 대한 윤리적 논쟁을 야기합니다. AI가 전문 지식을 대체하거나 보조하는 방식으로 사용될 때, 학술적 결과물의 출처와 책임 소재에 대한 새로운 기준이 필요해집니다. 따라서 AI를 활용한 지식 생성의 효율성과 학문적 진실성 사이의 균형을 어떻게 설정할 것인지에 대한 논의가 중요해지고 있습니다.

Learning Sparse Decision Trees via Transformer Variational Auto-Encoders

기존 머신러닝 알고리즘은 예측 성능에 중점을 두는 경향이 있어 구조적 희소성(structural sparsity)과 같은 다른 바람직한 속성들을 동시에 최적화하는 것을 간과해 왔습니다. 이 연구는 이러한 한계를 극복하기 위해 Tree Transformer Variational Auto-Encoder(TTVAE)의 잠재 공간을 탐색하는 접근 방식을 기반으로 하는 TREVIS라는 방법을 제안합니다.

TREVIS는 의사결정 트리를 잠재 표현으로 매핑하여 이산적인 탐색 공간을 연속적인 공간으로 대체합니다. 이를 통해 미분 가능한 대리 모델(differentiable surrogate model)을 이용한 경사 하강 기반 최적화가 가능해집니다. 이는 예측 성능과 구조적 희소성을 동시에 최적화하는 의사결정 트리를 학습하는 것을 목표로 합니다.

실험 결과 TREVIS는 기존의 준최적 알고리즘과 동일한 예측 성능을 달성하면서도 구조적 희소성을 개선한 의사결정 트리를 발견했습니다. 이는 복잡한 목표에 대해 다중 속성을 동시에 고려하는 모델 학습에 새로운 가능성을 제시합니다.

TempCloze: Can Video-LLMs Identify the Missing Middle?

비디오 언어 모델(Video-LLMs)의 시간 추론 벤치마크는 종종 언어에 의해 매개되어 답변 선택지나 언어 선호도 같은 언어적 지름길이 발생할 여지가 있습니다. 이러한 지름길을 줄이기 위해 연구진은 시각적 시간 추론을 평가하는 비디오 클로즈 벤치마크인 TempCloze를 도입했습니다. 모델은 비디오의 시작 및 끝 클립을 보고 네 가지 후보 중에서 실제 누락된 중간 부분을 식별해야 합니다.

TempCloze는 일곱 개 소스에서 엄선된 1,521개의 비디오로 구성되어 있으며, 주로 롱테이크 및 에고센트로식 비디오를 포함합니다. 연구진은 동일 소스에서 동일한 맥락을 가진 오답을 세 가지 차원, 즉 사건이 무엇인지 묻는 의미론(Semantic), 사건이 언제 발생해야 하는지 탐색하는 정렬(Alignment), 그리고 사건이 어떻게 전개되어야 하는지 테스트하는 진행(Progression)을 통해 구성했습니다. 공유되는 장면과 객체는 시각적 단서의 출현을 줄이는 역할을 합니다.

10개의 독점 및 21개의 오픈 소스 비디오 언어 모델에 대한 평가 결과, 정렬(Alignment)이 주요 병목 현상임을 발견했습니다. 모델들은 그럴듯한 의미론적 내용과 국소적인 사건 진행을 인식하지만 시간적 정렬에는 어려움을 겪습니다. 연구진은 TempCloze-Mixed 및 TempCloze-Hard에 대해 오류 패턴 및 행동 민감도 분석을 추가로 수행하여 후보 순서, 맥락 방향, 보이는 범위, 프레임 밀도, 테스트 시 확장(test-time scaling)이 모델 선택에 어떻게 영향을 미치는지 조사했습니다.

StudyBench: Can Self-Evolution Squeeze Textbooks for Olympiad Capability?

자체 진화(self-evolution) 방법이 훈련 자료를 문제 해결 능력으로 얼마나 효율적으로 전환하는지 직접 측정하는 새로운 벤치마크인 StudyBench가 소개되었습니다. 이 벤치마크는 학습 효율성을 측정하기 위해 테스트 세트를 두 가지로 구성하는데, 어려운 교과서 문제를 평가하는 응용 세트(Application Set)와 올림피아드 수준 문제를 평가하는 전이 세트(Transfer Set)로 구성됩니다.

연구 결과, 대표적인 자체 진화 방법들을 세 가지 기본 모델에 걸쳐 평가한 결과, 응용 세트에서의 개선이 더 어려운 전이 세트로 거의 이어지지 않는다는 사실이 밝혀졌습니다. 이는 모델이 학습 자료를 흡수하는 능력과 실제 문제 해결 능력 간에 큰 격차가 있음을 보여줍니다.

또한, 가이드 제거 실험을 통해 인컨텍스트 가이드(in-context guidance)를 제공했을 때 동일한 자료가 해제하는 잠재력에 비해 가장 강력한 방법론도 작은 부분만을 해제하는 가이드 격차(Guidance Gap)가 존재함을 드러냈습니다. 모든 방법은 컴퓨팅 예산을 소진하기 훨씬 전에 컴퓨팅 평탄화(Compute Plateau)에 도달하는 것으로 나타났습니다.

결론적으로, 남아있는 격차는 데이터나 컴퓨팅 문제가 아니라 방법론 자체의 문제임을 시사하며, StudyBench는 자체 진화의 발전을 개방적인 추구에서 측정 가능한 목표로 전환하는 데 기여합니다. 이 벤치마크 코드는 https://github.com/thunlp/StudyBench에서 공개되었습니다.

EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents

비전-언어-행동(VLA) 모델은 시각적 관찰과 언어 지시를 로봇 행동으로 직접 매핑하지만, 장기 목표를 달성하기 위해서는 단순히 행동 예측을 넘어 인식, 계획, 실행, 진행 검증, 복구를 조정해야 합니다. 모델이 제시하는 행동이나 스킬 결정이 현재 상태에서 유효한지, 그 결과가 검증되었는지를 보장하지 않기 때문에 에이전트는 물리적 상태가 변화함에 따라 이를 관리해야 합니다.

이에 연구진은 각 스킬 결정을 실행 제안으로 간주하는 통합 프레임워크인 EmbodiedSkills를 제안했습니다. 이 프레임워크는 런타임에 실행 전 선행 조건을 확인하고 실행 후 결과를 검증하는 방식으로 각 스킬 결정을 처리합니다. 고수준 스킬 선택, 제한된 저수준 VLA 실행, 실행 후 검증을 단일 에이전트 루프 내에서 연결하는 공유 실행 가능 스킬 인터페이스를 통해 이를 구현합니다.

이 인터페이스는 고정되어 있어 저수준 VLA 정책을 에이전트 루프를 변경하지 않고 교체하거나 적응시킬 수 있게 합니다. 또한 이 인터페이스는 계획, 실행, 검증, 복구 이벤트를 구조화된 궤적으로 기록하여 개별 구성 요소에 대한 감독을 제공하고 상호 작용 피드백이 있을 경우 온라인 적응을 지원합니다.

Qwen3-VL과 OpenPI/pi0.5를 RoboTwin 2.0 및 LIBERO 환경에 적용한 결과, 작업에 적응된 저수준 VLA 정책은 50개의 RoboTwin 2.0 작업에서 평균 86.20%의 성공률과 네 가지 LIBERO 스위트에서 97.40%의 성공률을 달성했습니다. 이는 EmbodiedSkills에서 사용된 작업 적응형 저수준 VLA 정책의 실행 성능을 입증하며, 메모리 의존적인 RMBench 작업에서는 평균 12.5%의 성공률을 보였습니다. 이 프레임워크는 이러한 정책을 폐쇄 루프 임베디드 시스템으로 전환하기 위한 학습 가능하고 검사 가능한 에이전트 계층을 제공합니다.