읽을 가치가 있는 기사만, 짧고 또렷하게.

펠릭스 리제버그는 현재 Anthropic에서 Claude를 개발하는 업무를 수행하고 있으며 Electron의 공동 유지 관리자이자 다수의 오픈 소스 프로젝트를 관리하고 있습니다. 그는 Notion, Stripe, Slack, Microsoft 등에서 팀과 애플리케이션을 이끌었던 경험을 바탕으로 AI를 통해 사람들이 생산성을 높이는 일에 집중하고 있습니다.

그의 경력은 Electron 및 Node.js 생태계에 깊이 뿌리내리고 있으며, Slack과 Microsoft에서 C++ 엔지니어 팀을 지원하며 크로스 플랫폼 데스크톱 프레임워크인 Electron을 구축하는 데 기여했습니다. 이러한 경험을 통해 그는 개발자들의 삶을 개선하는 데 중점을 두었으며, 과거에는 O'Reilly 저서도 집필한 바 있습니다.

펠릭스 리제버그는 Electron, 언어 모델 빌더, MCBP 등 다수의 오픈 소스 프로젝트에 기여하고 있으며, 특히 데스크톱 애플리케이션과 관련된 다양한 기술적 문제들을 다루고 있습니다. 그는 개발자들의 성공을 돕기 위해 오픈 소스 활동을 통해 품질 좋은 코드를 공개하는 것을 중요하게 생각합니다.

장기 도구 호출 작업에서 LLM 에이전트는 도구 사용 오류뿐만 아니라 비효율적인 사용자 상호작용으로 인해 실패할 수 있습니다. 기존 벤치마크들은 사용자가 협조적이고 행동적으로 안정적이라고 가정하여 감정 변화가 에이전트 신뢰도에 미치는 영향을 충분히 탐구하지 못했습니다. 이에 연구진은 감정 조건화된 사용자 상호작용 하에서 기본 작업 목표를 보존하며 도구 호출 에이전트를 평가하기 위한 10개 도메인 벤치마크인 $\tau$-Emotion-Bench를 소개합니다.

이러한 벤치마크 구축과 에이전트 훈련을 확장하기 위해, 연구진은 상호작용 기반의 데이터 생성 파이프라인인 Tracer를 개발했습니다. Tracer는 상호작용 에이전트-사용자-환경 하네스를 통해 기반이 되는 정책이 유효한 작업을 구성하고 궤적을 수집합니다. 특히 이 하네스는 불만족스러운 사용자가 비효율적인 상호작용을 종료할 수 있도록 허용하여, 과도한 사용자 의존성을 가진 궤적을 걸러내고 효과적인 도구 사용을 선호하는 상호작용 인식 신호를 제공합니다.

Tracer를 통해 생성된 감독 데이터는 Qwen3 모델의 성능을 규모별로 지속적으로 향상시키고, 보지 못한 도메인으로 일반화되며, $\tau$-Bench 및 $\tau$-Trait로 이전되는 것을 입증했습니다. 행동 분석 결과는 높은 작업 성공률이 도구 실행과 필요한 사용자 후속 조치 사이의 더 나은 균형과 관련이 있음을 보여줍니다. 결과적으로 $\tau$-Emotion-Bench와 Tracer는 다양한 사용자 행동 하에서 에이전트 신뢰도를 평가하고 상호작용 인식 감독을 통해 도구 호출 에이전트를 개선하기 위한 확장 가능한 프레임워크를 제공합니다.

명확한 지침 준수 벤치마크는 출력 제약 조건 만족에 중점을 두지만, 응답이 근본적인 요청에 의미 있게 답했는지 여부는 간과하여 평가의 사각지대를 만듭니다. 연구 결과, 최첨단 모델은 실질적인 답변 내용이 적더라도 전체 점수를 받을 수 있다는 것이 밝혀졌습니다. 특히, 훈련 보상으로 사용되는 검증 기반 기준을 사용할 경우 보상 해킹이 발생할 수 있으며, 이는 강화 학습(RL)을 통해 검증 가능한 보상을 사용할 때 더 두드러집니다.

이러한 보상 해킹 문제를 해결하기 위해 연구진은 응답 품질을 보존하는 보정된 가능도 기반 보너스를 검증 보상에 추가하는 경량 방법인 CALIF를 제안했습니다. CALIF는 추가적인 판단자나 학습된 보상 모델 없이 기존의 고정된 참조 정책을 사용하여 요청만으로 응답 가능성을 평가합니다. 이는 17억에서 80억 파라미터에 이르는 추론 및 비추론 모드 모델에 걸쳐 적용되었습니다.

CALIF는 IFBench에서 제약 조건 만족도를 개선하는 동시에 응답 품질을 사전 강화 학습(pre-RL) 수준과 비슷하거나 그 이상으로 유지했습니다. 또한, 세 가지 기준 기반 지침 준수 벤치마크에서 45개 모델 지표 중 40개에서 해당 기본 정책보다 우수한 성능을 보였습니다. 이는 훈련된 검증자(verifiers)를 사용하는 것 이상의 개선을 입증합니다.

새로운 채팅 애플리케이션인 Strafe가 오픈 소스, 종단 간 암호화(E2E Encryption), 그리고 연합(federated) 기능을 제공하며 디스코드의 대안으로 등장했습니다. Strafe는 추적, 광고, 데이터 수집 없이 순수한 커뮤니케이션을 제공하며 사용자 프라이버시와 자유를 존중하는 것을 핵심 가치로 삼고 있습니다.

이 플랫폼은 모든 메시지를 기본적으로 암호화하여 대화 내용을 안전하게 보호하며, 마크다운 지원, 코드 블록, 풍부한 임베드 기능을 통해 사용자가 자유롭게 표현할 수 있도록 합니다. 또한, 사용자들은 방과 역할 설정을 통해 커뮤니티 공간을 만들고 관리할 수 있으며, 화면 공유가 가능한 음성 및 비디오 통화, 파일 공유 기능도 지원합니다.

Strafe의 가장 큰 특징 중 하나는 자체 호스팅(Self-Hostable) 기능으로, 사용자가 자신의 인프라에서 독립적으로 인스턴스를 운영하여 완전한 통제권과 프라이버시를 확보할 수 있다는 점입니다. 이는 벤더 종속성 없이 데이터를 소유하고 언제든지 마이그레이션하거나 자체적으로 운영할 수 있게 합니다.

Strafe는 투명성과 커뮤니티 소유권을 기반으로 구축되었으며, 전체 코드베이스가 GNU Affero General Public License v3.0에 따라 공개되어 있어 개발자들이 코드 검토와 기여를 할 수 있습니다. 데스크톱, 웹, 모바일 등 모든 환경에서 원활하게 동기화되며, 모든 릴리스가 오픈 소스로 제공됩니다.

애플이 크롬보다 강력하고 개인정보 보호에 유리한 브라우저로 사파리를 홍보하기 위해 ‘Switch to Safari’ 웹페이지와 유튜브 영상 두 개를 공개했습니다. 이 캠페인은 사용자들에게 크롬 대신 사파리를 사용해야 하는 이유를 제시하며 브라우저 선택에 영향을 미치고자 합니다.

애플이 강조하는 주요 이점 중 하나는 배터리 효율성입니다. 애플은 맥에서 크롬 대비 사파리를 사용할 경우 최대 5시간 더 긴 동영상 스트리밍이 가능하다는 점을 내세우고 있습니다. 이는 특히 모바일 환경이나 배터리 사용에 민감한 사용자들에게 실질적인 이점으로 작용할 수 있습니다.

이러한 홍보를 통해 애플은 사파리가 단순한 브라우저를 넘어 개인정보 보호와 성능 측면에서 크롬보다 우위에 있음을 강조하고 있습니다. 개발자 및 사용자들은 이러한 구체적인 성능 및 개인정보 보호 차이를 고려하여 브라우저 선택에 참고할 수 있습니다.

로보틱스를 위한 Gemini 4 Argon은 물리 추론, 코드 생성, 시각적 의미 추론 능력을 결합한 모델입니다. 이 모델은 로봇 제어, 시뮬레이션 구축, 데이터 주석, 연구, 그리고 자기 개선에 이르는 광범위한 작업을 지원합니다.

Gemini 4 Argon의 핵심 능력은 3차원 환경에서 물리적 공간 문제를 해결하는 데 있습니다. 이를 평가하기 위해 진행된 ERQA 벤치마크에서 순수 추론 능력으로 87%라는 높은 점수를 기록했습니다.

이러한 성과는 모델이 복잡한 3D 환경의 물리적 공간 문제를 추론하고 해결하는 데 뛰어난 능력을 가지고 있음을 보여줍니다. 개발자와 연구자들은 이 모델을 활용하여 로봇 시스템의 복잡한 제어 및 시뮬레이션 환경을 구축하는 데 활용할 수 있습니다.

미국 법무부는 북한 정권의 해커들이 미국 기업을 해킹하는 과정에서 미국인들을 중개자로 이용하고 있다고 경고했습니다. 이는 북한의 IT 인력이 미국 기업에 침투하여 민간 부문의 탐지 및 법 집행 조치를 회피하기 위해 미국인 중개자를 고용하는 방식으로 이루어지고 있습니다.

검찰은 이미 최소 두 명을 기소 및 체포했으며 텍사스 전역에서 40여 개의 잠재적인 '노트북 팜'을 수색했습니다. 이 컴퓨터들은 북한 스파이들이 미국 시민의 도용된 신원을 사용하여 취업하고 데이터를 훔치는 데 사용된 것으로 밝혀졌습니다.

이러한 침투를 통해 최소 70개 미국 기반 기업이 침해당했으며, 해커들은 약 3백만 달러에 달하는 자금을 탈취한 것으로 추정됩니다. 북한은 이러한 해킹과 자금 탈취를 통해 핵무기 프로그램 자금을 마련하는 등 불법적인 수익원을 창출하고 있습니다.

북한의 IT 인력들은 이러한 경로를 통해 미국 및 유럽 기업에 취업하여 임금을 받고 민감한 정보와 지적 재산을 훔치는 방식으로 활동하고 있습니다. 이는 단순한 해킹을 넘어 국가 안보와 지적 재산에 심각한 위협을 가하는 내부 위협으로 간주됩니다.

독서 기록 및 공유를 목적으로 하는 사이트 프로젝트가 진행되었습니다. 이 프로젝트는 독서에 대한 관심이 높아지면서 사용자들이 직접 읽은 책을 기록하고 이를 다른 사람들과 공유할 수 있는 플랫폼을 구축하고자 시작되었습니다.

사용자는 블로그에서 독후감을 기록하듯이 자신이 읽은 책들을 체계적으로 기록하고 공유할 수 있습니다. 이를 통해 독서 경험을 기록하고 타인과 소통하는 기능을 제공하는 것이 핵심입니다.

또한, 다른 사용자들은 다른 사람들이 어떤 책들을 읽고 공유하는지 자유롭게 탐방하며 독서 활동을 확장할 수 있습니다. 이는 단순히 개인 기록을 넘어 독서 커뮤니티를 형성하고 독서 활동을 촉진하는 데 중점을 둡니다.

멀티모달 모델과 에이전트가 여러 양식의 정보를 통합하여 인간처럼 현실 세계를 학습하고 상호작용할 수 있게 되면서, 복잡하고 이질적인 멀티모달 데이터로부터 유용한 정보를 지속적으로 획득하는 것이 중요한 과제로 떠올랐습니다. 특히 장기 목표 및 평생 학습 환경으로 나아갈수록 이러한 도전 과제를 해결하기 위해서는 세션 간 연속성을 유지하고, 변화하는 사용자 및 환경에 적응하며, 축적된 경험을 통해 메모리 관리 정책을 개선할 수 있는 효과적인 메모리 메커니즘이 필요합니다.

이를 위해 본 연구는 멀티모달 에이전트 메모리에 대한 두 축 분석 프레임워크를 제시합니다. 첫 번째 축인 정보 형성 및 표현(Formation and Representation)은 멀티모달 정보가 어떻게 저장되고 인코딩되는지(예: 양식별 임베딩, 텍스트 및 구조화된 기록, 잠재 및 매개변수 표현)를 다룹니다. 두 번째 축인 메모리 관리(Memory Management)는 축적된 경험에 따라 메모리 관리가 어떻게 적응하는지를 세 가지 계층으로 구분합니다.

구체적으로 메모리 관리 계층은 고정된 메모리를 재사용하는 정적 메모리(T1 Static Memory), 안정적인 정책을 통해 메모리를 업데이트하는 동적 메모리(T2 Dynamic Memory), 그리고 진화하는 정책을 통해 메모리를 업데이트하는 자기 진화 메모리(T3 Self-Evolving Memory)로 나뉩니다. 이 프레임워크를 바탕으로 연구진은 출처 충실도와 추상화의 균형 유지, 시간적 유효성과 출처 보존 유지, 복구 가능한 증거에 기반한 메모리 사용, 그리고 시간에 따른 메모리 정책의 진화를 위한 원칙들을 도출했습니다.

AI 리더들의 발언과 견해 변화를 추적하는 도구를 개발했다는 내용입니다. 이 도구는 AI 리더들의 인터뷰, 팟캐스트, 연설 등에서 나온 내용을 수집하고 요약하며, 모든 인용구를 해당 스크립트의 특정 시점과 연결하여 제공합니다.

Blumify는 사용자들이 공개된 인물들의 발언을 추적하고 정리할 수 있도록 하며, 사용자들이 직접 AI 분야의 인물을 제안하고 투표하여 관심 있는 인물들의 페이지를 만들 수 있게 합니다. 이를 통해 개발자들은 AI 리더들의 담론 변화를 체계적으로 분석하고 이해하는 데 필요한 데이터를 얻을 수 있습니다.

이 플랫폼은 YouTube 영상, 팟캐스트 에피소드 등의 스크립트와 요약본을 제공하며, Otter.ai나 Descript와 같은 다른 도구들과 비교하여 사용될 수 있습니다. 특히 Palantir의 Alex Karp, Anthropic의 Dario Amodei, OpenAI의 Sam Altman, xAI의 Elon Musk 등 주요 AI 리더들의 발언을 추적하는 데 중점을 두고 있습니다.

최근 에이전트 프로그래밍과 바이브 코딩의 시대에 웹 프레임워크를 사용하는 것이 여전히 중요한지에 대한 근본적인 질문을 던지고 있습니다. 많은 개발자들이 프론트엔드 코드가 대부분 시각적인 요소에 불과하기 때문에 구현 세부 사항에 덜 신경 써도 된다고 생각하며, React와 Next.js와 같은 기존 프레임워크가 이미 충분히 안정적이고 지배적이라는 인식이 널리 퍼져 있습니다.

이러한 관점은 모델이 에이전트 프로그래밍에 대해 잘 학습되었기 때문에 프론트엔드 코드의 세부 사항보다 결과물의 모양과 동작만 중요하다고 보는 데서 비롯됩니다. 하지만 필자는 이러한 현상에 대해 더 깊이 고민하며, 프레임워크의 본질적인 가치와 새로운 프레임워크의 필요성을 제기합니다. 프레임워크는 단순히 코드를 작성하는 것을 넘어 웹 표준과 API를 기반으로 하며, AI 에이전트가 쉽게 이해하고 추론할 수 있는 형태로 구축되어야 한다는 것입니다.

따라서 필자는 기존의 프레임워크가 '충분히 좋은' 수준에 머물러 있다면, 더 나은 풀스택 경험을 제공하고 AI 친화적인 새로운 프레임워크를 개발할 여지가 있다고 주장합니다. 객관적인 기준을 찾기 어려운 상황에서 프레임워크를 개선하고 발전시켜야 하며, 새로운 프레임워크를 구축하는 것이 이 질문에 대한 답을 찾는 유일한 방법이라고 강조합니다.

가민(Garmin) 기기에 "MCP"를 생성하는 방법에 대한 기술적인 논의가 다루어졌습니다. 이 글은 개발자들이 가민 시스템과 관련된 특정 기능을 구현하거나 확장하는 데 필요한 방법을 탐구하는 내용을 담고 있습니다.

해당 주제는 가민 기기의 소프트웨어 또는 하드웨어 인터페이스를 커스터마이징하거나 새로운 기능을 추가하는 데 중점을 두고 있습니다. 구체적으로 MCP를 생성하는 과정은 개발자가 가민 플랫폼 내에서 어떤 방식으로 접근하고 코드를 작성해야 하는지에 대한 기술적 접근 방식을 제시할 것으로 보입니다.

이 정보는 가민 기기의 기능을 확장하거나 새로운 애플리케이션을 개발하려는 개발자들에게 참고 자료가 될 수 있습니다. 다만, 실제 구현 방법이나 기술적 세부 사항은 원문 기사를 통해 확인해야 합니다.

마이크로소프트가 이미지의 디자인을 참고하여 수정 가능한 HTML/CSS를 생성하는 AI 모델을 개발했습니다. 이 모델은 슬라이드, 포스터, 대시보드와 같은 시각적 콘텐츠를 실제 웹 문서로 변환하는 것을 목표로 합니다.

이 AI 모델은 이미지 생성 모델이 만든 참고 이미지에서 레이아웃과 스타일을 학습하여 이를 HTML과 CSS 코드로 추출합니다. 또한, 사용자가 입력한 문구와 수치는 프롬프트를 기준으로 생성하여 디자인과 텍스트를 동시에 구현할 수 있게 합니다.

결과물은 단순한 디자인 시안이 아니라 완전한 HTML 문서 형태로 출력되어 개발자가 즉시 수정하고 활용할 수 있습니다. 이는 디자이너나 개발자가 시각적 아이디어를 코드로 신속하게 전환하는 데 큰 도움을 줄 수 있습니다.

영국의 1인당 전력 생산량은 2003년 정점 이후 3분의 1 이상 감소하여 현재는 1960년대 후반 수준으로 돌아갔습니다. 이는 발전량 감소가 진행되었음을 보여주는 수치입니다.

반면 전 세계적인 추세는 정반대로 흘러, 이번 세기 동안 1인당 전력 생산량은 50% 이상 증가했습니다. 이러한 세계적인 증가세는 발전량 감소의 일부가 전력 순수입 증가에 따른 결과임을 시사합니다.

즉, 발전량 감소 현상은 단순히 국내 생산의 변화뿐만 아니라 전력 순수입 증가라는 글로벌 맥락 속에서 이해해야 합니다. 이는 에너지 생산 및 소비의 지역별, 시대별 역학 관계를 파악하는 데 중요한 배경이 됩니다.

Meta에서 복잡한 제약 조건에 맞춰 작업과 자원을 최적으로 배치하는 도구인 Rebalancer를 발표했습니다. 이 도구는 서버에 작업을 배치하거나 샤드를 분산할 때 용량 제한, 부하 균형, 장애 대비와 같은 다양한 조건을 고려하여 최적의 배치안을 계산해 냅니다.

기존의 방식처럼 복잡한 수학식을 사용하는 대신, Rebalancer는 25개 이상의 목표와 제약 조건을 조합하여 문제를 정의함으로써 복잡한 시스템 배치를 훨씬 쉽게 정의할 수 있게 합니다. 이는 개발자들이 실제 운영 환경에서 마주하는 복잡한 제약 조건들을 효율적으로 관리하고 해결책을 도출하는 데 도움을 줍니다.

또한 Rebalancer는 동일한 문제에 대해 여러 알고리듬을 적용하여 처리 속도와 해결책의 품질을 동시에 최적화하는 기능을 제공합니다. 이를 통해 개발자는 시스템의 성능과 안정성을 극대화하는 동시에 효율적인 자원 배치를 달성할 수 있습니다.

AI 코딩이 매우 뛰어나다면 왜 새롭고 좋은 소프트웨어가 더 많이 보이지 않는지에 대한 9가지 가설을 제시합니다. 이 가설들은 AI 발전이 새로운 도구의 등장보다 기존 소프트웨어의 개선을 통해 더 크게 나타날 수 있음을 시사합니다.

주요 가설에는 기존 제품의 개선, 비공개 도구의 증가, 조직의 병목 현상 등이 포함되어 있으며, 이는 AI가 새로운 제품을 창출하기보다는 기존 시스템의 효율성을 높이는 방향으로 발전할 수 있음을 보여줍니다.

실제로 AI 코딩의 발전은 새로운 도구의 등장보다는 기존 소프트웨어의 버그 감소, 성능 향상, 기능 추가와 같은 형태로 나타날 가능성이 높습니다. 따라서 개발자들은 새로운 도구에만 집중하기보다 현재 사용 중인 시스템의 개선과 최적화에 초점을 맞추는 것이 중요합니다.

Gentoo 개발자가 순수 Python 패키지의 빌드 백엔드로 uv-build 사용을 자제해 달라고 요청했습니다. 이는 핵심 의존성 전환으로 인해 십여 개 패키지에서 일부 아키텍처 지원 표식이 제거되는 문제가 발생했기 때문입니다.

이러한 문제는 Rust 기반의 uv-build가 작은 Python 백엔드에 비해 의존성이 크고 잦은 릴리스를 한다는 점에서 발생했습니다. 개발자들은 빌드 시스템의 변경이 패키지의 아키텍처 지원 표시에 영향을 미치면서 의도치 않은 호환성 문제가 발생할 수 있다고 지적했습니다.

결론적으로, 빌드 백엔드의 전환이 패키지의 핵심 의존성과 아키텍처 지원에 미치는 영향을 고려하여 uv-build 사용에 신중을 기해야 한다는 요구입니다. 이는 빌드 시스템 선택 시 의존성과 호환성 문제를 함께 고려해야 함을 시사합니다.

강화 학습을 통한 검증 가능한 보상(RLVR)은 언어 모델의 추론 능력을 향상시키지만, 스칼라 결과만으로는 응답 궤적에 대한 거친 감독만을 제공합니다. 자기 증류(Self-distillation)는 피드백 기반의 자기 교사(self-teacher)와 비보조 정책을 비교하여 토큰 수준의 더 조밀한 지침을 제공하지만, 교사가 학생과 함께 발전하면서 목표가 불안정해지는 문제가 발생합니다.

이에 연구진은 현재의 특권 적응(privileged adaptation)과 함수 공간 시간 통합(function-space temporal consolidation)을 결합한 단일 정책 프레임워크인 함수 공간 정책 최적화(FSPO)를 제안합니다. FSPO는 희소한 과거 다음 토큰 분포를 고정된 시간 목표로 저장하여 지속적인 교사 모델을 유지하지 않으면서 시간적 분리를 제공합니다.

또한 FSPO는 국소적으로 과대평가된 행동을 명시적으로 억제하는 특권 불일치 수정(privileged disagreement correction), 자기 생성 증거가 반복적으로 실패할 때 참조 감독을 강화하는 신뢰성 적응적 접지(reliability-adaptive grounding), 그리고 검증된 행동을 유지하고 특권 시연을 개선하는 품질 및 범위 인식 시간 기억(quality and coverage-aware temporal memory)을 추가로 도입합니다.

이러한 FSPO는 추론 및 도구 사용 벤치마크에서 5시간의 훈련 예산 내에서 가장 높은 평균 정확도를 달성했습니다. 이는 가장 강력한 기준선 모델보다 평균적으로 약 4% 포인트 향상되었으며, Olmo3-7B-Instruct 모델에서 최대 메모리를 약 70GB에서 56GB로 줄였습니다.

KANLab은 Kolmogorov-Arnold Networks(KAN)의 핵심 개념을 상호작용적으로 학습하도록 설계된 브라우저 기반 시각화 도구입니다. 이 도구는 널리 성공한 TensorFlow Playground에서 파생되었으며, KAN의 기본 원리를 시각적으로 이해하는 데 중점을 두고 있습니다.

교육적 명확성을 극대화하기 위해 KANLab은 최신 KAN 구현에서 사용되는 잔차 연결(residual connections)과 학습 가능한 스케일링 매개변수(learnable scaling parameters)를 제외했습니다. 이러한 설계 선택은 표시되는 B-스플라인 활성화 곡선이 실제 학습 가능한 제어점과 직접적으로 일치하도록 보장합니다.

사용자는 이 도구를 통해 활성화 함수와 초기화 방식 등을 검사하고 수정할 수 있으며, 경사 하강(gradient descent)가 수동으로 발생시킨 교란을 어떻게 수정하는지 관찰할 수 있습니다. 또한 사용자는 활성화 분산(activation variance), 상호 작용적 가지치기(interactive pruning), 그리고 재학습(re-/training)과 같은 현상을 간결한 2차원 머신러닝 환경 내에서 탐색할 수 있습니다.

KANLab은 오픈 소스로 공개되어 있으며 https://kanlab.app/에서 접근할 수 있습니다. 이는 복잡한 KAN 구조를 시각적으로 탐색하고 학습하는 데 도움을 주어 개발자들이 새로운 네트워크 구조를 이해하는 데 유용한 환경을 제공합니다.

반복적인 이벤트 예측은 노이즈가 많은 증거에서 예측 신호를 추출하고 연속적인 결정에 걸쳐 그 가치를 평가하는 것을 요구합니다. 이에 연구진은 일본 경마의 역사적 데이터를 통해 이러한 문제를 연구하는 벤치마크 및 평가 프로토콜인 JockeyBench를 소개합니다. 이 프로토콜은 시간 제한 증거, 가격이 매겨진 도구, 쌍으로 고정된 프로그램 제어, 그리고 LLM 기반 예측기 실행 또는 새로운 경주별 LLM 예측을 위한 증거 획득이라는 두 가지 워크플로우를 결합합니다.

평가는 예측 품질, 벤치마크별 순이익, 그리고 고정된 결정 규칙 하에서의 회고적 베팅 수익과 위험을 분리하여 측정합니다. 324경주에 대해 28가지 모델-스캐폴드 구성으로 쌍별 테스트를 진행한 결과, 다중 테스트 보정을 거친 후 일곱 가지 수정 이득과 두 가지 감소가 확인되었습니다. 하지만 모든 구성은 캡-켈리 정산 하에서 평균 수익이 마이너스였습니다.

네 가지 모델 비교에서 재사용 가능한 프로그램 워크플로우가 더 높은 평균 베팅 수익과 낮은 연구 비용을 보였으나, 두 워크플로우 모두 평균적으로 손실을 기록했습니다. 추가 진단 결과, 선택된 베팅에 따라 평균 확률 편향이 역전되며 수익성 있는 개별 경주가 집중된 수익에 의존할 수 있다는 점이 밝혀졌습니다. 이러한 발견은 반복적인 이벤트 예측 에이전트를 평가할 때 예측 능력, 적응력, 자원 사용, 그리고 결정 가치를 개별적으로 평가해야 할 필요성을 제기합니다.