읽을 가치가 있는 기사만, 짧고 또렷하게.

Anthropic과 OpenAI는 자체 AI 연구소 내부에 독립적인 안전 평가자(safety evaluators)를 내재화하려는 움직임을 보이고 있습니다. 연구자들은 이러한 전례 없는 접근에 환영을 표하면서도, 실질적인 감독을 위해서는 투명성, 독립성, 그리고 궁극적인 규제가 필요하다고 경고하고 있습니다.

이러한 움직임은 AI 안전성 확보에 있어 내부 검증의 중요성을 강조하며, 기업들이 자체적으로 안전 기준을 설정하고 적용하려는 시도로 해석됩니다. 그러나 외부의 시각에서 볼 때, 평가자의 독립성과 투명성이 보장되지 않는다면 이러한 내부 시스템이 진정한 안전성 확보에 기여하기 어렵다는 우려가 제기됩니다.

따라서 AI 안전에 대한 의미 있는 감독이 이루어지기 위해서는 평가 시스템의 독립성을 보장하고 그 운영 과정을 투명하게 공개해야 한다는 것이 핵심적인 요구 사항입니다. 장기적으로는 이러한 내부적 노력이 외부 규제와 연계되어 AI 시스템 전반에 대한 포괄적인 규제 체계를 구축하는 방향으로 나아가야 할 것입니다.

워싱턴에서 인공지능(AI)에 대한 규제가 당장 이루어질 가능성은 낮으며, 백악관은 감독에 대해 노골적으로 반대하고 있습니다. AI 모델이 통제 불능 상태가 될 수 있다는 우려가 커지고 있음에도 불구하고, 법안 제정은 현실적으로 어려울 것으로 보입니다.

이는 AI 기술 발전 속도에 비해 규제 논의가 지연되고 있음을 의미합니다. 현재 미국 정부의 입장은 AI의 위험성에 대한 우려가 존재함에도 불구하고, 즉각적인 규제 조치를 취하는 데는 소극적인 태도를 보이고 있습니다.

따라서 개발자들은 AI 모델의 안전성과 윤리적 측면에 대한 자체적인 책임과 관리 방안을 더욱 강화해야 할 필요가 있습니다. 정부 차원의 규제가 불확실한 상황에서 기술 개발 과정에서 발생할 수 있는 잠재적 위험을 스스로 관리하는 것이 중요합니다.

삼진(Ternary) 대규모 언어 모델(LLM)은 가중치를 $\{-1, 0, +1\}$ 세 가지 기호로 저장하므로, 이론적으로 가중치당 정보량은 $\log_2 3 \approx 1.585$ 비트입니다. 그러나 실제 배포 형식에서 다섯 개의 삼진 가중치를 하나의 바이트에 압축하는 방식(five-trit packing)을 사용하면 실제 저장 비트 폭은 $1.625$ 비트로 늘어납니다.

연구진은 이러한 비효율성을 개선하기 위해 분포 적응형 레이아웃인 BITCOS를 제안했습니다. BITCOS는 밀집된 존재 비트맵과 압축된 부호 벡터로 구성되어 있으며, 모델 가중치의 0 밀도 $z$에 따라 가중치 요소당 $2 - z$ 비트의 비용을 갖습니다. 이 방법은 기존의 다섯-트릿 패킹보다 29개 모델 중 26개에서 더 효율적인 저장 공간을 제공하며, 가장 희소한 모델에서는 가중치당 $1.485$ 비트까지 도달합니다.

BITCOS는 최신 프로세서와 GPU에서 효율적인 언패킹이 가능하며, AVX-512, AVX2, Intel Xe2 GPU에 대한 최적화된 언패킹 시퀀스가 제시되었습니다. 실제 모델에 적용했을 때, BITCOS는 제안된 레이아웃을 통해 삼진 행렬-벡터 곱셈 커널에서 최대 $1.28\times$의 이득을 보였습니다. 또한, 추론 결과 CPU에서는 최대 $1.18\times$, GPU에서는 최대 $1.27\times$의 디코드 처리량 향상을 달성했습니다.

크리스토퍼 놀란 감독의 오디세이 영화가 흥행에 성공하며 고전 문학에 대한 관객들의 관심을 높였지만, 인공지능(AI)으로 완전히 재구성된 새로운 이야기에서는 오히려 원작에 대한 시청자들이 싫증을 느낄 수도 있다는 평가가 나왔습니다. 이 새로운 영화는 오디세우스의 이야기를 AI로만 제작한 작품으로, 제목은 오디세우스: 추락입니다.

이 영화는 AI 회사인 파운틴 0(Fountain 0)를 통해 제작되었으며, 회사 공동 창업자인 애쉬 쿠샤(Ash Koosha)가 각본과 연출을 맡았습니다. 또한 쿠샤는 제목의 주인공에게 자신의 모습을 부여하고 모든 음악을 제작하는 데 참여했습니다.

이 스튜디오의 이전 작품은 AI 영화인 드림즈 오브 바이올렛(Dreams of Violets)으로, 올해 초 트라이베카 영화제에 진출한 바 있습니다. 따라서 이 작품은 AI 기술을 활용한 창작물의 품질과 결과에 대한 논쟁을 불러일으키고 있습니다.

라이온스게이트는 2023년작 <노래새와 매미의 노래>의 속편이자 첫 영화인 <헝거 게임>의 사건으로 이어지는 <헝거 게임: 추수 시기>의 액션 트레일러를 공개했습니다. 이 트레일러는 주인공의 배경 스토리를 제공하며 팬들의 기대를 높이고 있습니다.

이 작품의 주요 등장인물은 카트니스와 피타의 미래의 멘토인 어린 헤이미치 아버나시입니다. 우디 해럴슨이 연기한 헤이미치는 나중에 냉소적이고 술에 취했지만 비밀스럽게 희망을 품는 회의주의자로 변화합니다. 공식 시놉시어에 따르면 이 트레일러는 헤이미치의 복잡한 과거를 보여주며 앞으로의 이야기에 깊이를 더합니다.

또한, 라이카 스튜디오는 많은 기대를 모았던 스톱모션 애니메이션 작품인 <와일드우드>의 트레일러도 공개했습니다. 이 소식은 영화 산업 내에서 새로운 시각적 스토리텔링에 대한 관심을 반영합니다.

Dream-RSI는 코딩 에이전트 자체를 변경하지 않으면서 탐색을 이어가고, 병렬화하며, 중단할지 결정하는 탐색 정책 코드를 반복적으로 개선하는 프레임워크입니다. 이 프레임워크는 에이전트의 행동 결정 방식인 탐색 정책을 스스로 진화시키도록 설계되었습니다.

Dream-RSI는 완료된 탐색 이력을 재생 시뮬레이터로 만들어 대안 정책들을 저비용으로 평가하는 기능을 제공합니다. 이를 통해 에이전트는 실제 탐색 과정에서 발생한 경험을 바탕으로 가장 효율적인 탐색 정책을 학습하고 개선할 수 있습니다.

이러한 반복적인 개선 과정은 코딩 에이전트가 복잡한 문제 해결 과정에서 더 나은 전략을 스스로 발견하고 적용하도록 돕습니다. 결과적으로 Dream-RSI는 코딩 에이전트의 성능과 효율성을 향상시키는 데 기여하며, 진화하는 세계를 통한 재귀적 자기 개선을 목표로 합니다.

AI 붐으로 인한 데이터 센터의 전자 폐기물(e-waste) 문제가 이전 연구보다 훨씬 심각하다는 새로운 보고서가 경고합니다. 이 보고서에 따르면 2050년까지 AI 관련 폐기물은 2,300만 개의 선적 컨테이너를 채울 수 있으며, 이는 지구를 여섯 바퀴 돌 수 있는 40피트 컨테이너 약 2,300만 개에 해당합니다.

이러한 추정치는 이전 연구들보다 훨씬 높은 수치인데, 이는 새로운 보고서의 저자들이 데이터 센터 서버를 지원하는 데 필요한 모든 인프라를 고려하여 더 광범위한 범위를 측정했기 때문입니다. 이 보고서는 비영리 단체인 바젤 행동 네트워크(Basel Action Network, BAN)에서 발표했습니다.

이러한 광범위한 범위는 AI가 남기는 폐기물의 실질적인 규모를 더 명확하게 보여주며, 데이터 센터 인프라 전체를 고려해야만 AI가 초래하는 환경적 부담을 정확히 파악할 수 있습니다.

Claude Cowork 기능과 채팅 기능이 통합되어 사용자가 작업마다 별도의 공간을 선택할 필요 없이 어떤 대화에서든 기존의 맥락, 스킬, 커넥터를 활용하여 업무를 처리할 수 있게 되었습니다. 이는 사용자가 복잡한 작업 흐름을 관리하는 데 필요한 공간 선택의 번거로움을 줄이고, 대화의 흐름 속에서 바로 필요한 기능을 활용하여 효율적으로 업무를 맡길 수 있도록 지원합니다.

또한 Claude 서비스에 Claude Docs와 Claude Slides 기능이 새로 추가되었으며, Claude Design 기능까지 대화 안에서 작동하도록 통합되었습니다. 이러한 새로운 기능들은 사용자가 대화만으로 문서 작성, 프레젠테이션 제작, 디자인 작업을 수행할 수 있게 하여 작업의 연속성과 효율성을 크게 높입니다.

이러한 Claude Docs, Claude Slides, Claude Design 기능들은 모두 유료 플랜에서 제공됩니다. 따라서 사용자는 유료 플랜을 통해 통합된 환경에서 기존의 맥락과 스킬을 활용하여 더욱 복합적인 업무를 처리할 수 있습니다.

백업은 간단하지 않으며 데이터 손실은 우리가 예상하는 것보다 훨씬 자주 발생하고 준비되지 않은 상태에서 발생할 수 있습니다. 단순히 파일을 복사하는 것을 넘어, 하드웨어 오류나 랜섬웨어 같은 다양한 위험에 대비하기 위해 백업 전략을 고도화해야 합니다.

데이터 손실을 최소화하기 위해서는 복제(mirroring) 방식 대신 스냅샷을 활용하는 방법이 필요하며, 이는 복구 시점을 정의하는 복구 목표 시점(RPO)을 설정하는 것에서 시작됩니다. RPO는 금융 기관에서는 30초 미만일 수 있지만, 소규모 기업에서는 24시간 이상을 허용할 수 있으며, 스냅샷을 자주 생성하면 저장 공간 부담이 커지므로 백업을 주기적으로 순환(rotate)해야 합니다.

효율적인 관리를 위해 백업 주기를 조정해야 하는데, 최근 데이터의 중요도가 높으므로 최근에는 더 자주 스냅샷을 생성하고 오래된 백업을 정리하는 방식이 권장됩니다. 또한 물리적 보안을 위해 3-2-1 규칙(3개의 사본, 2가지 유형의 매체, 1개의 오프사이트)을 적용하여 재해에 대비해야 합니다.

클라우드 객체 저장소(예: Amazon S3)를 사용할 때 파일 메타데이터 손실과 비용 문제를 피하기 위해 파일을 압축하여 저장하는 것이 유리하며, 직접 백업 시스템을 구축하기보다는 Borg나 Restic과 같은 검증된 오픈소스 도구를 사용하는 것이 효율적입니다. 모든 복잡성을 추상화하고 정기적으로 복구를 테스트하는 것이 중요합니다.

밸브는 스팀OS 기반의 스팀 프레임(Steam Frame)을 구동하기 위해 기존 프로톤(Proton) 외에 새로운 호환성 계층을 개발하고 있습니다. 이 새로운 계층들은 아키텍처에 새로 도입된 것으로, Arm 칩셋과 Android APK를 스팀 생태계로 가져오는 것을 목표로 합니다.

이 중 첫 번째 계층인 FEX는 오픈 소스 프로젝트인 fex-emu를 포팅한 것으로, Arm 칩셋에서 x86 프로세서 명령어를 에뮬레이션합니다. Fex-emu는 현대적인 x86(-64) 명령어 세트의 모든 확장 기능을 지원하는 고급 바이너리 재컴파일러이며, 오버헤드를 줄이고 끊김을 최소화하기 위해 코드 캐싱을 사용합니다. 또한 OpenGL 및 Vulkan과 같은 그래픽 라이브러리에 호출을 하여 성능을 개선합니다.

밸브는 이 프로젝트를 위해 개발자 라이브러리가 신뢰할 수 있을 만큼 견고해지기까지 약 10년의 작업이 필요할 것으로 예상하며 Fex의 주요 개발자인 라이언 후덱(Ryan Houdek)을 지원해 왔습니다. 이는 기존 프로톤이 Wine 변환 도구를 기반으로 한 것과 달리, 하드웨어 아키텍처 차원에서 새로운 호환성 레이어를 구축하려는 시도입니다.

메타가 '변태 안경' 판매 의혹에 직면하면서 카메라가 없는 스마트 안경을 출시할 준비를 하고 있습니다. 이는 카메라가 장착된 스마트 안경이 시장에서 성공적이었지만 일부 소비자들에게 침해적인 감시 사회의 상징으로 인식되었다는 비판에 대한 대응입니다.

메타는 현재 카메라 장비 없이도 제품을 판매하기 위해 새로운 스마트 안경 모델인 루나(Luna)를 개발하고 있습니다. 루나는 카메라 대신 회사의 AI 챗봇과 AI 소비자 에이전트인 뮤즈(Muse)와 소통할 수 있는 시스템을 탑재합니다. 이 안경에는 사용자가 챗봇과 소통할 수 있는 여섯 개의 내장 마이크와 AI 시스템을 활성화하는 측면 버튼이 포함되어 있습니다.

루나는 다음 주에 메타의 연례 하드웨어/개발자 이벤트인 메타 커넥트에서 공개될 예정입니다. 스마트 안경 산업은 성장했지만 사용 편의성, 비용, 개인 정보 보호에 대한 우려가 지속되어 왔습니다. 특히 메타의 리얼리티 랩스 부문은 여전히 막대한 손실을 기록하고 있어, 이러한 신제품 출시가 회사의 재정적 상황에 어떤 영향을 미칠지 주목됩니다.

샤오미의 Mimo 2.6 모델에 대한 라이브 후처리 학습 대시보드가 공개되었습니다. 이 대시보드는 개발자들이 Mimo 2.6 모델의 후처리 학습 과정을 실시간으로 모니터링하고 관리할 수 있도록 돕는 기능을 제공합니다.

해당 대시보드는 모델 학습 및 배포 과정에서 발생하는 후처리 단계의 상태를 시각적으로 파악할 수 있게 하여 작업 효율성을 높이는 데 중점을 둡니다. 개발자들은 이를 통해 학습 과정의 진행 상황과 잠재적인 문제를 즉각적으로 확인하고 관리할 수 있습니다.

이 기능은 Mimo 2.6 모델을 활용하는 사용자들에게 복잡한 후처리 작업을 보다 투명하고 효율적으로 수행할 수 있는 환경을 제공합니다. 구체적인 사용 방법과 기술적 세부 사항은 해당 링크를 통해 확인할 수 있습니다.

최신 웹사이트는 정상적으로 보이지만 악성 자바스크립트가 수익을 빼가거나 클릭을 가로채는 등의 행위를 은밀하게 수행할 수 있습니다. 클라우드플레어의 클라이언트 측 보안 머신러닝 모델인 Page Shield ML은 이러한 회피성 클라이언트 측 공격을 탐지하여 분석가에게 노출합니다.

이 시스템은 8개의 악성 페이로드를 실시간 트래픽에서 포착했으며, 이는 기존의 보안 스캐너나 VirusTotal에서 탐지되지 않았던 공격을 발견했음을 의미합니다. Page Shield ML은 자바스크립트 자체를 분석하여 코드가 어떤 의도를 가지고 실행되는지 그래프 형태로 파악함으로써, URL이나 바이트 서명에 의존하지 않고 악성 패턴을 식별합니다.

공격자는 디바이스, 시간, 브라우저 상태 등 환경적 요소를 고려하여 코드를 선택적으로 실행시키기 때문에, 단 한 번의 스캔으로는 공격을 탐지하기 어렵습니다. 따라서 공격이 실제로 어떤 동작을 수행하는지, 어떤 연결을 시도하는지 등 동적인 맥락을 지속적으로 관찰하는 것이 공격을 포착하는 데 결정적인 차이를 만듭니다.

클라우드플레어 클라이언트 측 보안은 이러한 지속적인 가시성을 제공하며, 보안 설정에서 스크립트 활동을 추적하고 악성 스크립트를 자동으로 탐지하고 알림을 제공하는 기능을 지원합니다. 이를 통해 개발자는 웹사이트의 클라이언트 측 실행 환경에 대한 심층적인 통제력을 확보할 수 있습니다.

X가 미국 사용자들이 캐시태그를 통해 주식 거래를 할 수 있도록 허용하는 기능을 출시했습니다. 이 새로운 기능은 X 타임라인에서 주식 티커를 거래 가능한 자산으로 전환하여, 사용자들이 시장 논의와 실제 거래 사이의 간극을 좁히는 것을 목표로 합니다.

이 기능을 통해 사용자는 캐시태그를 탭하여 해당 자산의 실시간 차트와 관련 대화를 확인하고, 참여하는 증권사 파트너를 통해 즉시 거래를 실행할 수 있습니다. Interactive Brokers, Moomoo, Gemini, Kraken, Coinbase 등이 초기 파트너로 참여하여 금융 대화와 행동을 연결하는 데 중점을 두고 있습니다.

이는 금융 대화가 발견과 대화에서 실제 행동으로 원활하게 이어지도록 하며, 사용자들이 X에서 정보를 발견하고 대화하며 실시간으로 행동할 수 있게 합니다. 하지만 이러한 연결 방식은 AI 기반 봇이나 스패머와 같은 악의적인 행위자들이 대화의 흐름을 조작하여 시장 조작을 유발할 가능성도 내포하고 있습니다.

2026년 10월 아마존 프라임 빅 딜 데이가 시작되기 전에 가격을 조사하고 제품을 추적하는 방법을 전문가처럼 익히는 것이 중요합니다. 이 가이드는 아마존 세일 기간 동안 구매자들이 최적의 딜을 잡고 불필요한 지출을 피할 수 있도록 실질적인 조사 및 추적 전략을 제공합니다.

아마존 세일 기간에는 수많은 할인 상품이 등장하기 때문에, 단순히 눈에 보이는 가격만 확인해서는 안 됩니다. 성공적인 쇼핑을 위해서는 판매자의 가격 변동 추이와 과거 데이터를 분석하여 진정한 '빅 딜'을 식별하는 방법을 숙지해야 합니다. 이러한 조사 기술은 구매자가 가장 합리적인 가격으로 원하는 제품을 확보하는 데 결정적인 역할을 합니다.

이 가이드는 사용자가 아마존 플랫폼에서 가격을 효과적으로 모니터링하고, 특정 제품의 가격 변화를 추적하며, 잠재적인 할인 기회를 놓치지 않도록 돕는 구체적인 방법을 안내합니다. 따라서 세일 기간 동안 현명한 소비를 하기 위해 사전에 이 정보를 숙지하는 것이 필수적입니다.

캘리포니아주는 트럼프 행정부의 요구에 따라 주 차원의 인터넷 서비스 제공업체(ISP)에 대한 순회(net neutrality) 규제 집행을 포기할 경우 연방 광대역 보조금 자금 18억 6천만 달러를 수령할 수 있는 상황입니다.

이는 트럼프 행정부가 작년에 대규모 광대역 형평성, 접근성 및 배포(BEAD) 프로그램 개편 과정에서 주들이 자금을 받는 ISP에 대해 요금 규제나 순회 규칙을 집행하지 않기로 동의해야 한다는 입장을 확립했기 때문에 발생합니다. 캘리포니아주는 이전에 주 차원의 순회 법을 방어하기 위해 오랜 법정 다툼에서 승소한 바 있습니다.

캘리포니아의 순회 법은 ISP가 합법적인 트래픽을 차단하거나 속도를 조절하는 것을 금지하며, 인터넷 사용자에게 트래픽 우선순위를 제공하기 위해 웹사이트나 온라인 서비스로부터 수수료를 요구할 수 없도록 규정하고 있습니다.

두 번째 트럼프 행정부는 연방 광대역 자금을 주 차원의 순회 법 집행 여부에 조건부로 만들려는 시도를 통해 유사한 결과를 달성하고자 합니다. 따라서 캘리포니아의 순회 법이 연방 자금 조건에 의해 영향을 받을 가능성이 있습니다.

Automattic의 최고재무책임자(CFO) 마크 데이비스와 법무 책임자 앤디 미산이 매트 멀레너그(Matt Mullenweg)가 자리를 비운 동안 상호 해고 합의를 체결했습니다. 이 합의는 두 사람이 퇴사 조건이 충족될 경우 1년간의 급여와 추가적인 스톡옵션 베스팅을 제공하는 내용을 담고 있습니다.

이러한 합의는 멀레너그의 리더십 변화 시기에 회사의 주요 임원들이 퇴사 과정에서 보상 조건을 확정했음을 보여줍니다. 구체적으로 데이비스와 미산은 각자의 퇴사가 관련 혜택을 충족할 경우 추가적인 금전적 보상과 주식 관련 이익을 확보하게 되었습니다.

이는 회사 내 주요 인력의 이탈과 관련된 보상 구조에 대한 구체적인 사례를 제공합니다. 해당 계약 조건은 퇴사 시점과 관련 법적 요건에 따라 달라질 수 있으므로, 실제 보상 규모는 개별 상황에 따라 달라질 수 있다는 점을 고려해야 합니다.

OpenAI가 ChatGPT 광고를 클릭했을 때 기업이 후원하는 에이전트와 대화할 수 있는 새로운 기능인 스폰서드 에이전트(Sponsored Agents)를 미국 일부 광고주와 테스트하고 있습니다. 이 기능은 사용자가 광고를 통해 특정 기업과 연관된 에이전트와 직접 상호작용할 수 있도록 하여 광고와 실제 대화 경험을 연결하는 것을 목표로 합니다.

테스트 결과에 따르면, 후원 에이전트와의 대화는 사용자에게 명확하게 표시되어 사용자가 어떤 대화가 광고와 관련되어 있는지 쉽게 인지할 수 있습니다. 또한, 이러한 에이전트와의 대화는 ChatGPT의 독립적인 답변이나 사용자의 기존 대화 내용과 완전히 분리되어 진행됩니다.

이는 광고 플랫폼과 AI 에이전트 간의 상호작용을 공식적으로 허용하며, 사용자 경험을 유지하면서도 광고 수익을 창출할 수 있는 새로운 모델을 제시합니다. 광고주는 자사의 제품이나 서비스와 관련된 정보를 AI를 통해 직접 얻을 수 있는 새로운 경로를 확보하게 됩니다.

애플이 최신 macOS 버전을 다운로드하고 설치할 수 있도록 공식적으로 출시하면서 시리(Siri)의 재도입이 주요 화제가 되고 있습니다. 이번 업데이트는 사용자 경험과 새로운 기능에 중점을 두고 있으며, 개발자 및 사용자들은 새로운 macOS 환경에서 어떤 기능들이 추가되었는지 확인하고 있습니다.

이번 macOS 업데이트는 시리를 다시 통합하여 시스템 내에서 더욱 자연스럽게 상호작용할 수 있도록 하는 데 초점을 맞추고 있습니다. 이는 사용자들이 애플 생태계 내에서 더욱 효율적이고 직관적인 방식으로 작업을 수행할 수 있도록 돕는 중요한 변화입니다.

사용자들은 새로운 macOS 버전에서 추가된 주요 기능들을 탐색하고 있으며, 특히 시리의 재도입이 시스템 통합에 어떤 영향을 미쳤는지에 주목하고 있습니다. 개발자 입장에서는 새로운 API나 시스템 변화에 맞춰 애플리케이션을 최적화해야 하는 맥락에서 이번 업데이트의 세부 사항을 확인하는 것이 중요합니다.

최첨단 언어 모델이 물리학 문제 해결에 얼마나 능숙한지에 대한 전문가 재평가 결과, 기존 벤치마크의 평가 오류와 주요 벤치마크의 포화 상태가 드러났습니다. 인공지능 지표에서 보고된 낮은 점수는 최신 모델들이 과학적 추론 및 정량적 문제 해결 능력을 요구하는 고급 물리학 분야에서 여전히 어려움을 겪고 있음을 시사합니다.

연구진은 이 문제를 해결하기 위해 여섯 가지 널리 사용되는 물리학 벤치마크에서 최첨단 모델들을 평가하고 전문가들의 검토를 통해 평가를 감사했습니다. 이 과정에서 초기 평가 오류의 대부분은 모델 자체의 물리적 추론 오류가 아니라 벤치마크의 문제 설정이나 참조 해답의 오류에서 비롯된 것으로 나타났습니다.

전문가들이 오류를 수정하고 잘못된 질문을 제외하는 과정을 거친 후, GPT-5.6-Sol의 측정된 평균@4 점수는 HLE-Physics에서 47.3%에서 78.7%로, CMT-Benchmark에서 61.0%에서 87.2%로 크게 상승했습니다. 특히 전문가 검토를 거친 후 보정된 통과@4 점수는 54개의 CritPt 도전을 통과하여 94.4%에 도달했습니다.

이러한 결과는 현재의 벤치마크들이 최첨단 모델들의 잘 정의된 물리학 문제를 해결하는 능력을 과소평가하고 있음을 보여줍니다. 따라서 향후에는 전문가가 검증한 더욱 까다로운 평가 기준을 통해 모델 능력을 측정할 필요가 있습니다.