읽을 가치가 있는 기사만, 짧고 또렷하게.

생물학을 전공한 치과 원장이 AI 코딩 에이전트와 로컬 AI를 활용하여 병원 업무를 직접 자동화한 사례가 주목받고 있습니다. 이는 전문 분야 지식과 최신 AI 기술을 결합하여 실제 비즈니스 환경에서 효율성을 극대화한 구체적인 사례입니다.

이러한 자동화 과정은 네트워크 환경 구축에서 시작되었습니다. 병원 네트워크 공사비가 과도하게 책정되어 비용 절감을 위해 원장이 직접 랜선 설치, 스위치 장착, 공유기 설정을 진행하며 기술적 이해를 높였습니다.

이후 병원 환경에 사용자 친화적인 UniFi 기반으로 네트워크를 구성하면서, AI 자동화와 효율적인 인프라 구축이 어떻게 시너지를 낼 수 있는지 보여줍니다. 이는 고비용의 인프라 구축 대신 로컬 AI와 같은 기술을 활용하여 실제 업무 프로세스를 혁신하는 데 기술이 어떻게 적용될 수 있는지 시사합니다.

합리주의 블로그 문화에서는 글의 장황함이 철저함을 대신하는 경향을 보입니다. 많은 분량을 작성했다는 사실 자체가 그 내용이 말할 가치가 있는 증거로 취급되는 현상이 나타납니다.

이러한 문화는 세부 사항이나 미묘한 뉘앙스를 쌓는 데 집중하기보다는 글의 출발점과 근본적인 가정을 검토하는 데 중점을 둡니다. 즉, 깊이 있는 논의를 위해 기초적인 가정들을 먼저 확인하는 방식이 선호됩니다.

결과적으로 합리주의 블로그는 단순히 인기 있는 텍스트를 나열하는 것을 넘어 철학적인 관점을 확장하는 방향으로 발전하고 있습니다. 이는 글의 양이 질을 보장하는 기준이 되며, 독자들에게 더 넓은 철학적 맥락을 제공하려는 시도로 해석됩니다.

데이터 포 프로그레스가 미국 성인 1,098명을 대상으로 1995년 설문과 비교한 결과, 2026년에는 여러 주요 사회 활동의 연간 참여율이 두 자릿수 퍼센트포인트 감소한 것으로 나타났습니다. 이는 지난 30년간 미국인의 사회 활동 참여 수준이 급격히 줄어들었음을 보여주는 통계입니다.

구체적인 예로 지난 12개월간 집에 사람을 초대한 비율은 88%에서 67%로 감소했으며, 이는 사회적 상호작용의 감소를 반영합니다. 또한 교회나 예배 장소에 참석한 비율 역시 감소 추세에 있습니다.

이러한 감소는 미국 사회 전반의 관계 및 참여 패턴 변화를 시사하며, 개인의 삶에서 사회적 연결망이 약화되고 있음을 의미합니다. 이러한 통계는 사회적 활동의 감소가 단순히 개인적인 현상을 넘어 광범위한 사회적 변화의 결과임을 강조합니다.

AI 에이전트를 로컬 서버, 원격 서버, Kubernetes 환경에서 동일한 실행 구조로 운영하고자 하는 개발자를 위한 도구인 Mecatl이 공개되었습니다. 이 도구는 AI 에이전트의 실행 루프, 모델, 저장소, 파일 시스템, 사용자 인터페이스(UI) 등 핵심 구성 요소를 분리하여 각 부분을 자유롭게 교체할 수 있는 유연성을 제공합니다.

개발자는 이러한 모듈화 덕분에 특정 환경이나 요구사항에 맞춰 에이전트의 각 구성 요소를 독립적으로 변경하고 관리할 수 있습니다. 이는 인프라에 구애받지 않고 AI 에이전트 시스템을 구축하고 배포하는 데 큰 이점을 제공합니다.

또한 Mecatl은 도구 호출 및 권한 승인, 훅(hook) 기능, 대화 압축 기능을 지원하여 복잡한 에이전트 기능을 구현할 수 있도록 돕습니다. 나아가 하위 에이전트와 팀 작업 기능을 지원함으로써 여러 에이전트 간의 협업 환경을 구축하는 데도 활용될 수 있습니다.

Disrupt 2026 스타트업 배틀필드 결선에 참가하는 다섯 개 회사가 공개되었습니다. 이번 배틀필드는 우주 및 물리 AI, 에너지 및 제조, 헬스 테크 및 생명 과학, 그리고 기업 및 보안 네 가지 카테고리로 진행되었으며, 최종 우승자는 스타트업 배틀필드 컵과 10만 달러의 지분 없는 상금을 받게 됩니다.

최종 진출한 회사들은 인공지능, 생명 공학, 자율 시스템 등 다양한 분야에서 혁신적인 솔루션을 선보였습니다. Apate.ai는 사기꾼을 유인하기 위해 다양한 인물의 목소리와 외모를 모방하는 AI 에이전트를 개발했으며, Flox Intelligence는 야생동물을 쫓아내는 데 전통적인 방식 대신 환경 인식 시스템을 활용하는 시스템을 구축했습니다.

또한, Intero Biosystems는 인체 장기를 모방한 배양 조직인 인트레스 바이오시스템을 개발하여 약물 테스트에 활용할 수 있는 인간 장기 오가노이드를 연구하고 있습니다. Industrial Next는 독점 파운데이션 모델을 기반으로 AI 구동 로봇 스테이션을 구축하여 제조 공정을 단시간에 자동화하는 기술을 제시했습니다.

Satlyt는 여러 위성이 우주 공간에서 대규모 컴퓨팅 작업을 공유할 수 있도록 설계된 소프트웨어를 개발하며 우주 내 컴퓨팅 클라우드 구축을 목표로 하고 있습니다. 이처럼 이번 결선은 AI와 첨단 기술이 물리적 세계, 생명 과학, 우주 탐사 등 광범위한 산업 분야에 어떻게 적용될 수 있는지 보여줍니다.

QA Wolf는 데스크톱 애플리케이션 테스트를 위해 일회용 가상 머신(VM)을 사용하는 구조를 구현했습니다. 이 방식은 테스트마다 Windows VM을 한 번만 사용하고 폐기함으로써 리소스를 효율적으로 관리합니다. 테스트 코드는 Linux 환경에서 실행되며, Windows 애플리케이션은 원격으로 제어되어 테스트가 진행됩니다.

이러한 테스트 환경은 Kubernetes의 기존 기기 스케줄러를 활용하여 관리됩니다. 기기 스케줄러는 부팅과 로그인을 완료한 VM 풀을 관리하며, 이를 통해 테스트 환경의 준비 상태를 효율적으로 유지할 수 있습니다.

이는 Linux 환경에서 실행되는 테스트 코드가 Windows 데스크톱 앱을 테스트할 수 있도록 하는 새로운 접근 방식을 제시합니다. 개발자는 복잡한 운영체제 간의 상호작용을 효율적으로 관리하며 테스트 인프라를 구축할 수 있습니다.

N100 미니 PC를 활용하여 총 28개의 서비스를 셀프호스팅하는 개인 운영 사례를 소개합니다. 이 사용자는 스트리밍 비용과 끊임없는 추천, 자동 재생 기능을 피하기 위해 Jellyfin으로 전환했으며, 이후 1년 반 동안 사진, 음악, 재무 관리 등의 영역으로 셀프호스팅 범위를 확장했습니다.

이러한 경험을 통해 개인은 미니 PC를 활용하여 다양한 미디어 및 개인 관리 서비스를 직접 운영하는 방법을 실현했습니다. 특히 Jellyfin을 도입하여 스트리밍 관련 비용과 추천 알고리즘의 제약을 피하고 개인화된 미디어 환경을 구축하는 데 중점을 두었습니다.

이러한 셀프호스팅 환경을 구축할 때 보안과 관련된 고려 사항이 중요합니다. 해당 서비스들은 라우터의 VPN 서버를 제외하고는 인터넷에 직접 공개하지 않으며, 가능하면 네이티브로 실행하여 보안성을 높이는 것이 권장됩니다. 이는 개인 데이터와 서비스의 프라이버시를 보호하면서 효율적인 홈 서버 환경을 구축하는 데 중요한 맥락을 제공합니다.

nytpu.com은 브라우저 페이지 외에도 터미널 환경에서 볼 수 있는 ANSI 서식 버전을 제공합니다. 사용자는 curl 명령어를 사용하여 사이트와 블로그 전체를 탐색할 수 있습니다.

홈 및 소개 페이지는 ANSI 이스케이프 코드를 직접 삽입하여 작성됩니다. 이는 웹 페이지의 시각적 표현을 텍스트 기반으로 커스터마이징하는 방식을 사용함을 의미합니다.

블로그 콘텐츠는 자체 마크업 언어인 Gem...을 사용하여 작성됩니다. 따라서 이 사이트는 일반적인 웹 페이지 구조를 넘어 터미널 기반의 접근성과 사용자 정의 가능한 서식에 중점을 두고 개발되었습니다.

모질라가 엄격한 보안, 거버넌스, 규정 준수 요구 사항을 가진 조직을 위해 Firefox Enterprise를 공개했습니다. 이 솔루션은 Firefox 브라우저와 조직 자체 인프라에서 운영할 수 있는 관리 콘솔을 결합하여 엔터프라이즈 환경에 최적화된 보안 및 관리 기능을 제공합니다.

Firefox Enterprise는 IT 팀이 브라우저 정책과 접근 권한을 중앙에서 관리할 수 있도록 지원합니다. 이를 통해 조직은 모든 사용자 기기에 걸쳐 일관된 보안 정책을 적용하고 규정 준수를 효과적으로 확보할 수 있습니다.

관리 콘솔을 통해 조직은 브라우저 사용에 대한 정책을 설정하고 접근 권한을 제어할 수 있습니다. 이는 보안 위험을 최소화하고 데이터 거버넌스를 강화하는 데 필수적인 기능입니다.

이러한 통합은 조직이 복잡한 규제 환경 속에서 브라우저 보안과 사용자 접근을 효율적으로 관리할 수 있도록 돕습니다. Firefox Enterprise는 보안과 운영 효율성을 동시에 추구하는 기업 환경에 실질적인 해결책을 제시합니다.

희소 자동 인코더(SAE)는 언어 모델 활성화를 희소 특징으로 분해하지만, 요청을 보존하도록 설계된 프롬프트 변환이 이러한 특징들 간에 활동을 재분배할 수 있다는 점이 밝혀졌습니다. 이는 한 변환에서 관찰된 특징 변화가 반드시 반복될 필요가 없으며, 반복되는 변화가 다운스트림 계산에 영향을 미치지 않을 수도 있음을 의미합니다.

연구진은 이러한 현상을 분석하기 위해 재분배 민감도 점수(Redistribution Sensitivity Score, RSS)를 도입했습니다. RSS는 일관된 방향으로 반복되는 큰 특징 반응을 식별하며, 선택에서 제외된 변형들에 대한 결과 지지도를 평가합니다. 8개의 언어 모델에 걸친 27개의 사전 학습된 SAE를 통해 테스트한 프롬프트 변환들은 제외된 변형들에 대해 재현 가능한 재분배 프로파일을 생성했습니다.

연구는 반복되는 표현 변화와 가중치 출력 기여 및 결정 실패를 분리하는 데 중점을 두었습니다. 고정된 선형 읽기(linear readout)의 경우, 반응 크기, 읽기 계수, 방향 정렬, 그리고 클린 마진이 다운스트림 결과에 어떻게 영향을 미치는지 정확하게 분해하여 보여줍니다.

두 개의 고정된 안전 읽기(safety readouts)에서 RSS 지지도 침식과 전체 클린 마진을 결합하면, 전체 침식(full erosion)을 사용한 경우와 비교하여 중간 지지도 20 및 19 특징을 사용하여 반복적인 실패 AUROC가 각각 0.935와 0.958로 나타났습니다. 따라서 RSS는 표현 변화를 실패와 동일시하지 않으면서 반복되는 희소 표현 변화를 식별하고 다운스트림 읽기에 대한 기여도를 정량화하는 방법을 제공합니다.

대화형 에이전트로 사용되는 대규모 언어 모델(LLM)은 사실적 환각(factual hallucination) 외에 대화 과정의 의도에서 벗어나는 절차적 환각(procedural hallucination)이라는 다른 실패 모드를 보이고 있습니다. 이는 에이전트가 개별적으로 유창하고 사실적으로 그럴듯한 발언을 생성하지만 의도된 대화 과정을 벗어나는 현상을 의미합니다. 이러한 문제를 측정하기 위해 연구진은 원시 대화 텍스트에 대한 최초의 벤치마크인 DialFork를 소개했습니다.

DialFork는 준수하는 대화(conformant dialogues)를 특정 턴 위치에서 포크하고 네 가지 환각 유형 중 하나를 주입하여 구축되었으며, 12개 도메인에서 24가지 작업에 걸쳐 36,278개의 대화를 생성했습니다. 이 데이터는 30명의 인간 주석가에 의해 검증되었으며, 대화의 편차를 세 가지 세분화된 수준으로 측정하는 세 가지 평가 작업을 정의합니다. 이는 배포된 에이전트를 모니터링하는 것, 단일 대화의 편차를 측정하는 절차적 검색, 그리고 대화가 처음으로 궤도를 벗어나는 턴을 확인하는 것입니다.

연구진은 대화의 내용보다는 전개 방식에 따라 대화를 비교하는 dialog-flow-aware 지표인 FlowKL과 FlowScore를 제안했습니다. 대화 수준에서 FlowScore는 일곱 가지 인코더 전반에 걸쳐 모든 기준 모델을 크게 능가하며, 의미적 유사성이 절차적 유사성을 대체할 수 없음을 보여줍니다. DialFork는 MIT 라이선스로 공개되었으며, 커뮤니티가 내용뿐만 아니라 대화 과정을 측정할 수 있기를 기대하며 https://github.com/idiap/dialfork에서 사용 가능합니다.

인간과 AI 에이전트가 장기 목표 작업을 협력할 때 에이전트의 기여도는 어떻게 달라지는지에 대한 연구를 위해 새로운 데이터셋 Kolab이 소개되었습니다. 이 데이터셋은 40개 직업의 50명 전문가가 현실적인 장기 목표 문제에 대해 에이전트와 협력하는 115시간 이상의 화면 녹화본과 참여자들의 협업 및 결과물 품질 판단을 포함하고 있습니다.

기존의 에이전트 벤치마크는 주로 자동화에 초점을 맞추었기 때문에, 실제 세계에서의 효과적인 협업을 측정하는 데는 한계가 있었습니다. Kolab 분석 결과는 전문가들이 에이전트와 협력하는 다양한 패턴을 보여주며, 전문가들이 에이전트와 언제, 어떻게 조정하는지가 중요함을 강조합니다. 협력적인 에이전트는 자동화 벤치마크가 테스트하지 않는 두 가지를 수행해야 합니다. 바로 전문가가 에이전트의 기여를 채팅 창을 벗어난 후 수용할지, 수정할지, 거부할지를 예측하고, 지속적인 전문가 피드백 없이 작업 흐름에서 협업 품질을 평가하는 것입니다.

연구 결과에 따르면, 최첨단 모델들은 전문가와의 협업을 과대평가하며 고품질 및 저품질 협업을 구별하는 데 어려움을 겪습니다. 또한 작업 흐름의 맥락이 길어진다고 해서 이러한 예측이 일관되게 개선되지는 않았습니다. 따라서 Kolab 데이터셋은 최첨단 에이전트가 전문가와의 장기 협업을 아직 이해하지 못한다는 점을 고려하여, 실제 전문적인 작업 흐름에 기반한 인간-에이전트 협업을 연구하는 데 매우 가치 있는 자료로 자리매김합니다.

분할 언어 모델은 입력 텍스트를 클라이언트에 유지하면서 중간 표현을 서버로 전송하기 때문에, 이 메시지를 통해 공격자가 텍스트를 재구성할 수 있습니다. 공격자가 서로 다른 메시지, 모델 가중치, 데이터셋, 복구 조치를 볼 경우 개인 정보 보호 평가를 비교하는 것이 매우 어렵습니다. 이러한 문제를 해결하기 위해 연구진은 이러한 선택 사항을 기록하고 평가를 확인, 비교, 확장할 수 있는 프레임워크인 LLM-Attacker를 제시했습니다.

LLM-Attacker는 호환 가능한 공격이 기록된 메시지를 재사용하고 예측을 독립적으로 평가할 수 있도록 저장하는 기능을 제공합니다. 방어책이 통과하기 위해서는 방어되지 않은 참조가 연결되어 있어야 하는 점수 규칙을 요구하며, 보고서는 아직 테스트되지 않은 공격도 식별합니다.

실제 GPT-2 실험에서는 훈련 중 반환된 기울기(gradients)를 추가했을 때 토큰 복구율이 94.20%에서 97.38%로, 정확한 문서 복구율이 13.71%에서 37.77%로 증가하는 것으로 나타났습니다. 이 실험은 토큰 증가에 대한 95% 구간이 테스트 전에 설정된 두 퍼센트 포인트 임계값을 상회했음을 보여줍니다.

향후 연구에서는 코퍼스 선택과 압축 방어책이 복구에 미치는 영향, 수정된 공개 공격과 참조 구현 간의 비교, 측정 코드 테스트 등을 통해 추가적인 분석을 수행할 예정입니다. 각 개인 정보 보호 주장은 공격자, 데이터셋, 점수 규칙, 통제 사항을 명시하고 테스트되지 않은 공격을 식별해야 합니다.

언어 모델을 민감한 데이터로 훈련할 때 능력 향상과 개인 정보 유출 위험 사이의 균형을 맞추는 방법에 대한 실증적 연구 결과를 제시합니다. 연구진은 합성 의료 기록과 캐나리(canaries)를 사용하여 정보 유출을 탐지함으로써 데이터 수준 및 훈련 수준의 개입 방법을 비교했습니다.

직접 미세 조정(Direct finetuning)은 능력 지표 면에서는 가장 우수하지만 가장 많은 개인 정보 유출을 발생시키는 반면, DP-SGD(Differential Privacy Stochastic Gradient Descent)는 유출을 줄이는 대신 능력에 상당한 비용을 요구합니다. 반면, 개인 정보를 대체하도록 유니크함 인식 지침(uniqueness-aware instruction)에 의해 안내된 방식으로 합성 데이터를 생성하는 것이 더 유리한 균형을 제공합니다.

또한, 단순한 패러프레이징과 비교했을 때 개인 정보 인식 재작성(privacy-aware rewriting)은 다양한 재작성 모델 전반에 걸쳐 개인 정보 보호를 개선했습니다. 연구는 더 능력이 뛰어난 재작성 모델이 다운스트림 개인 정보 유출 위험을 일반적으로 줄인다는 것을 발견했습니다.

다만, 홀드아웃 적합도(held-out fit)는 단조롭게 개선되지 않았으며, 테스트 시간 컴퓨팅(test-time compute) 증가는 일관성 없는 이득을 가져왔습니다. 이러한 결과는 다른 훈련 수준 방법들에 비해 개인 정보 인식 재작성이 능력과 경험적 개인 정보 보호 사이의 더 유리한 균형을 달성하는 유망한 방향임을 강조합니다.

추론 모델이 일상적인 추론을 어떻게 처리하는지에 대한 연구 결과가 발표되었습니다. 화자가 "일부 학생들이 합격했다"고 말할 때 청자는 모든 학생이 합격하지 않았음을 추론하는데, 이러한 추론에 모델의 추가적인 사고 과정이 어떤 영향을 미치는지 연구했습니다.

연구진은 모델의 가중치는 고정한 채 사고하는 시간을 변경하고 모델이 선택하는 읽기 결과를 기록하여 이 현상을 직접 분석했습니다. 또한 모델의 추론 과정을 연속적인 지점에서 자르고 답변을 요구하는 도구를 사용하여 읽기가 변화하는 지점을 확인했습니다.

연구 결과, 사고 과정은 모델이 논리적 단어를 논리 자체로 읽게 만들며, 대부분의 테스트된 오픈 추론 모델과 GPT-5에서 '일부(전부는 아님)' 및 '또는(둘 다 아님)'의 함축(implicatures)을 취소하는 것으로 나타났습니다. 모델은 먼저 풍부한 읽기를 수용했다가 나중에 이를 취소하는 방식으로 작동합니다.

이러한 과정을 통해 초기 읽기에서 답변을 도출하는 탐색적인 추론 시간 보완책은 문자 그대로의 정확성을 잃지 않으면서 함축을 복구할 수 있음을 보여줍니다. 따라서 추론 모델의 평가는 단순히 정확도뿐만 아니라 모델이 정보를 해석하는 방식도 측정해야 합니다.

다중 스펙트럼 데이터 분석에서 모델의 설명(explanation)을 제공하는 기존 방식은 공간적 국소성과 물리적 의미를 갖는 채널 관련성이 공간적으로 국소화되어 있기 때문에 한계가 있습니다. 연구진은 이러한 한계를 극복하기 위해 위치-채널 플레이어(position-channel players, g,c)에 대한 전체 그리드 기반 귀인 방법인 Spectral-Spatial Interpretation(SSI)을 제안합니다.

SSI는 각 공간 위치별로 주변 문맥을 고정하고 해당 위치의 채널에 대한 조건부 게임을 정의한 다음, 이 국소 게임에 섀플리 값(Shapley value)을 적용하여 결과를 도출합니다. 이 방법은 단일 히트맵이나 전역 채널 순위 대신 전체 스펙트럼-공간 귀인 행렬을 생성하며 명확한 국소적 해석을 제공합니다.

SSI는 각 위치 내에서 섀플리 공정성을 만족시키며, 채널 귀인을 집계하면 해당 위치를 기준선으로 대체했을 때 얻는 위치 수준의 문맥 대비(contextual contrast)를 정확하게 복원합니다. 또한, SSI는 외부 공간 연합을 평균화하는 문맥 평균 Owen 스타일 계층적 회계와는 다르게 작동합니다.

실제 성능 평가에서 SSI는 HLS Burn Scar 데이터셋에서 다른 귀인 지표들을 유지하면서 평가 예산의 약 6%만을 사용하여 MC-Owen 추정기보다 우수한 성능을 보였습니다. CUB-200, EuroSAT, HLS Burn Scar 데이터셋 전반에서 SSI는 가장 우수한 결합 삭제 및 삽입 AUC를 달성했으며, 가장 강력한 스펙트럼 히트율과 채널 삭제를 보였고, 두 데이터셋 모두에서 공간적 국소화 측면에서 선두를 차지했습니다.

스페이셔-템포럴 비디오 그라운딩(STVG)은 자연어 쿼리를 통해 공간과 시간 내에서 대상을 함께 위치시키는 것을 목표로 합니다. 하지만 기존의 STVG 벤치마크는 인스턴스별 설명에 따른 대상 위치 파악에 중점을 두어 멀티모달 대규모 언어 모델(MLLM)에서 강조되는 장문 추론과는 분리되어 있었습니다.

본 논문에서는 이러한 한계를 극복하기 위해 STVG를 설명된 대상을 찾는 작업에서 이벤트 수준 추론으로 전환하는 Event-STVG라는 새로운 태스크를 제안합니다. 이는 장문 컨텍스트, 반복 이벤트 추론, 이벤트 위치 파악, 역할 추론, 다중 대상 그라운딩을 통합하여 STVG를 확장합니다. 이를 위해 축구 및 7개 추가 도메인에 걸쳐 4,016개의 주석이 달린 이벤트 발생 사례로 구성된 대규모 벤치마크를 구축했습니다.

최신 MLLM을 사용한 실험 결과, 최고 성능 모델조차도 10분 시점에서 m-vIoU 5.4%만을 달성하는 등 상당한 어려움을 보였습니다. 연구 과정에서 반복되는 동일 유형 이벤트 간의 혼동, 공간 그라운딩 병목 현상, 그리고 필요한 모든 역할을 공동으로 그라운딩하는 데 드문 성공 사례가 관찰되었습니다.

Event-STVG는 MLLM의 시각적 이해에 새로운 도전을 제시하며, 향후 모델이 공간과 시간을 가로질러 복잡한 이벤트를 공동으로 추론할 수 있도록 요구합니다. 관련 코드와 주석은 GitHub에서 확인할 수 있습니다.

Lean은 생성된 선언이 잘 타입되었는지 여부는 검증하지만 사용자의 의도를 정확히 반영했는지 여부는 확인할 수 없습니다. 연구진은 정형화되지 않은 Lean 목표 없이 명제 자동 형식화에서 컴파일이 충실도(faithfulness)를 과대평가하는 정도를 측정하는 기준을 제시했습니다. 이 기준은 Lean 컴파일과 서로 다른 모델 계열의 두 LLM 심사위원 간의 합의를 요구합니다.

독립적인 무작위 감사 결과, 이 기준은 인간 다수의 의견과 91.5%에서 일치했으며, LLM 에이전트의 결과에 대해 거의 충실하지 않은 출력을 수용하지 않지만 일부 충실한 출력은 거부하는 경향을 보였습니다. 227개의 대학 수준 명제에 대해 여덟 가지 시스템을 평가했을 때, 컴파일 결과와 수용된 출력 사이의 격차는 1.3%에서 29.5%까지 나타났습니다.

툴 지원 에이전트는 명제의 87.2%를 컴파일했지만, 실제로 수용된 비율은 57.7%에 불과했습니다. 에이전트의 거부에 대한 인간 검토 결과, 전체 거부 중 23.8%가 실제 번역 오류로 확인되었습니다. 특히, 한 번의 시도로 평가된 시스템들의 격차에 대해 Claude Opus 5.5와 GPT-6.1 Sol을 사용한 2단계 검토를 수행한 결과, 대부분의 거부(78~100%)가 실제 번역 오류로 판명되었습니다.

최신 모델들(GPT-6 Astra, Claude Opus 5.5)의 경우, 심사위원의 오류가 번역 오류보다 더 큰 영향을 미치는 것으로 나타났습니다. 이는 시스템이 오류를 적게 범할수록 거부 중 번역 오류의 비율이 줄어드는 일관성을 보여줍니다. 또한, 에이전트의 툴 제거 실험 결과, Lean 피드백이 대부분의 컴파일 증가를 이끌지만, 이 증가분의 거의 절반이 의미론적 기준을 충족하지 못한다는 점이 밝혀졌습니다.

Harness evolution은 모델 가중치를 업데이트하지 않고 프롬프트, 스킬, 도구, 오케스트레이션 코드를 자동으로 최적화하여 에이전트 시스템을 개선하는 방법입니다. 이 연구는 에이전트 하네스가 검색 집합에서 더 높은 성능을 달성하도록 반복적으로 최적화됨을 보여주지만, 이러한 성능 향상의 대부분이 과적합이나 추론 시간 계산에 기인하는지, 아니면 일반화 가능한 개선인지에 대한 질문을 제기합니다.

연구진은 이러한 성능 향상의 원인을 분석하기 위해 Harness-Delta Attribution(HDA)이라는 평가 프로토콜을 도입했습니다. HDA는 진화 이득을 기여하는 요소들을 과적합으로 인한 이득, 테스트 시간 스케일링으로 인한 이득, 그리고 나머지 잔여 일반화 개선으로 분해하여 분석합니다. 이 프로토콜을 수학, 코딩, 창의성, 에이전트 작업 전반에 걸쳐 11개의 실행 모델과 세 가지 하네스 진화 프레임워크에 적용했습니다.

분석 결과, 통계적으로 유의미한 검색 집합 이득을 보인 21개의 설정에서 개선분의 상당 부분이 과적합이나 테스트 시간 스케일링에 의해 설명됨을 발견했습니다. 구체적으로 과적합과 테스트 시간 스케일링은 평균적으로 이득의 54%와 14%를 차지하며, 이 두 요소의 합은 14개의 설정에서 50%를 초과했습니다.

중요한 점은 잔여 이득과 홀드아웃 전이가 작업, 모델, 프레임워크에 따라 상당히 달라진다는 것입니다. 검색 집합에서 얻은 이득은 홀드아웃 작업으로 전이되지 않는 경우가 많으며, 실제 분포 변화 하에서도 지속될 것이라는 증거는 제한적입니다. 따라서 과적합을 방지하기 위해서는 검증 기반 신호만으로는 불충분하며, 향후 하네스 진화 연구에서는 속성 인식 평가가 필요함을 시사합니다.

First Passage Attention(FPA)은 기존의 소프트맥스 어텐션과 망각 게이트를 보강하는 방식의 한계를 극복하기 위해 제안되었습니다. 기존 방식은 키-쿼리 경로를 따라 감쇠 기여도를 합산하는 방식에 의존하기 때문에, 중간 컨텍스트를 선택적으로 지우면서도 구조적으로 중요한 이전 토큰을 보존하는 데 한계가 있습니다.

FPA는 경로 합산 대신 경로 극값(path extrema)을 사용하여 접근 방식을 전환합니다. 이는 특정 키의 로그잇을 해당 키 아래의 중간 구간에서 학습된 스칼라 필드의 가장 깊은 하강 지점(dip)에 비례하여 낮춤으로써 이루어집니다. FPA는 망각 트랜스포머(FoX)를 특수한 경우로 포함하며, 필드와 레벨이 공유된 학습된 경로를 따를 때 살아있는 키들이 자연스럽게 스택을 형성함을 보여줍니다.

실험 결과, 상수 차원의 FPA 헤드는 후속 하강에 의해 살아남은 키들의 부분집합을 실현할 수 있으며, 이는 위치 편향이나 토큰 수준 망각 게이트를 사용하는 소프트맥스 헤드가 키 수에 선형적으로 비례하는 헤드 차원을 요구하는 것과 대조됩니다. 110M 매개변수 언어 모델로 확장했을 때, FPA는 FoX와 유사한 퍼플렉시티를 달성하며, 키-값 캐시를 약 25% 압축하더라도 8배의 훈련 길이에서 완벽한 패스키 검색을 독점적으로 달성했습니다.