읽을 가치가 있는 기사만, 짧고 또렷하게.

AI가 생성한 장문의 글을 사람이 읽기 쉬운 요약으로 만들어주는 Mac 앱이 소개되었습니다. 이 도구는 AI가 만들어낸 복잡하고 긴 텍스트를 효율적으로 정리하여 정보 습득의 피로도를 줄여줍니다. 특히, AI 기반 요약 서비스인 Meat Proxy에서 벗어나기 위한 해결책으로 주목받고 있습니다.

이 앱의 가장 큰 특징은 사용 편의성과 접근성입니다. 기본 단축키인 Ctrl+X를 누르면 브라우저, 채팅 앱, 터미널 등 어떤 애플리케이션에서든 즉시 작동합니다. 이는 개발자들이 다양한 환경에서 정보를 빠르게 요약하고 처리할 수 있도록 돕습니다.

주요 기능으로는 AI 답변, 장문의 리포트, 미팅 기록, 채팅 대화 등을 요약하는 기능이 포함됩니다. 또한, 특히 PR(Pull Request) 설명을 요약할 때에는 변경된 내용과 변경 사항을 명확하게 구분하여 요약하는 방식으로 작동합니다. 이는 개발 과정에서 변경 사항을 빠르게 파악하고 커뮤니케이션 효율을 높이는 데 매우 유용합니다.

새로운 조류 멸종 선언에 걸리는 평균 시간은 마지막 목격 이후 36년이라는 것으로 나타났습니다. 이는 많은 사람들이 예상하는 기간보다 훨씬 길며, 마지막 기록과 공식적인 멸종 선언 사이의 간격은 3년에서 124년까지 매우 다양합니다. 데이터에 기록된 13종의 조류 사례를 분석한 결과, 평균 간격은 47.5년으로 측정되었고, 가장 긴 간격은 1899년에 마지막으로 수집된 카우아이 누쿠푸우의 경우 124년이었습니다.

조류의 멸종을 선언하는 과정은 단순히 일정 기간 동안 목격이 없다는 규칙을 적용하는 것이 아니라, 마지막 개체가 죽었다는 합리적인 의심이 없다는 IUCN의 정의를 충족해야 합니다. 따라서 전문가들은 각 사례별로 판단을 내리는 과정을 거치기 때문에 멸종 선언까지 수십 년이 걸릴 수 있습니다. 예를 들어, 버뮤다 페트렐의 경우 1621년에 멸종으로 추정되었으나 1951년에 다시 서식지를 발견하여 330년이라는 긴 간격이 발생했습니다.

이러한 시간의 차이는 조류의 마지막 기록이 얼마나 광범위한 지역에서 이루어졌는지, 그리고 멸종을 확인하기 위한 조사 범위가 얼마나 광범위한지에 따라 달라집니다. 따라서 조류 멸종 기록을 해석할 때는 단순히 시간 간격뿐만 아니라, 마지막 기록의 증거와 멸종 선언의 기준이 어떻게 적용되었는지에 대한 맥락을 고려해야 합니다.

블렌더의 'Fast Blur' 모드가 특정 상황에서 충분히 빠르지 않다는 문제점을 해결하기 위해 저자는 애니메이션된 반경을 지원하는 고성능 블러 기법을 탐구했습니다. 기존의 가우시안 블러는 반경의 제곱에 비례하여 비용이 증가하지만, 분리 가능한 가우시안 특성을 활용하여 비용을 반경에 선형적으로 확장하는 Dual Kawase 방식이 존재합니다.

저자는 이러한 한계를 극복하고 반경이 애니메이션될 때 더 자연스러운 블러를 구현하기 위해 '다운샘플링, 블러, 업샘플링' 방식을 발견했으며, 이를 기반으로 Smol Gaussian 알고리즘을 개발했습니다. 이 알고리즘은 이미지의 해상도를 조정하고 가우시안 블러를 적용한 후 다시 복원하는 방식으로 작동하며, 이는 Skia의 GPU 가우시안 블러와 유사하지만 더 나은 결과물을 제공합니다.

Smol Gaussian은 다운샘플링 시 픽셀 영역 통합을 더 정확하게 처리하고, 최종 복원 시에는 쌍선형 필터 대신 3차 B-스플라인을 사용하여 경계선이 부드럽게 처리되도록 구현했습니다. 이 기술은 밝은 하이라이트에서 블러가 잘리는 현상을 줄이고, 반경이 변할 때 결과가 훨씬 자연스럽게 변화하도록 만듭니다.

현재 이 기술은 WebGPU 기반의 인터랙티브 블러 플레이그라운드를 통해 시각적으로 테스트할 수 있으며, 저자는 이 연구 결과를 블렌더 컴포지터 노드에 적용하기 위한 작업 중입니다. 또한 CPU 구현도 함께 제공하여 기존 Fast Gaussian보다 여러 배 빠른 성능을 보이며, 블렌더의 성능 개선에 기여할 잠재력을 가지고 있습니다.

Svelte 공식 애플리케이션 프레임워크인 SvelteKit 3.0이 출시되었습니다. 이번 업데이트는 기존 구조를 유지하면서 프레임워크의 완성도와 타입 안전성을 높이고 불필요한 요소를 줄이는 데 중점을 두었습니다. 개발자들이 더 안정적이고 예측 가능한 코드를 작성할 수 있도록 핵심적인 개선 사항들이 적용되었습니다.

새로운 버전은 코드의 품질을 향상시키는 데 초점을 맞추었으며, 이는 타입 안전성을 강화하여 런타임 오류 가능성을 줄이는 데 기여합니다. 또한, 개발 과정에서 발생하는 복잡성을 줄이고 코드를 더 깔끔하게 유지할 수 있도록 불필요한 요소를 제거하는 작업이 이루어졌습니다.

특히 주목할 점은 코드 마이그레이션 과정의 개선입니다. `sv migrate` 명령어를 통해 마이그레이션이 가능한 코드를 자동으로 처리하고, 나머지 작업에 대해서는 TODO 목록을 생성하여 개발자가 남은 작업을 체계적으로 관리할 수 있도록 지원합니다. 이는 기존 프로젝트를 SvelteKit 3.0 환경으로 전환하는 데 필요한 노력을 크게 줄여줄 것입니다.

별과 네 개의 행성이 공전하는 12년간의 망원경 이미지 시퀀스가 공개되었습니다. 이 데이터는 천문학 분야에서 별과 행성의 장기적인 움직임을 관찰하는 데 사용되는 중요한 자료입니다.

이 연구는 12년 동안 수집된 망원경 이미지를 통해 해당 별과 네 행성의 궤도를 추적한 결과를 보여줍니다. 이는 천체 역학 및 행성 시스템의 진화를 이해하는 데 중요한 관측 데이터로 활용될 수 있습니다.

이러한 데이터는 천문학적 모델링과 시뮬레이션에 사용되어 행성 시스템의 물리적 특성과 역학적 관계를 분석하는 데 기여합니다. 따라서 이 자료는 우주 물리학 및 데이터 분석에 관심 있는 독자들에게 흥미로운 관측 사례를 제공합니다.

싱가포르 정부가 주도하는 데이팅 서비스 파일럿 프로그램인 퍼스트데이트(FirstDate)가 도입되었습니다. 이 서비스는 데이팅 문제를 해결하기 위해 30개 이상의 질문으로 구성된 설문지를 통해 사용자를 매칭하는 방식으로 작동합니다.

파일럿 프로그램은 현재 정부 직원들로 제한되어 진행 중이며, 매칭 알고리즘으로는 노벨상 수상 프레임워크인 게일-섀플리 안정 결혼 알고리즘(Gale-Shapley Stable Marriage Algorithm)을 사용합니다. 사용자 신원 확인에는 싱가포르의 싱패스(Singpass)가 사용되며, 사용자들은 주기적으로 매칭되고 상호 동의가 있을 때만 연락처 정보를 공유하게 됩니다.

이러한 접근 방식은 관심사, 라이프스타일, 소통 방식 등 8가지 범주에 걸친 질문들을 통해 사용자의 깊은 선호도를 파악하는 데 중점을 둡니다. 그러나 기사는 이러한 정부 주도의 모델이 자유 시장이 이미 거부한 모델을 채택하고 있다는 비판을 제기하며, 온라인 데이팅 시장의 혁신이 주류에서 벗어나 게이 및 킨크 커뮤니티로 집중되었다고 지적합니다.

결론적으로, 퍼스트데이트가 데이팅 문제를 해결할 수 있을지에 대한 의문이 제기되며, 이는 정부가 데이팅 프로젝트를 바라보는 관점과도 관련이 있습니다.

나치 독일이 원자 폭탄을 개발할 희망이 없었다는 사실이 우라늄 큐브를 통해 밝혀졌습니다. 이 연구 결과는 나치 독일이 원자 폭탄 개발에 대해 가졌던 목표와 그들의 과학적 노력이 현실적으로 불가능했음을 시사합니다.

연구진은 우라늄 큐브 분석을 통해 나치 독일의 핵 개발 시도에 대한 기존의 이해를 뒤엎는 중요한 정보를 발견했습니다. 이 큐브들은 나치 독일이 핵 기술을 확보하려 했던 과정과 그들의 재료 및 공학적 접근 방식에 대한 구체적인 단서를 제공합니다.

이러한 발견은 나치 독일의 핵 프로그램이 기술적, 자원적 제약으로 인해 최종 목표를 달성할 수 없었음을 입증하는 근거가 됩니다. 따라서 이 연구는 제2차 세계대전 당시 독일의 과학적 역량과 핵 개발 계획의 한계를 이해하는 데 중요한 맥락을 제공합니다.

캘리포니아주에서 자율주행차(AV) 운영사들이 긴급 대응 인력을 차단할 경우 벌금을 부과하는 새로운 규정이 도입되었습니다. 이 법은 자율주행차가 고장 나거나 응급 상황에서 교통을 방해할 때 안전과 대응 시간을 개선하기 위한 새로운 규칙을 설정합니다.

이 법에 따라 로보택시 운영사는 경찰이나 소방관을 30분 이상 차단할 경우 벌금형을 받을 수 있습니다. 또한 AV 개발사는 책임 소재를 명확히 하기 위해 원격 운전자를 고용할 때 미국 내에 기반을 둔 운전면허를 소지해야 한다는 조건을 충족해야 합니다.

이 규정은 Waymo와 Zoox 같은 주요 운영사들에게 적용되며, 이들은 법 준수를 약속했습니다. 법은 시스템 전체의 실패 시 차량 위치와 상태를 도시 및 지역 관할 구역에 통보하고 사고 발생 시 현장 기술자를 제공하도록 요구합니다. 이 법은 2028년 7월에 발효될 예정입니다.

판단 모델은 "어느 팀으로 보낼까", "규정 위반인가"와 같이 정해진 질문에 문장 대신 선택지별 확률로 답하는 모델을 의미합니다. TypeSafe의 Jev가 대표적인 판단 모델이며, 이 모델이 공개된 이후 오픈 소스 복제 모델이 빠르게 증가하고 있습니다.

이러한 판단 모델을 개발자들이 쉽게 활용할 수 있도록 oh-my-jev라는 오픈소스 도구가 등장했습니다. oh-my-jev는 이러한 판단 모델들을 한곳에서 서빙하고, 비교하며, 직접 학습할 수 있는 CLI와 웹 사용자 인터페이스를 제공합니다.

개발자들은 oh-my-jev를 통해 판단 모델을 벤치마킹하고 테스트하는 것은 물론, 직접 파인튜닝까지 진행할 수 있습니다. 이는 복잡한 판단 모델을 실험하고 개선하는 데 필요한 환경을 제공하여 모델 개발 및 적용을 가속화하는 데 중요한 역할을 합니다.

본 자료는 1997년에 발표된 학술 논문인 「제한 책임의 역사적 관점」에 대한 링크와 메타데이터를 제공합니다. 해당 논문은 제한 책임이라는 법적 개념의 역사적 발전 과정을 탐구하는 데 중점을 두고 있습니다.

이 논문은 제한 책임의 개념이 역사적으로 어떻게 형성되고 발전해 왔는지에 대한 분석을 제공합니다. 이는 현대 법률 및 경제 시스템에서 책임의 범위와 한계를 이해하는 데 중요한 배경 지식을 제공합니다.

개발자나 법률 분야 종사자에게 이 자료는 특정 법적 개념이 시간의 흐름에 따라 어떻게 변화했는지 이해하는 데 도움을 줄 수 있습니다. 제한 책임의 역사적 맥락을 파악하는 것은 현재의 책임 관련 법규와 계약 구조를 이해하는 데 필수적입니다.

따라서 이 논문을 통해 제한 책임의 개념이 시대적 배경 속에서 어떻게 변화해 왔는지에 대한 심도 있는 통찰을 얻을 수 있습니다.

제16회 RacketCon이 2026년 10월 3일부터 4일까지 미국 캘리포니아주 Oakland에서 개최됩니다. 이 행사는 Racket 프로그래밍에 관심 있는 모든 개발자들이 참여할 수 있도록 열립니다.

참가 등록이 이미 시작되었으며, 조기 등록 할인을 받으려면 9월 13일 이전에 등록을 완료해야 합니다. 참가자들은 토요일 일정에서 타입 추론, 저수준 프로그래밍, 매크로 등 Racket 관련 심도 있는 주제들을 다룰 예정입니다.

이번 컨퍼런스는 Racket 언어에 대한 깊은 이해를 돕고 실질적인 프로그래밍 기술을 공유하는 데 중점을 두고 있습니다. 관심 있는 개발자들은 기한 내에 등록하여 이번 행사에 참여할 수 있습니다.

생성형 AI의 등장으로 학습 수요가 이동하면서 웹 개발 교육 콘텐츠를 통해 생계를 이어오던 독립 교육자들이 매출 급감과 사업 중단을 겪고 있습니다. 이는 웹 개발 강좌, 전자책, 튜토리얼 등으로 수익을 창출해 온 독립 교육자들의 수익 기반이 무너지고 있음을 의미합니다.

이러한 변화는 교육 콘텐츠의 수익 구조 자체에 영향을 미치고 있습니다. 예를 들어, Axel Rauschmayer의 도서 판매 수입은 0으로 떨어지는 등 콘텐츠 제작자들의 경제적 기반이 심각하게 흔들리고 있습니다. Josh W. Comeau와 동료들의 강좌 수익 역시 이러한 흐름 속에서 어려움을 겪고 있습니다.

결국 생성형 AI가 학습 수요를 대체하면서 기존의 교육 콘텐츠 모델이 위협받고 있으며, 교육 시장에서 독립적인 콘텐츠 제작자들이 직면한 현실적인 어려움을 보여줍니다. 웹 개발 교육 분야의 콘텐츠 제작자들은 새로운 환경에 맞춰 수익 모델을 재정립해야 하는 과제를 안게 되었습니다.

텐센트가 개발한 AI 보안 점검 플랫폼인 AI 인프라 가드(AI-Infra-Guard)는 AI 인프라와 에이전트를 점검하는 오픈소스 레드팀 플랫폼입니다. 이 플랫폼은 서버의 알려진 취약점뿐만 아니라 에이전트의 도구 오용 및 정보 유출, 그리고 LLM 탈옥 공격까지 포괄적으로 검사할 수 있도록 설계되었습니다.

해당 플랫폼은 Ollama, ComfyUI, vLLM, n8n과 같은 서비스 주소를 입력하면 해당 구성요소와 버전을 식별하고 알려진 취약점을 탐지하는 기능을 제공합니다. 개발 환경에서 사용되는 다양한 AI 관련 서비스의 보안 상태를 체계적으로 확인하여 잠재적인 위험 요소를 사전에 파악할 수 있게 합니다.

이는 AI 시스템을 구축하고 운영하는 개발자들에게 인프라 보안과 에이전트의 안전성을 확보하는 데 실질적인 도움을 줍니다. 사용자는 이 플랫폼을 통해 AI 시스템의 취약점을 점검하고 안전한 환경을 구축하는 데 필요한 구체적인 정보를 얻을 수 있습니다.

Claude Opus 5.5와 같은 AI 모델이 실제 이미지 생성기가 아닌, 유화 물감의 시뮬레이션을 통해 붓놀림을 코드로 작성하여 그림을 그리는 실험에 대한 내용입니다. 이 과정에서 AI 모델들은 연구나 주어진 주제에 따라 프로그램을 작성하며, 붓, 물감, 건조, 레이어링된 유약 등의 과정을 시뮬레이션하여 그림을 완성합니다.

이러한 실험은 AI가 단순히 이미지를 생성하는 것을 넘어, 추론(reasoning) 능력을 활용하여 예술적 분위기와 분위기를 표현하는 방식을 탐구합니다. 결과적으로 생성된 작품들은 정확한 재현보다는 분위기와 분위기에 중점을 두며, 이는 AI 모델이 제약 조건과 규칙을 어떻게 해석하고 적용하는지에 대한 흥미로운 통찰을 제공합니다.

참가자들은 스튜디오 환경이나 라이브 환경 등 다양한 설정에서 작업을 진행했으며, 일부 모델들은 이전 그림의 모티프를 피하는 방식으로 프롬프팅 오류를 경험하기도 했습니다. 또한, 여러 모델이 동일한 주제를 다르게 해석하거나, 서로 다른 시간에 작업한 두 화가가 동일한 장면을 선택하는 등 AI의 창의적 선택 과정이 주목받고 있습니다.

결론적으로 이 프로젝트는 AI가 물리적 시뮬레이션을 통해 예술적 과정을 이해하고 실행하는 방식에 대한 새로운 접근법을 제시하며, AI 모델의 추론 능력과 제약 조건 처리 능력을 평가하는 데 중요한 맥락을 제공합니다.

오픈소스 프로젝트는 당분간 AI가 생성한 기여를 거부하는 것이 실용적이라는 분석이 나왔습니다. 이는 AI 생성 코드를 나중에 받아들이는 것은 비교적 쉽지만, 이미 프로젝트에 유입된 코드를 제거하고 통제권을 되찾는 것은 어려울 수 있다는 점을 시사합니다.

개발자들은 AI 생성 코드의 유입을 막기 위해 사람의 검토를 요구하는 중립적인 정책을 도입할 수 있지만, 이러한 정책만으로는 생성 코드의 유입을 완전히 막기 어렵다는 한계가 있습니다. 장기적으로는 AI의 속도와 효율성이 중요해질 수밖에 없는 상황입니다.

결국 오픈소스 커뮤니티는 당장의 통제권 확보와 장기적인 속도 및 효율성 사이에서 균형을 찾아야 하는 실용적인 딜레마에 직면해 있습니다.

IANA는 example.com의 변경 이유에 대한 이메일에 답하며, 사이트를 수시로 수정하는 주된 목적은 대체로 대역폭 사용량 감소 또는 유용성 개선이라고 설명했습니다. 이는 웹사이트 운영자들이 성능 최적화와 사용자 경험 향상을 위해 콘텐츠 구조를 변경하는 이유를 명확히 제시한 것입니다.

이번 주에 진행된 변경 사항은 기술적인 구현 측면에서 주목할 만합니다. 페이지는 기본 콘텐츠와 별도의 JavaScript 파일로 분리되었으며, 추가 콘텐츠는 JavaScript 파일을 통해 처리됩니다. 이러한 분리는 페이지 로딩 속도와 효율성을 높이는 데 기여합니다.

개발자들은 이러한 변경이 대역폭 사용량 감소라는 목표와 유용성 개선이라는 목적을 달성하기 위한 구체적인 기술적 조치임을 이해해야 합니다. 따라서 웹사이트를 수정할 때 성능과 사용자 경험을 동시에 고려하는 것이 중요합니다.

풀 듀플렉스 음성 에이전트가 많은 작은 폐쇄형 결정을 내릴 때 현재 시스템은 느린 자기회귀 디코딩에 의존합니다. 이에 본 논문은 ASR 인코더의 은닉 상태를 작은 커넥터를 통해 고정된 LLM에 전달하여 각 질문을 선택지들에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 이 방식은 어떠한 디코딩도 수행하지 않으면서 8개의 GPU 노드로 8개의 발화에 대한 80개의 결정을 약 0.1초 만에 처리할 수 있습니다.

DuplexJev는 마지막 레이어 커넥터를 사용하여 구어 QA가 텍스트를 읽는 것과 매우 유사하게 유지되며, 텍스트 일치도는 90% 대 91%입니다. 또한 교차 어텐션 커넥터를 통해 화자를 들을 수 있으며, 성별과 감정 정확도는 각각 90%에 도달합니다. 이 과정에서 구어 QA 정확도는 단 1점만 하락하여 83%에서 82%로 유지됩니다.

학습 방식에서는 일반적인 전사 증류 대신 출력 답변 토큰에 대해 교차 엔트로피를 사용하여 결정을 훈련하며, 콘텐츠 증류는 유지합니다. 이 연구는 인코더와 LLM을 상호 교환 가능하게 만들고 가중치, 훈련 레시피, 풀 듀플렉스 서빙을 위한 배치 추론 파이프라인, 그리고 이중 언어 구어 QA 세트를 공개합니다.

긴 추론 흔적(Long-form thinking traces)은 대규모 언어 모델(LLM)의 다단계 추론 성능을 크게 향상시키지만, 순차적 디코딩에 의해 지연 시간이 지배되어 추론 시 오버헤드가 높습니다. 이에 본 연구는 이러한 추론 계산을 단일 질의 조건부 파라미터 업데이트로 통합하는 텍스트-투-파라미터 접근 방식인 HyperThink를 제안합니다.

HyperThink는 경량의 하이퍼네트워크가 질문을 읽고 기본 LLM 파라미터의 작은 부분에 대한 업데이트를 예측하며, 벡터 양자화 디코더가 이를 재사용 가능한 패턴으로 제한하여 견고성과 전이성을 개선합니다. 이 방법은 기본 모델의 출력으로부터 종단간으로 훈련되어 테스트 시 긴 추론 흔적을 제거합니다.

실제 테스트에서 단 한 번의 하이퍼네트워크 순전파 후, 모델은 중간 추적 없이 간결한 단계별 해결책과 최종 답변을 생성하며 훨씬 적은 토큰을 사용하면서도 강력한 추론 성능을 유지합니다. 경험적으로 HyperThink는 수학 및 일반 추론 작업에서 정확도-지연 시간 트레이드오프의 저지연 영역을 개선하며, 특히 비추론 영역에서 가장 큰 성능 향상을 보였습니다.

장기 에이전트를 위한 강화 학습은 환경적 결과가 관찰된 후에만 보상을 부여하는 순전히 회고적 훈련 신뢰에 의존합니다. 이로 인해 에이전트가 행동 시점에 가지고 있던 믿음은 기울기에서 보이지 않게 됩니다. 연구진은 이러한 문제를 해결하기 위해 전향적 후견(Prospective Hindsight, PH)이라는 자기 보정 훈련 원칙을 도입했습니다. 이는 에이전트의 전향적 예측(피드백 이전)과 회고적 평가(피드백 이후) 사이의 격차에서 파생된 신호를 활용하여 회고적 기반 방법론을 보강합니다.

PH는 각 롤아웃에서 발생하는 놀라움(surprise)을 식별하여 에이전트의 자기 모델이 가장 부정확한 샘플을 찾아내고, 이를 스톱 그라디언트 놀라움 가중치(stop-gradient surprise-weighted advantage)를 통해 기울기 기여도를 증폭시킵니다. 전향적 예측기가 정책과 파라미터를 공유하기 때문에 두 요소는 함께 진화하며 에이전트의 나머지 불확실성을 점진적으로 집중하게 됩니다.

이 원칙을 권한 정보 격차와 연결하여 놀라움 잔차를 최소화하는 것이 에이전트의 오보정률 감소 경로를 제공하며, 보정은 추가 목표가 아닌 최적화의 부산물로 나타납니다. 단일 턴 검증 가능 작업과 다중 턴 개인 에이전트 작업(GRPO, 온-폴리 정책 증류 및 이들의 조합 하에서)에서 PH는 모델 규모에 관계없이 작업 성능과 보정 능력을 모두 향상시킵니다.

특히, 주요 오보정 모드는 체제에 따라 구조적으로 변화하는데, 단일 턴에서는 과신된 실패가, 다중 턴에서는 과소신된 성공이 나타나지만, 동일한 훈련 원칙이 이 두 가지 상황 모두를 성공적으로 해결합니다.

다국어 6개 벤치마크에 대한 개인 식별 정보(PII) 관련 연구에서 참조 선택이 벤치마크 점수에 미치는 영향을 측정했습니다. 연구는 시스템 출력과 참조를 비교하여 점수를 측정하며, 방법론적 초점은 참조에 거의 전적으로 맞춰져 있습니다.

연구는 두 개의 독립적인 주석기(annotator) 레이블링, 집계된 골드(gold) 데이터, 그리고 독립 전문가 재평가(reviewer gold)를 포함하는 주석 기록을 사용했습니다. 이 데이터를 활용하여 점수가 부여된 출력을 고정하고 참조를 교환했을 때, 점수는 한 출력에 대해 4.95 F1 포인트, 다른 출력에 대해 2.00 포인트를 변화시켰습니다. 최악의 언어에서는 7.55 포인트의 변화가 발생했습니다.

두 출력 간의 비교에서도 변화가 관찰되었는데, 참조와 시스템 간의 쌍별 상호작용은 2.95 포인트만큼 변화했으며 이는 다중 테스트 보정을 통과했습니다. 이러한 변화의 원인은 판정(adjudication)이 발생하지 않았을 때 한 주석기가 유지되는 비공식적인 집계 기본값 때문이며, 이로 인해 배포된 참조가 평가 중인 출력의 부분 복사본이 되었습니다.

연구진은 이러한 참조 민감도 범위를 보고하고, 모든 보존된 주석 기록에서 이를 계산하는 방법을 제시하며, 양적 지표가 점수와 함께 고려되어야 한다고 주장합니다.