Valid Per-Field Selective Risk Control for Document Extraction: Three Failure Modes, a Validity Ladder, and When Conditioning Pays
문서 추출 시스템에서 필드별 선택적 위험 제어를 위해 오류율을 통제하며 필드를 수락하는 방식에 대한 신뢰 계약의 필요성을 다룬 연구 결과가 발표되었습니다. 연구진은 실제 문서에서 자연스러운 절차가 이러한 제어를 침묵적으로 위반한다고 지적하며, 800개의 CORD 영수증에서 추출된 13,859개의 claude-sonnet-5 필드를 분석하여 세 가지 실패 모드를 진단했습니다.
진단된 실패 모드는 문서 클러스터링(디자인 효과 1.84-2.45), 점수 재조정 누수(coverage 0.416 대 위험 0.127, 95% 분할에서 alpha=0.10 위반), 그리고 결합 질량 병리학(퇴화된 점수가 임계값 격자를 붕괴시키는 현상)입니다. 연구진은 이러한 문제를 해결하기 위해 유효성 사다리(validity ladder)를 통해 수정 방안을 제시하며, 학습된 융합에 대한 기대 선택적 위험 제어를 복원하는 fit/val 분할 프로토콜을 제안했습니다.
이러한 분석을 통해 학습된 융합의 실제 위험은 47.5%의 재분할에서 alpha를 초과하는 것으로 나타나, 단순한 인증서가 아닌 실제 위험 관리가 필요함을 시사합니다. 또한, 지원-빈(support-bin)이라는 사전 지정된 출처 분류 체계가 sonnet CORD 캡처에서 모든 엄격성 단계에서 승리하며, 이는 다른 모델에서 재현되지 않는 중요한 발견입니다.
실제 적용을 위해 claude-haiku-4-5 모델에 대한 고정 구성 확인과 세 명의 주석가에 의한 인간-골드 감사(Fleiss' kappa=0.83)를 통해 수락된 세트 위험이 10% 예산 대비 1.3%임을 확인했으며, 시드 고정 및 회귀 게이팅 절차를 포함한 Apache-2.0을 공개했습니다.
진단된 실패 모드는 문서 클러스터링(디자인 효과 1.84-2.45), 점수 재조정 누수(coverage 0.416 대 위험 0.127, 95% 분할에서 alpha=0.10 위반), 그리고 결합 질량 병리학(퇴화된 점수가 임계값 격자를 붕괴시키는 현상)입니다. 연구진은 이러한 문제를 해결하기 위해 유효성 사다리(validity ladder)를 통해 수정 방안을 제시하며, 학습된 융합에 대한 기대 선택적 위험 제어를 복원하는 fit/val 분할 프로토콜을 제안했습니다.
이러한 분석을 통해 학습된 융합의 실제 위험은 47.5%의 재분할에서 alpha를 초과하는 것으로 나타나, 단순한 인증서가 아닌 실제 위험 관리가 필요함을 시사합니다. 또한, 지원-빈(support-bin)이라는 사전 지정된 출처 분류 체계가 sonnet CORD 캡처에서 모든 엄격성 단계에서 승리하며, 이는 다른 모델에서 재현되지 않는 중요한 발견입니다.
실제 적용을 위해 claude-haiku-4-5 모델에 대한 고정 구성 확인과 세 명의 주석가에 의한 인간-골드 감사(Fleiss' kappa=0.83)를 통해 수락된 세트 위험이 10% 예산 대비 1.3%임을 확인했으며, 시드 고정 및 회귀 게이팅 절차를 포함한 Apache-2.0을 공개했습니다.