BVB: Benchmarking Agentic Video Understanding via Programmatic Reconstruction in Blender
멀티모달 에이전트는 확산 모델에 의존하지 않고 블렌더와 같은 소프트웨어에서 복잡한 비디오를 코딩하여 생성할 수 있습니다. 그러나 현재의 비디오 이해 벤치마크는 주로 질문 응답(Q&A)을 통해 모델을 평가하고 있어, 에이전트가 비디오를 진정으로 이해하는지 측정하는 데 한계가 있습니다. 이 문제를 해결하기 위해 본 연구는 에이전트가 비디오를 프로그램적으로 재구성할 수 있는 능력을 테스트하는 벤치마크인 BVB(Blender-VideoBench)를 소개합니다.
BVB 벤치마크는 에이전트가 실제 비디오를 애니메이션 블렌더 장면으로 재구성하도록 요구하여 이러한 이해 능력을 평가합니다. 공정한 비교를 위해 각 에이전트는 공통의 비용 제한 내에서 경량 하네스인 Mini-BVB를 통해 재구성을 프로그래밍합니다. 벤치마크는 각 재구성을 애니메이션 카메라로 렌더링하고 두 가지 축으로 평가합니다. 첫째, Dual VQA는 재구성이 얼마나 많은 시공간적 사실을 보존하는지를 측정하며, 둘째, Latent Similarity는 재구성이 원본 비디오와 얼마나 시각적으로 유사한지를 측정합니다.
분석 결과, 가장 우수한 모델은 88.6의 Latent Similarity 점수를 달성했지만, 원본에 정확한 시공간적 답변의 53.7%만을 유지했습니다. 추가적인 추론을 통해 시각적 유사성을 개선할 수는 있으나 사실적 정확도의 격차를 좁히지는 못했습니다. 또한, 15명의 평가자와 다섯 가지 구성으로 진행된 연구에서 Latent Similarity는 인간의 선호도와 강하게 상관관계를 보였습니다.
이러한 결과는 프로그램적 재구성이 에이전트 비디오 이해를 테스트하는 실행 가능한 방법임을 보여주지만, 의미론적 보존, 즉 사실적 정확도를 유지하는 것이 여전히 주요 과제임을 시사합니다.
BVB 벤치마크는 에이전트가 실제 비디오를 애니메이션 블렌더 장면으로 재구성하도록 요구하여 이러한 이해 능력을 평가합니다. 공정한 비교를 위해 각 에이전트는 공통의 비용 제한 내에서 경량 하네스인 Mini-BVB를 통해 재구성을 프로그래밍합니다. 벤치마크는 각 재구성을 애니메이션 카메라로 렌더링하고 두 가지 축으로 평가합니다. 첫째, Dual VQA는 재구성이 얼마나 많은 시공간적 사실을 보존하는지를 측정하며, 둘째, Latent Similarity는 재구성이 원본 비디오와 얼마나 시각적으로 유사한지를 측정합니다.
분석 결과, 가장 우수한 모델은 88.6의 Latent Similarity 점수를 달성했지만, 원본에 정확한 시공간적 답변의 53.7%만을 유지했습니다. 추가적인 추론을 통해 시각적 유사성을 개선할 수는 있으나 사실적 정확도의 격차를 좁히지는 못했습니다. 또한, 15명의 평가자와 다섯 가지 구성으로 진행된 연구에서 Latent Similarity는 인간의 선호도와 강하게 상관관계를 보였습니다.
이러한 결과는 프로그램적 재구성이 에이전트 비디오 이해를 테스트하는 실행 가능한 방법임을 보여주지만, 의미론적 보존, 즉 사실적 정확도를 유지하는 것이 여전히 주요 과제임을 시사합니다.