Kandinsky 6.0 Video는 동기화된 텍스트-오디오-비디오 생성을 위한 파운데이션 확산 모델 제품군으로, Kandinsky 6.0 Video Lite(3B 파라미터)와 Kandinsky 6.0 Video Pro(29B 파라미터)로 구성되어 있습니다. 이 모델들은 텍스트-오디오-비디오(T2AV) 및 이미지-오디오-비디오(I2AV) 모드에서 5초 분량의 비디오 클립과 44kHz 오디오를 동기화하여 생성하며, 입술 싱크를 포함한 음성 동기화 기능을 제공합니다.
모델에는 내장된 초해상도(super-resolution) 모듈이 포함되어 출력 해상도를 풀 HD(1920x1080)로 높일 수 있습니다. Kandinsky 6.0 Video는 이전 버전인 Kandinsky 5.0 Video의 비디오 생성 능력을 기반으로 하며, 시간적 및 의미적 정렬을 위해 양방향 교차 주의(bidirectional cross-attention)를 사용하는 듀얼 스트림 CrossDiT 아키텍처를 채택하여 비디오 스트림과 새로 훈련된 오디오 스트림을 연결합니다.
훈련 전략은 대규모 오디오 코퍼스로 오디오 스트림을 처음부터 훈련한 후, 쌍을 이루는 오디오-비디오 데이터로 두 스트림을 공동 훈련하여 단일 모달리티 충실도를 보존하는 방식으로 진행됩니다. 이 과정은 지도 미세 조정, 강화 학습 기반 후처리, 그리고 증류를 포함합니다.
인간 평가를 통해 Kandinsky 6.0 Video Pro는 이전 모델인 Kandinsky 5.0 Video Pro보다 명확하게 우수하며, 특히 음성 품질 면에서 선도적인 오디오-비디오 생성 모델들과 경쟁할 수 있는 성능을 보입니다. 연구 및 배포를 가속화하기 위해 코드, 모델 체크포인트, 디퓨저 통합이 MIT 라이선스로 공개되었습니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-04
Team Kandinsky, Julia Agafonova, Bulat Akhmatov, Mikhail Aksyutin, Grigorii Alekseenko, Anastasia Aliaskina, Olga Androsova, Vladimir Arkhipkin, Anna Averchenkova, Alexander Belykh, Serafima Bocharova, Sofiya Bogakovskaya, Anton Bukashkin, Mark Bulygin, Kirill Buzygin, Irina Cheremnykh, Kirill Chernyshev, Mikhail Chernyshov, Vladimir Chernyy, David Chikovani, Georgy Daniltsev, Denis Dimitrov, Anna Dmitrienko, Vladimir Dokholyan, Sergey Emelyanov, Dmitry Ermilov, Georgii Fedorov, Polina Gavrilova, Nikolai Gerasimenko, Aleksandr Gordeev, Andrey Inozemtsev, Andrei Ivaniuta, Alexander Ivanov, Mikhail Karaev, Anastasiia Kargapoltseva, Ivan Kirillov, Nikita Kiselev, Valeria Kobenko, Yury Kolabushin, Denis Koposov, Anatoly Korobov, Vladimir Korviakov, Kirill Kozlov, Denis Krzhivokolskiy, Konstantin Kuklev, Alexander Kunitsyn, Sergey Kuzin, Vladislav Lakhtionov, Alexey Letunovskiy, Maxim Litvinov, Alexander Lyulkov, Georgy Makarov, Kirill Malakhov, Egor Malykh, Mikhail Mamaev, Dmitrii Mikhailov, Polina Mikhailova, Ivan Mikheev, Elizaveta Muromtseva, Nikolai Nazarkin, Tatiana Nikulina, Lev Novitskiy, Stanislav Onuchin, Nikita Osterov, Denis Parkhomenko, Anatoliy Parpara, Vladimir Polovnikov, Konstantin Reznikov, Azat Saginbaev, Nikita Samsonov, Alexander Sentsov, Nikita Shaimov, Artem Sherstyuk, Andrey Shutkin, Egor Silvestrov, Bulat Suleimanov, Matvey Suprunov, Sergey Taranov, Irina Tolstykh, Tatiana Trofimuk, Ilya Trushkin, Aleksandra Tsybina, Olga Varlashina, Viacheslav Vasilev, Ilya Vasiliev, Eugeny Vilisov, Sergey Yakubson, Konstantin Zakharov
수집 2026-10-06 03:42
고해상도에서 결합된 비디오-오디오 생성 모델을 직접 학습시키는 것은 더 풍부한 시각적 세부 사항과 더 선명한 움직임 역학을 학습할 수 있게 합니다. 하지만 전체 어텐션 메커니즘은 이차적인 비용을 발생시키며, 해상도가 증가함에 따라 중복되는 토큰에 어텐션을 분산시켜 유익한 콘텐츠에 대한 학습 신호를 희석시키고 사전 학습된 지식을 방해합니다.
기존의 희소 어텐션 방법들은 주로 학습 없는 가속화에 초점을 맞추거나, 소리 생성 영역 주변에 교차 모달 상호작용이 내재적으로 집중되어 있는 결합 비디오-오디오 데이터의 고유한 구조를 간과합니다. 이를 해결하기 위해 본 연구는 2K 해상도에서 결합 비디오-오디오 생성 모델을 직접 학습하기 위한 동적 희소 어텐션 프레임워크인 Prism을 제안합니다.
Prism은 토큰 시퀀스를 시공간 매크로 영역으로 조직하여 어텐션 구조가 로컬 콘텐츠에 적응할 수 있도록 합니다. 각 영역에 대해 비디오 특징의 채널 및 특징 노름을 통해 로컬 정보 구조를 추정하며, 이를 기반으로 시각 콘텐츠 변화의 방향성과 강력한 오디오-시각 결합 축을 따라 더 세밀하게 분할합니다. 이러한 접근 방식은 각 블록 내의 토큰들이 의미론적으로 일관되게 유지되도록 장려하여 블록 수준 특징이 시각 콘텐츠와 결합된 비디오-오디오 상호작용 패턴을 모두 포착할 수 있게 합니다.
또한 Prism은 쿼리당 희소성을 동적으로 결정하기 위해 하이브리드 블록 선택 전략을 채택합니다. 실험 결과 Prism은 전체 어텐션에 비해 2.5배의 학습 속도 향상을 달성했으며, 생성 품질 면에서도 전체 어텐션을 능가하는 성능을 보였습니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-04
Shuyuan Tu, Qi Tian, Yinming Huang, Yue Wu, Xintong Han, Kaihang Pan, Weijie Kong, Jiangfeng Xiong, Jian-Wei Zhang, Zuxuan Wu, Yu-Gang Jiang
수집 2026-10-06 02:42
일반적인 혈구 계산(CBC)에서 새로운 바이오마커를 발견할 수 있지만, 후보 물질을 평가하는 데 필요한 개인 기록은 발견에 능한 최첨단 언어 모델 에이전트에게 공유될 수 없습니다. 연구팀은 클랄리트 헬스 서비스(Clalit Health Services) 패널의 540만 명 이상의 환자 기록에서 얻은 증거를 정제하여 공개 평가 도구를 개발했습니다.
이 도구는 13가지 면역 매개 질병 각각에 대해 데이터 경계 내에서 그래프 어텐션 네트워크를 훈련하여 후보 CBC 표현형의 사례 대 대조 AUC를 예측합니다. 이 과정에서 환자 데이터를 노출하지 않고 에이전트의 제안-점수-정제 루프를 실제 데이터에 기반하여 구체화할 수 있습니다.
외부 검증 결과, 에이전트가 발견한 표현형은 문헌 기반의 시작점보다 중앙값 4.18%의 AUC 포인트만큼 개선되었습니다. 또한 세 개의 독립적인 코호트에서 세 가지 최첨단 연구 도구의 후보 물질을 재순위화한 결과, 대부분의 비교에서 첫 번째 선택이 개선되었습니다.
이 공개된 점수 도구는 개인 정보를 보호하면서 바이오마커 가설을 생성하는 데 기여합니다.
Hugging Face Daily Papers
HF Papers API
논문
발행 2026-10-03
Seffi Cohen, Liat Antwarg Friedman, Amir Anisman, Ruth Johnson, Michelle M. Li, Ayush Noori, Ben Reis, Ran Balicer, Noa Dagan, Marinka Zitnik
수집 2026-10-06 20:56