읽을 가치가 있는 기사만, 짧고 또렷하게.

OpenAI가 동시 청취와 발화가 가능한 GPT-Live-1 API를 출시했습니다. 이 API는 사용자가 듣기와 말하기를 동시에 처리할 수 있게 하며, 복잡한 추론이나 작업은 연결된 모델 및 도구에 위임하여 백엔드 작업이 진행되는 중에도 대화의 흐름을 끊김 없이 이어갈 수 있도록 지원합니다.

이러한 기능은 단일 음성 모델이 입력과 출력 오디오를 함께 처리하는 구조를 기반으로 합니다. 이는 음성 인식, 추론, 음성 합성으로 이어지는 과정에서 발생하는 구조적 지연과 불확실성을 줄여줍니다.

구체적으로 음성 인식에서 추론을 거쳐 음성 합성까지의 연결 구조에서 발생하는 지연 문제를 해결함으로써 실시간 대화의 효율성과 자연스러움을 극대화합니다. 개발자들은 이 기술을 통해 오디오 처리 파이프라인의 지연 시간을 줄이고 보다 연속적인 멀티모달 상호작용을 구현할 수 있게 되었습니다.

Benzi는 코드 지능 및 하네스를 측정하는 벤치마크를 제시하며 Claude Code와 CodeGraph의 성능을 비교합니다. 이 벤치마크는 버그 수정 능력과 코드 지능을 측정하며, 500개의 실제 이슈 중 78.2%가 10센트 미만의 비용으로 해결되었음을 보여줍니다.

Benzi의 핵심 지표인 KPI는 '소스 라인 읽기'로 정의되며, 이는 난이도가 높아질수록 하네스가 여는 소스 라인 수가 어떻게 변화하는지를 측정합니다. 이 지표는 버그의 난이도에 따라 비용이 얼마나 빠르게 증가하는지, 즉 기울기(slope)를 나타냅니다.

비용 측면에서 Benzi는 모델별 비용을 비교했는데, DeepSeek 모델은 Sonnet 모델에 비해 약 20배 저렴하여 비용 효율성이 높음을 입증했습니다. 특히 Claude Code는 난이도가 증가함에 따라 다른 모델들보다 비용이 더 빠르게 상승하는 경향을 보였습니다.

이러한 비교는 코드 지능 도구의 성능뿐만 아니라 실제 버그 수정 과정에서 발생하는 비용과 효율성을 평가하는 데 중요한 맥락을 제공합니다.

trynix-preview는 풀 리퀘스트(PR) 댓글에 브라우저 부팅 링크를 남기는 GitHub Action으로 개발자가 저장소를 복제하거나 직접 빌드하지 않고도 PR 빌드를 테스트할 수 있게 합니다. 이 기능은 리뷰어가 코드를 직접 빌드하는 과정을 생략하고 빌드 결과를 빠르게 검토할 수 있도록 돕는 것을 목표로 합니다.

이 시스템은 nix.dev를 통해 구현되었으며, 브라우저 탭에서 Linux를 부팅하고 Nix 캐시에서 PR 빌드를 가져오는 방식으로 작동합니다. 이를 통해 사용자는 복잡한 빌드 환경 설정 없이도 PR의 결과물을 시각적으로 확인하고 테스트할 수 있습니다.

결론적으로 이 방법은 개발자가 PR 리뷰 과정에서 환경 설정이나 빌드 과정에 들이는 시간을 크게 줄여주어 효율적인 코드 검토를 가능하게 합니다. 이는 특히 대규모 프로젝트에서 PR 빌드 테스트의 접근성과 속도를 향상시키는 데 중요한 의미를 가집니다.

기업 로그인이 여러 외부 도메인을 거치고 회사 도메인 밖에서 사용자명, 비밀번호, 2FA를 요구할 경우 정상적인 인증과 피싱을 구별하기가 어려워집니다. 이러한 상황은 인증 과정에서 발생하는 혼란을 악용하여 사용자가 보안 위협을 인지하지 못하게 만드는 데 사용될 수 있습니다.

특히 토큰 만료 등으로 인해 갑작스럽게 나타나는 인증 창은 사용자가 URL을 무시하는 습관을 들이게 만듭니다. 공격자는 이러한 사용자 행동을 노려 회사 로고와 비밀번호 입력창을 갖춘 가짜 페이지를 통해 사용자를 속이려 합니다.

결국 피싱 공격은 단순히 기술적인 취약점뿐만 아니라 사용자 경험과 인증 흐름의 설계 방식에 따라 그 위험도가 크게 달라집니다. 따라서 시스템 설계 시 인증 과정의 일관성과 URL 기반의 명확한 보안 경고를 제공하는 것이 중요합니다.

Bevy 0.19 버전에서 BSN 매크로가 도입되면서 선언적 데이터 모델과 UI 및 창작 도구의 기반이 마련되었습니다. 하지만 이러한 개발 진전에도 불구하고 현재 AI 정책 변경을 둘러싼 갈등이 기여자의 신뢰와 개발 의욕을 훼손하고 있는 상황입니다.

최근 변경된 AI 정책은 실제 LLM 사용 확산과 기존 규칙의 집행 어려움을 근거로 이전보다 다소 허용적인 방향으로 조정되었습니다. 이는 개발자들이 새로운 도구를 활용하고 실험하는 데 있어 정책적 불확실성을 야기하고 있습니다.

결과적으로 개발 커뮤니티 내에서 AI 정책과 실제 개발 환경 간의 괴리가 기여자들이 프로젝트에 몰입하고 신뢰를 유지하는 데 중요한 요소로 작용하고 있습니다. 따라서 새로운 기술 도입과 정책 환경이 개발자의 동기 부여에 미치는 영향을 함께 고려해야 합니다.

멕시코의 한 16세 학생이 소리파를 이용하여 불을 몇 초 만에 진압하는 음향 소화 장치를 개발했습니다. 이 장치는 소리파를 이용해 화재를 끄는 방식으로 작동하며, 기존의 화학적 소화 방식과는 완전히 다른 혁신적인 접근 방식을 제시합니다.

이 발명은 소리파의 진동 에너지가 화재의 연소 과정을 방해하거나 열을 흡수하여 불을 끄는 물리적 원리를 활용합니다. 이는 열에 의한 화재를 물리적인 방식으로 제어하여 소화 시간을 획기적으로 단축할 수 있다는 점에서 큰 주목을 받고 있습니다.

이러한 연구는 소리나 음파를 환경 제어 및 재난 대응 기술에 적용하는 새로운 가능성을 열어줍니다. 개발자나 엔지니어들은 소리파와 같은 비전통적인 에너지 전달 방식을 활용하여 새로운 형태의 센서나 제어 시스템을 설계하는 데 영감을 얻을 수 있습니다.

Herdr Studio는 기존에 사용하던 Herdr 환경에서 모든 에이전트(agent)를 시각적으로 관리하고 상호작용할 수 있도록 설계된 커뮤니티 기반 브라우저 클라이언트입니다. 이 도구는 터미널 세션, 파일, 차이(diff), 작업 공간(worktree) 등의 정보를 하나의 빠른 시각적 작업 공간으로 통합하여 개발자가 여러 터미널 창을 오가며 문맥을 재구성할 필요 없이 작업 흐름을 제어할 수 있게 합니다.

Herdr Studio의 핵심 기능은 실제 터미널 스트리밍을 브라우저 내에서 제공하며, 분할된 창, 스크롤백, 붙여넣기, 파일 미리보기 기능을 통해 터미널 환경을 개선합니다. 또한, 작업 공간과 파일, 변경 사항, 세션 기록을 하나의 활성 작업 공간으로 공유함으로써 모든 뷰가 정확한 문맥에서 시작되도록 보장합니다. 에이전트의 상태를 한눈에 파악할 수 있는 제어실(control room)을 제공하여 작업 진행 상황을 효율적으로 모니터링할 수 있습니다.

이 프로젝트는 Herdr 런타임 위에 구축된 얇은 브릿지 역할을 하며, 에이전트들은 여전히 Herdr에 의해 소유된 실제 터미널 세션에서 작동합니다. 사용자는 이 도구를 통해 Git 작업트리를 생성, 열기, 업데이트, 삭제하는 작업을 안전하게 수행할 수 있으며, SSH 프로필을 사용하여 원격 Herdr 서버에 접근하는 것도 가능합니다. 따라서 Herdr Studio는 터미널 기반 작업의 문맥 관리와 에이전트 관리를 통합하여 개발 워크플로우를 더욱 효율적으로 만드는 데 중점을 둡니다.

슬랙이 한국과 일본 사용자를 대상으로 피싱 시도가 증가하고 있음을 확인하고 경고했습니다. 공격자들은 신뢰할 만한 기관이나 개인을 사칭하여 가짜 워크스페이스를 만든 뒤 피싱 링크가 포함된 초대장과 메시지를 발송하는 방식으로 접근하고 있습니다.

이러한 피싱 시도는 사용자들이 실제 슬랙 환경을 사칭하여 개인 정보나 계정 접근 권한을 탈취하려는 목적으로 이루어집니다. 공격자는 사용자들에게 익숙하거나 신뢰할 수 있는 것처럼 보이게 하여 의심 없이 링크를 클릭하도록 유도하는 수법을 사용합니다.

따라서 슬랙은 사용자들에게 공식적인 경로를 통해서만 초대장이나 메시지를 확인하고, 출처가 불분명한 링크는 절대 클릭하지 않도록 주의할 것을 당부하고 있습니다. 사용자는 의심스러운 워크스페이스 초대장이나 메시지를 받으면 즉시 보안 위험을 인지하고 조치를 취해야 합니다.

Mac 환경에서 Ollama와 Opencode를 사용하여 로컬 LLM 개발 환경을 구축하는 방법을 소개합니다. 이 설정은 Qwen 3.8 27B나 Gemma 4 31B와 같은 강력한 모델을 로컬에서 구동하여 웹 애플리케이션을 구축할 수 있게 해줍니다. 개발자는 Apple Silicon 환경에서 빠른 성능을 제공하는 Ollama를 활용하고, Opencode를 프레임워크로 사용하여 모델 구동을 관리하며, Docker Sandbox(sbx)를 통해 환경을 격리할 수 있습니다.

이 구성을 위해서는 Docker Sandbox를 위한 sbx 키트 설정과 Opencode 환경 설정을 위한 특정 파일 구성이 필요합니다. 특히 모델이 메모리 부족으로 시스템을 멈추는 것을 방지하기 위해 Qwen 모델의 컨텍스트 길이를 64k로 제한하는 등의 세부적인 설정이 요구됩니다. 이는 시스템 자원을 효율적으로 관리하며 안정적인 로컬 LLM 개발 환경을 보장하는 데 중요합니다.

구체적인 설치 과정에서는 Ollama, Opencode, 그리고 Docker Sandbox를 설치하고 Qwen 3.8 27B 및 Gemma 4 31B 모델을 다운로드해야 합니다. 프로젝트별로 샌드박스를 커스터마이징하기 위해 sbx 키트를 설정하고, Opencode 설정 파일에 Ollama와 모델 구동에 필요한 환경 변수와 권한을 명시해야 합니다.

최종적으로 sbx run 명령어를 통해 Opencode를 실행하면 Qwen 모델을 선택하고 추론 노력을 'low'로 설정하여 환경을 시작할 수 있습니다. 이 방법은 로컬 환경에서 대규모 모델을 안전하고 효율적으로 개발하고 테스트할 수 있는 실용적인 기반을 제공합니다.

오늘(9월 11일)부터 개정된 개인정보 보호법과 시행령이 시행되어 데이터 유출 관련 통지 의무가 강화됩니다. 이제 기업은 정보 유출이 실제로 확정되지 않았더라도 객관적으로 유출 가능성이 높다고 판단될 경우 정보주체에게 이를 알려야 합니다.

이는 데이터 관리 및 보안 시스템을 운영하는 개발자와 기업에게 중요한 변화를 의미합니다. 특히 잠재적 위험에 대한 선제적인 대응이 요구되며, 유출 가능성이 높다고 판단될 때 즉시 통지해야 하는 기준과 절차를 명확히 이해해야 합니다.

또한 불법 접근이나 개인정보 불법 거래와 같은 위반 행위가 발생했을 경우에도 통지 의무가 적용됩니다. 이러한 위반 행위를 인지한 시점으로부터 72시간 이내에 관련 사실을 통지해야 하며, 이는 법적 책임과 직결됩니다.

중대한 위반 행위에 대해서는 매출액의 최대 10%에 달하는 과징금 제도가 시행되므로, 기업은 개인정보 보호 의무를 철저히 이행하고 관련 규정을 준수해야 합니다.

구글은 핀란드의 AI 인프라 구축에 130억 유로를 투자하며 핀란드의 에너지 및 데이터 센터 전략에 큰 변화를 가져왔습니다. 구글은 핀란드의 루비이사(Loviisa) 원자력 발전소에서 생산되는 전력의 최대 50%를 구매하는 22년 계약을 포투움(Fortum)과 체결했습니다.

이 투자는 AI 서비스 수요 증가에 대응하기 위한 세 개의 새로운 데이터 센터 건설과 기존 시설 확장, 그리고 에너지 프로젝트 지원을 목적으로 합니다. 구글은 이 투자를 통해 핀란드의 AI 인프라 구축이 책임감 있는 방식으로 이루어지고 있음을 강조하며, 건설 기간 동안 37,000개의 일자리를 창출하고 핀란드의 연간 GDP를 36억 유로 증진시킬 것으로 예상했습니다.

구글은 카야아니(Kajaani), 무호스(Muhos), 바알라(Vaala)에 새로운 데이터 센터를 건설하고 하미나(Hamina)의 기존 시설을 확장할 계획입니다. 이러한 데이터 센터는 구글의 AI 챗봇 제미나이(Gemini)와 검색, 지도, 유튜브와 같은 서비스에 필요한 인프라를 지원할 것입니다.

핀란드는 저탄소 전력 공급, 쾌적한 기후, 안정적인 전력망 등 데이터 센터 입지에 매우 매력적인 조건을 갖추고 있어, 구글뿐만 아니라 틱톡과 같은 다른 기술 기업들도 핀란드를 데이터 센터 구축 장소로 선호하고 있습니다. 이는 AI 시대에 데이터 인프라와 청정 에너지 확보가 기술 기업의 핵심 경쟁력이 되고 있음을 보여줍니다.

YuE2는 기호적 계획(Symbolic Planning)과 오디오 생성을 통합하여 음악을 생성하는 새로운 모델로, 노래 품질 면에서 Suno v5와 견줄 만한 수준을 달성했습니다. 이 모델은 기호적 계획을 통해 편집 가능한 악보를 작성한 후 보컬과 반주를 추가하여 구성을 현실화하는 방식으로 작동합니다.

YuE2는 약 35억 개의 파라미터와 28개의 레이어로 구성되어 있으며, 생성뿐만 아니라 구성, 덮기, 편집 기능을 모두 지원합니다. WildSongBench에서는 15가지 설정에서 6.9632점을 기록하며, 이는 다른 모델들과 비교했을 때 최고 수준의 평균 점수를 보였습니다. 이는 음악 생성 분야에서 기호적 표현과 오디오 표현을 통합하는 접근 방식의 잠재력을 보여줍니다.

또한 YuE2는 SheetSage2와 같은 다른 도구들과 연계되어 음악의 오디오를 악보로 변환하는 기능도 제공합니다. MERT2와 같은 음악 표현 학습 모델들은 소리의 구조를 이해하는 데 기여하며, YuE2는 이러한 표현을 활용하여 음악 생성의 기반을 다지고 있습니다.

모델은 CC0 음악과 합성 데이터를 기반으로 학습되었으며, Tokenwave.AI로부터 라이선스를 받은 합성 데이터를 사용하여 윤리적이고 책임감 있는 데이터 사용에 중점을 두었습니다. 이는 개발자들이 음악 생성 시스템을 구축할 때 데이터 출처와 윤리적 고려 사항을 염두에 두어야 함을 시사합니다.

구글 ARTEMIS는 자연어를 사용하여 안드로이드 앱을 조작하고 테스트하는 자동화 도구입니다. 사용자는 “로그인 후 팝업이 뜨는지 확인해줘”와 같이 작업을 설명하면 시스템이 실제 안드로이드 기기나 에뮬레이터를 조작하여 해당 작업을 수행합니다.

이 도구는 단순한 앱 테스트를 넘어 여러 앱을 오가는 복잡한 작업 자동화도 가능하게 합니다. 예를 들어, 구글 지도에서 경로를 검색하고 유튜브에서 음악을 재생하는 등의 다중 앱 작업을 자동화할 수 있습니다.

이는 사용자가 코딩 없이도 자연어 명령만으로 기기 상의 다양한 인터페이스와 기능을 제어하고 상호작용할 수 있게 해줍니다. 개발자나 테스트 엔지니어는 이러한 자동화 기능을 통해 앱의 사용자 경험을 보다 포괄적으로 테스트하고 복잡한 워크플로우를 효율적으로 구현할 수 있습니다.

Postgres의 수평 확장을 위해 MySQL 확장 프로젝트인 Vitess의 접근 방식을 적용하여 샤딩, 연결 풀링, 복제, 장애 전환을 통합 관리하려는 오픈소스 프로젝트가 진행되고 있습니다. 이 프로젝트는 별도의 호환 데이터베이스를 도입하는 대신 실제 Postgres 앞에 쿼리 라우팅과 운영 계층을 두는 구조를 채택하여 복잡한 확장 작업을 통합적으로 관리하는 것을 목표로 합니다.

이러한 구조는 데이터베이스 확장 시 발생하는 여러 관리 요소를 분리하지 않고 하나의 시스템 내에서 관리할 수 있게 합니다. 즉, 데이터베이스 자체의 확장과 애플리케이션 레벨의 연결 및 운영 관리를 연계하여 시스템의 복잡성을 줄이고 안정성을 높이는 데 중점을 둡니다.

이는 애플리케이션이 데이터베이스 확장이라는 복잡한 문제를 다룰 때 필요한 샤딩과 복제 같은 핵심 기능을 통합적으로 관리할 수 있는 새로운 아키텍처를 제시합니다. 개발자들은 실제 데이터베이스 위에 운영 계층을 구축함으로써 확장 과정에서 발생할 수 있는 잠재적인 오류와 관리 부담을 줄일 수 있습니다.

작가는 2026년 9월 11일 브루클린의 프로그래밍 리트릿인 Recurse Center에서 여름을 보내며 다양한 프로젝트를 진행했습니다. 이 기간 동안 작가는 LLM 에이전트와 관련된 연구, 머신러닝 학습, 그리고 수학 및 압축 알고리즘에 대한 심층적인 탐구를 수행했습니다.

특히 LLM과 에이전트 분야에서는 ollama와 docker를 사용하여 로컬 에이전트를 위한 샌드박스 환경을 구축하고, 협력 에이전트의 상호작용을 조사하는 게임을 개발했습니다. 또한 Practical Deep Learning을 통해 고전 머신러닝 접근 방식부터 실제 신경망 모델 구축까지 학습하며 직관을 키웠습니다.

수학 및 알고리즘 분야에서는 수학 토요일 모임을 통해 골드바흐 문제나 프랙탈을 다루는 활동을 진행했으며, zip 파일 압축에 사용되는 DEFLATE 알고리즘을 재구현하는 프로젝트를 진행했습니다. 이 과정에서 작가는 압축 알고리즘의 내부 작동 방식과 보안 취약점에 대해 깊이 있게 탐구했습니다.

이러한 경험들은 LLM을 활용하되 코드를 직접 작성하고 테스트 케이스를 만드는 협업의 중요성을 보여주며, 개발자들이 이론과 실습을 병행하며 깊이 있는 기술을 탐구할 수 있음을 시사합니다.

풀-듀플렉스 음성 대화 모델은 낮은 지연 시간의 턴 테이킹, 중단 처리, 백채널링을 지원하지만, 사용자 지시에 따라 어조, 페르소나, 말하기 속도, 음성 스타일 등의 속성 변화를 통해 대화 행동을 신뢰성 있게 조종하는 능력인 '조종 가능성(steerability)'은 여전히 충분히 탐구되지 못했습니다. 연구진은 현재 풀-듀플렉스 모델의 한계를 파악하기 위해 텍스트 및 오디오 기반 조종 가능성에 대한 분류 체계를 제시했습니다.

이러한 격차를 해소하기 위해 연구팀은 자연스러운 대화와 합성 대화로 미세 조정된 Moshi 기반 풀-듀플렉스 음성 모델인 SteerDuplex를 소개했습니다. 이 모델은 지시 따르기, 음성 전달, 추론, 듀플렉스 상호작용을 목표로 합니다. 또한, 시간 및 응답 연속성을 개선하기 위해 검증 가능한 상호작용 확인과 판단 기반의 의미적 피드백을 결합한 2단계 강화 학습(RL)을 적용했습니다.

조종 가능성을 평가하기 위해 390개의 음성 프롬프트와 1,067개의 인간 작성 이진 오디오 및 텍스트 기준을 포함하는 벤치마크인 SteerBench를 도입했습니다. 이 벤치마크를 통해 지도 학습을 적용한 결과, 오디오 조종 평균 통과율이 가장 강력한 평가 오픈 베이스 모델보다 44.5 퍼센트 포인트 향상되었습니다.

강화 학습을 통해 소스 클린 중단 응답률은 72.5%에서 82.5%로 증가했으며, 합성 일시 중단 끼어들기 현상은 26.5%에서 9%로 감소했습니다. 모델과 벤치마크는 음성 조종에 대한 체계적인 연구를 지원하며, 보상 분석 결과는 시간상의 이득과 응답의 완전성을 함께 평가해야 함을 보여줍니다. 특히 보상 탐색은 불완전한 응답을 통한 보상 해킹을 드러내므로, 시간상의 개선과 응답의 완전성을 동시에 고려해야 합니다.

RelateAnything은 이미지와 출처에 관계없이 제공되는 영역을 입력으로 받아, 추론 시점에 제공된 술어 어휘를 기반으로 점수화된 관계를 반환하는 53백만 매개변수 모델입니다. 이 모델은 객체 레이블을 입력으로 사용하지 않기 때문에, 영역의 출처가 변경되어도 재학습 없이 작동할 수 있으며 어휘는 학습된 분류기가 아닌 텍스트 임베딩 은행으로 구성되어 있습니다.

기존의 관계 예측 모델들이 직면했던 세 가지 장애물, 즉 검증된 자유 텍스트 관계 코퍼스의 부재, 레이블 조건부 아키텍처의 한계, 그리고 표준 측정 지표가 훈련 코퍼스와의 일치만을 보상한다는 점을 극복하고자 개발되었습니다. 이를 위해 모델은 10,102개의 자유 텍스트 술어에 대한 4.3백만 개의 관계를 생성하고 47만 4천 개의 이미지를 사용하여 양성-음성 감독을 통해 훈련되었습니다.

RelateAnything은 OV-SGG-Bench를 통해 평가되었으며, 세 가지 교차 데이터셋과 하나의 제로샷 벤치마크에서 가장 강력한 오픈-보캐뷸러리 방법의 평균 재현율보다 2.3배에서 3.5배 높은 성능을 보였습니다. 또한 실제 검출기에서 생존하는 마진을 달성했으며, 30억 매개변수 VLM 장면 그래프 모델보다도 두 지표에서 우위를 점했습니다.

이러한 결과는 모델이 인-도메인 측정에서 전이 성능을 약 5배 향상시켰음을 보여주며, 모델, 코퍼스, 벤치마크 모두 공개되어 있습니다.

재귀적 자기 개선(RSI)은 현상인지, 메커니즘인지, 전망인지에 대한 논의가 필요하며 이를 형식적으로 설명하는 단일 프레임워크는 아직 존재하지 않습니다. 기존의 반복적 정책 개선(iterative policy improvement)은 에이전트 외부에서 업데이트 원리와 평가 기준이 설정되어야만 적용 가능한 일반적인 프레임워크인 일반화된 정책 반복(GPI)으로 특징지어집니다.

본 논문은 반복적 정책 개선과 RSI를 단일 학습 패러다임의 두 가지 사례로 설명하는 형식적 프레임워크인 일반화된 에이전트 반복(GAI)을 제안합니다. GAI는 에이전트를 시스템 내의 수정 가능한 구성 요소로 정의하고 학습 과정을 에이전트 평가와 에이전트 개선의 순환으로 모델링합니다.

GAI는 두 가지 핵심 축을 사용하여 RSI와 GPI의 차이를 구분합니다. 첫 번째 축은 개선 메커니즘이 에이전트 내부에 포함되는지 여부를 다루며, 이는 GPI와 RSI의 경계를 구분합니다. 두 번째 축은 측정 기준이 에이전트 외부에 기반되어 있는지 여부를 결정하며, 이는 시스템의 극성(anchored, goal drift, 또는 완전히 자기 참조적)을 결정합니다.

이러한 좌표를 사용하여 기존 시스템들을 동일한 두 축 위에 배치함으로써, 재귀적 자기 개선의 결함을 한 번에 분석할 수 있게 됩니다. 이는 RSI에 대한 형식적 특성을 탐구하고 기존 시스템들을 비교하며 새로운 시스템을 설계하기 위한 원칙적인 기반을 제공합니다.

StepAudio 3 Music은 명시적인 음악 계획과 오픈 도메인 텍스트 제어를 지원하는 대규모 장형 음악 생성 모델입니다. 이 모델은 오디오를 65536개 항목의 단일 코드북에서 나오는 50Hz 스트림으로 표현하는 토크나이저를 사용하며, 음악 구조와 재구성 관련 정보를 보존하기 위해 의미론적으로 정보화된 자기 지도 학습 및 다중 작업 훈련을 수행합니다.

모델은 흐름 일치 확산 트랜스포머(DiT)를 사용하여 연속적인 StepAudio VAE 잠재값을 예측하고, 이를 VAE 디코더가 48kHz 오디오로 변환합니다. 이 이산-연속 설계는 단일 코드북 VQ, 의미론 및 음향 RVQ, 그리고 다양한 DiT 구성 비교를 통해 안내됩니다.

명시적인 계획을 위해 혼합 전문가 자기회귀 모델은 ABC 표기법을 사용하여 중간 편곡 계획(ABC-CoT)을 생성한 후 음악 토큰을 예측함으로써 화성, 리듬, 선율 구조를 생성 맥락에 포함시킵니다. 이 모델은 점진적인 훈련 커리큘럼과 지도 미세 조정을 통해 최대 5분 30초 분량의 노래 및 악기 생성, 건조한 보컬로부터의 반주 생성, 커버송 합성 기능을 지원합니다.

최종적으로 강화 학습을 통한 직접 선호 최적화(DPO)를 적용한 결과, 이 모델은 평가된 시스템 중 최고 수준의 오디오박스 콘텐츠 즐거움, 콘텐츠 유용성, 제작 품질 점수를 달성했습니다. 또한 SongBench 결과도 경쟁력을 보였으며, 인공 분석 음악 경기 보컬 리더보드에서는 Suno V5.5 및 Mureka 다음으로 품질 엘로 1105점을 획득했습니다.

LLM에 대한 강화 학습(RL) 훈련이 데이터셋 전체에서 성능을 균등하게 향상시키지 못한다는 것을 입증했습니다. RL은 LLM이 이미 잘 해결할 수 있는 쉬운 문제에서는 큰 성능 향상을 보이지만, 어려운 문제에서는 작은 개선만을 보입니다. 이는 경제학 및 네트워크 과학에서 나타나는 "부자가 더 부자가 되는" 현상인 RL에서의 매튜 효과(Matthew Effect)로 불립니다.

이러한 현상은 어려운 문제 해결에 더 많은 컴퓨팅 자원이 필요하다는 직관적인 설명이 있지만, 연구진은 현대 RL 방법들이 쉬운 문제에 너무 많은 컴퓨팅을 낭비하고 있다고 주장합니다. 대신 컴퓨팅 자원을 동적으로 재할당해야 한다고 제안하며, 이를 위해 Never Give Up(NGU)이라는 단순한 적응형 샘플링 방법을 소개했습니다.

NGU는 문제가 정답을 찾을 때까지 샘플 생성을 계속하는 방식으로 작동하며, 비동기 RL을 활용하여 쉬운 문제를 걸러내고 더 많은 컴퓨팅을 어려운 문제 해결에 할당합니다. 이 방법은 오프-폴리 정책의 견고성 등 설계 선택에 영향을 미치는 요소를 조사하여 모범 사례를 개발했습니다.

실제 벤치마크에서 NGU는 성능 대비 컴퓨팅 효율을 개선했습니다. 수학 벤치마크인 Deepscaler에서는 특히 어려운 문제에서 성능이 향상되었으며, 코딩 작업인 Manufactoria에서도 NGU는 표준 GRPO 방식이 쉬운 문제와 어려운 문제의 범위가 혼재된 테스트를 완전히 해결하지 못하는 경우를 극복하고 점진적으로 더 어려운 테스트를 해결해 나갔습니다.