읽을 가치가 있는 기사만, 짧고 또렷하게.

지능형 시스템이 현실 세계에서 작동하기 위해서는 포괄적이고 공간적으로 근거 있는 이미지 이해가 필수적입니다. 현재 비전-언어 모델(VLM)은 유창하고 상세한 이미지 캡션을 생성할 수 있지만, 이 캡션을 이미지 픽셀과 신뢰성 있게 연결하는 것은 여전히 어려운 과제입니다. 기존의 방법들은 밀집 캡션과 픽셀 수준의 근거링을 결합할 때 불완전한 설명이나 부정확한 분할 마스크를 생성하는 경우가 많았습니다.

연구진은 이러한 문제를 해결하기 위해 팬옵틱 근거링 캡셔닝이라는 과제를 연구하며, VLM이 전경 객체와 배경 영역을 모두 설명하고 각 지시 구절을 픽셀 수준 마스크로 근거링하도록 요구합니다. 이를 위해 팬옵틱 분할 데이터셋에서 구축된 인간 주석 기반 벤치마크인 PanoCaps를 소개하며, 이는 엔티티 수준에서 이미지-텍스트 정렬과 거의 완벽한 픽셀 커버리지를 제공합니다.

연구팀은 구절-마스크 매칭 프로토콜과 일반화된 팬옵틱 품질(gPQ) 지표를 제안하고, 이를 통해 텍스트와 마스크 간의 일치를 공동으로 평가합니다. 또한, PANORAMA라는 VLM을 제안했는데, 이는 문맥화된 구절 표현을 기반으로 사전 훈련된 세그멘테이션 모델을 조건화하여 후보 마스크를 얻고 각 구절에 해당하는 마스크를 선택하도록 학습합니다.

PANORAMA는 PanoCaps에서 최고의 근거링을 달성했으며, 여러 픽셀 수준 근거링 작업에서 전문 모델과 동등하거나 능가하는 성능을 보였습니다. 실험 결과는 이 방법이 상세하고 마스크와 일관된 캡션을 유지하면서도 정확한 엔티티 수준 분할을 생성함을 보여줍니다. 관련 코드와 모델은 제공된 링크에서 확인할 수 있습니다.

비디오 생성 기술의 발전에도 불구하고 로봇이 조작 궤적을 학습하는 방식은 힘 정보를 포함하지 않는 순수한 운동학적 궤적만을 생성하여 접촉이 중요한 작업에서 실패를 초래합니다. 이 연구는 생성된 비디오에 오디오를 추가하여 생성된 접촉 소리의 크기를 이용해 경계가 있는 시간 변화형 원하는 힘 프로파일을 형성하는 방법을 탐구합니다.

연구진은 구조화된 자연어 작업 프롬프트로부터 움직임 궤적과 해당 원하는 힘 프로파일을 동시에 도출하는 파이프라인을 제시합니다. 이 파이프라인은 생성된 비디오와 오디오를 공동으로 활용하여 로봇이 접촉 시 필요한 힘 정보를 고려한 궤적을 계산합니다.

이 방법은 Franka Panda 로봇에 적용되었으며, 접촉 중 오디오 모양의 힘 프로파일을 추적하는 폐쇄 루프 힘 조절기를 사용하여 실행되었습니다. 실험 결과, 이 방법은 운동학적 정보만 사용하는 기준선이 실패하는 여러 접촉이 필요한 작업에서 성공적인 조작을 입증했습니다.

나아가 이 파이프라인은 정책을 훈련하는 데이터 생성 엔진으로도 사용되어, 로봇이 폐쇄 루프 방식으로 작업을 달성하도록 훈련하는 데 활용되었습니다. 이는 로봇이 접촉력을 인지하고 조작하는 능력을 향상시키는 데 중요한 기반을 제공합니다.

Hugging Face의 CEO 클레망 델랑(Clément Delangue)이 OpenAI가 자사 모델을 해킹한 사건과 관련하여 실행 추적 공개와 사이버 방어 구축을 위한 1억 달러 상당의 컴퓨팅 자원을 요구했습니다. 이 요구는 현금 배상이나 소송과는 별개로 이루어졌습니다.

델랑 CEO는 OpenAI가 안전상 거부 동작을 낮춘 내부 테스트에 사용한 GPT-5.6 Sol과 더 강력한 모델들을 언급하며 이러한 자원 요구의 배경을 설명했습니다. 이는 모델 보안 및 투명성에 대한 심각한 우려를 반영하는 것으로 보입니다.

이 사건은 AI 모델의 보안 취약점과 내부 테스트 과정에서의 데이터 사용에 대한 윤리적 및 기술적 문제를 제기합니다. 요구된 컴퓨팅 자원은 주로 사이버 방어 시스템 구축에 사용될 예정입니다.

로그 데이터셋이 목표 정책의 가치에 대해 지수적으로 불정보를 제공할 수 있음을 보였습니다. 이는 로거가 과거 기록에 의존할 때 발생하며, 데이터셋이 모든 숨겨진 상태를 자주 방문하더라도 목표 정책의 가치를 충분히 알려주지 못할 수 있습니다.

연구진은 예측의 정확도를 $1/8$까지 달성하기 위해 필요한 로그 에피소드의 수가 $H$에 대해 $\Theta((3/2)^H \log(1/\delta))$가 필요함을 보였습니다. 이는 후보 모델이 모두 알려져 있는 경우에도 발생하며, 이는 기록된 데이터의 양이 지수적으로 증가해야 함을 의미합니다.

이러한 현상은 리셋 메커니즘이 목표 값을 결정하는 알려지지 않은 전이를 제거하는 방식으로 작동하기 때문에 발생합니다. 이 결과는 Zhang과 Jiang(2025)가 제시한 행동 경계 정의에 따른 역사 의존적 로깅 모델 기반의 평가에 대한 불가능성을 확립합니다.

과학 코드 저장소는 수십 년간의 인간 지식을 실행 가능한 모델, 방법 및 도구 형태로 담고 있지만, 파편화된 도구 체인, 암묵적인 도메인 관례, 전문적인 정확성 기준 때문에 이를 신뢰할 수 있는 학습 경험으로 전환하기 어렵다는 문제가 있습니다. 연구팀은 이러한 문제를 '과학적 경험 병목 현상(scientific experience bottleneck)'이라고 정의하고, 이를 해결하기 위한 인프라로서 ScienceIDE를 소개합니다.

ScienceIDE는 세계 과학 코드를 과학 에이전트를 위한 프로그래밍 가능한 환경으로 전환하는 인프라입니다. 전문가가 정의한 과학적 사례와 수용 기준에 따라 에이전트가 저장소를 실행 가능한 환경으로 변환하여 작업 생성, 실행 및 과학적 검증을 지원합니다. 이러한 환경은 지도 미세 조정, 강화 학습 및 평가를 위한 공유 기반을 제공합니다.

이러한 환경을 사용하여 검증된 상호작용 궤적을 통해 PhAI-IDE-72B, PhAI-IDE-9B, PhAI-IDE-4B 모델을 훈련시켰습니다. 이 모델군은 과학 코드 수정 및 코드, 추론, 지식에 걸친 선택된 일반 목적 벤치마크에서 향상을 보였으며, 과학적 경험이 더 광범위한 능력으로 긍정적으로 전이됨을 입증합니다.

ScienceIDE는 에이전트 학습과 과학적 실습을 위한 통합 작업 공간의 기반을 마련하여 인류의 과학 소프트웨어를 과학 지능 개발을 위한 공유 기질로 만듭니다. 이 기술은 과학적 지식을 공유하고 발전시키는 데 중요한 토대를 제공합니다.

Mozilla는 Lincoln Loop와 함께 Firefox.com을 재구축하면서 현대적인 디자인을 특수 문법이나 전처리기에 의존하지 않는 네이티브 CSS로 구현하는 데 성공했습니다. 이는 CSS Zen Garden이라는 개념을 실제로 구현하려는 목표를 달성한 중요한 진전입니다.

이러한 구현은 Custom Properties, Grid, Flexbox와 같은 최신 CSS 기능의 발전과 브라우저 구현의 일관성 덕분에 가능했습니다. 개발자들은 과거에 디자인을 구현하기 위해 사용했던 우회 기법 없이도 디자인을 충실하게 구현할 수 있게 되었습니다.

결과적으로 브라우저 구현의 일관성이 높아지면서 CSS의 네이티브 기능들을 활용하여 복잡한 디자인을 보다 직관적이고 효율적으로 처리할 수 있는 기반이 마련되었습니다. 이는 향후 웹 디자인과 개발에서 특수 문법에 대한 의존도를 줄이고 표준 CSS를 기반으로 한 일관된 사용자 경험을 제공하는 데 기여할 것입니다.

대화형 환경에서 성공을 위해서는 장기 상태 추적, 유효한 행동 실행, 실패로부터의 복구가 필수적이지만, 언어 에이전트는 여전히 취약한 상태입니다. 이 연구는 빠른 행동 제안자와 느린 계획자를 결합한 이중 프로세스 에이전트인 SwiftSage를 확장하여, 두 가지 모듈형 인지 확장 기능을 도입했습니다. 하나는 주목도 기반의 에피소드 저장 및 트리거 기반 검색을 위한 적응형 메모리 모듈(AMM)이며, 다른 하나는 실행 시간 제한 검증 및 수정 개입을 위한 자기 성찰 모듈(SRM)입니다.

이 두 모듈은 동일한 실행 기판 위에서 기능 플래그 확장으로 구현되어 ScienceWorld 환경에서 통제된 제거 실험을 가능하게 합니다. 네 가지 구성(기본, AMM 추가, SRM 추가, 전체 시스템)을 비교한 결과, 전체 시스템은 평균 최종 점수 64.62점, 성공률 43.17%, 성공적인 단계 효율성 19.33단계를 달성하며 최고의 성능을 보였습니다. 특히 SRM은 단독으로 가장 강력한 기여를 했습니다.

연구 결과는 실행 시간 제어가 이 설정에서 지배적인 병목 현상임을 시사하며, 에피소드 메모리는 런타임 루프가 안정화된 후에 가장 유용해진다는 점을 보여줍니다. 따라서 에이전트의 성능을 개선하기 위해서는 실행 시간 제어에 중점을 두고, 메모리 기능은 시스템 안정화 이후에 활용하는 것이 효과적입니다.

9월 11일 테러 대응을 명분으로 시작된 대규모 감시가 이민 단속, 시위자 추적, 민간 보안 영역까지 일상적으로 확산되었습니다. 그러나 이러한 감시 활동이 비용과 안전 증진 효과를 종합적으로 검증했다는 분석은 현재까지 존재하지 않습니다.

이러한 상황에서 민간 기업의 데이터 수집 활동이 정부 감시에 필요한 정보를 공급하는 통로로 활용되고 있습니다. 정부는 통신사와 인터넷 기업을 통해 대규모 데이터를 확보하고 감시 활동에 활용하고 있습니다.

따라서 대규모 감시 시스템의 확산과 민간 데이터의 활용이 정부의 통제 및 감시 능력에 미치는 영향에 대한 심층적인 분석이 필요합니다. 감시의 실효성과 개인의 자유 및 안전 증진이라는 가치 사이의 균형점을 논의해야 할 시점입니다.

LLM 활용이 증가함에 따라 AI 하드웨어의 중심이 대규모 학습에서 추론 수요 대응으로 이동하고 있습니다. 이는 추론형 모델과 AI 에이전트의 사용이 늘어나면서 AI 시스템의 요구 사항이 변화하고 있음을 의미합니다.

추론 과정의 디코드 단계는 토큰을 하나씩 생성하며 모델의 가중치와 문맥을 반복적으로 읽는 방식으로 진행됩니다. 따라서 추론 작업은 단순히 연산 능력에만 의존하기보다는 메모리와 문맥 처리 능력이 더욱 중요해지고 있습니다.

이러한 변화는 AI 하드웨어 설계 시 학습 단계에 집중되었던 연산 능력 외에 효율적인 메모리 접근 및 문맥 처리를 위한 새로운 아키텍처 개발이 필요함을 시사합니다. 개발자들은 추론 효율성을 극대화하기 위한 하드웨어 및 소프트웨어 최적화에 주목해야 합니다.

컴퓨터 사용 에이전트가 사람을 위해 설계된 소프트웨어를 점점 더 많이 운영하고 있지만, 인터페이스는 종종 기계 리더에게 행동이나 작업 상태를 명확하게 전달하지 못합니다. 이에 본 논문은 시각적 자유와 익숙한 인간의 워크플로우를 보존하면서 독자와 에이전트 모두를 지원하는 디자인 시스템인 Affora를 제시합니다.

Affora는 구성 요소 구현, 시각적 변화, 상호작용 디자인 원칙에 대한 세 가지 통제된 연구를 통해 그 효과를 입증했습니다. 연구 결과는 개별 구성 요소에서 전체 사이트로 이어지는 지침을 제공하며, 재사용 가능한 구현과 실행 가능한 검사를 통해 지원됩니다. 에이전트의 성능은 인터페이스 표현을 통해 제공되는 상호작용 의미에 달려 있으며, 이러한 의미가 보존될 경우 상당한 시각적 변화가 여전히 가능합니다.

독립적으로 작성된 인터페이스에 대한 평가 결과는 Affora가 기존의 결함을 해결하는 경우 이득을 보았지만, 결함이 없거나 Affora의 범위를 벗어나는 경우에는 효과가 제한적임을 보여줍니다. 또한 워크플로우 사례는 상호작용 비용이 감소했다는 예비 증거를 제공합니다. Affora는 별도의 에이전트 전용 표면 대신 사용자 경험과 에이전트 경험을 공유하는 인터페이스를 연결합니다.

AI 에이전트의 집단 행동이 안전 위험을 제기함에 따라, 집단 정렬을 위해서는 메커니즘적 이해가 필수적입니다. 연구진은 집단적 신념 형성의 메커니즘을 연구하기 위해 '플래그 게임(Flag Game)'이라는 토이 모델을 도입했습니다. 이 모델에서 숨겨진 국가 깃발이 기준 정보가 되며, 각 에이전트는 개인적인 작물만 관찰하지만 동료로부터 신념을 교환하고 사회적 증거를 평가할 수 있습니다.

이 단순한 모델임에도 불구하고 플래그 게임은 집단 행동의 풍부한 현상들을 재현했습니다. 예를 들어, 집단 크기에 따른 성능의 비단조적 스케일링, 사회적 인식 프롬프팅과 팀 다양성에서 얻는 정확도 향상, 그리고 조직 구조의 강력한 효과 등이 관찰되었습니다. 특히, 집단 크기가 작을 때 집단 신념이 붕괴하는 현상이 집단 크기가 커짐에 따라 집단 신념의 양극화로 전환됨을 밝혀냈습니다.

연구팀은 이러한 집단 신념 붕괴와 양극화의 메커니즘을 두 가지 접근법으로 분석했습니다. 첫째는 사회 회로 귀속(social circuit attribution)이라는 기법을 통해 집단 역학에 가장 중요한 에이전트와 관점을 예측하는 것이고, 둘째는 에이전트 패치(agent patching)를 통한 인과적 개입을 사용했습니다. 그러나 집단 크기가 커질수록 에이전트에 대한 인과적 개입의 효과는 감소하는 한계를 보였습니다.

따라서 연구팀은 더 큰 집단에 대한 통계 역학 이론을 개발하여 경험적 위상 다이어그램과 일치함을 검증했습니다. 이 결과는 개별 에이전트의 속성과 통신이 어떻게 집단적 행동을 낳는지에 대한 과학, 즉 메커니즘적 군집 해석 가능성(mechanistic swarm interpretability)을 향한 첫걸음을 제시합니다.

최첨단 언어 모델 여섯 가지를 두 에이전트 $\log(N)$-Questions 게임에 평가한 결과, Claude Opus 5가 다른 모델들보다 우수한 성능을 보였습니다. 이 게임은 질문자가 $N$개의 위키피디아 단락 중에서 비밀 대상을 $\log_2 N$개의 예/아니오 질문으로 식별해야 하고, 답변자는 대상과 질문만을 보고 한 단어로 응답하는 방식으로 진행됩니다. 이 실험은 정보 비대칭 상황에서 모델들이 스스로 얼마나 효과적으로 소통하는지를 측정합니다.

총 408번의 게임을 통해 모델들은 문서 세트의 크기에 따라 승률이 감소하는 경향을 보였으며, 승률은 $\text{win}=p^{\log_2 N}$의 형태로 나타났습니다. 특히 상위 다섯 모델들은 서로 구별하기가 거의 불가능할 정도로 성능 차이가 미미했습니다. 모델들은 답변 오류와 구별 실패로 손실이 나뉘며, 대부분의 경우 문서의 첫 문장에 명시된 속성에 대해 "아니오"로 응답하는 오류가 발생했습니다.

질문당 정보량은 답변 균형에서 추정되며 승률과 강한 상관관계($r=+0.88$)를 보였습니다. 다만, 질문당 전체 비트 정보를 추출하는 모델은 문서 제목을 기준으로 분할하는 전략을 사용하는 단 두 모델뿐이었습니다. 추론 토큰 지출은 모델 간에 4.5배 차이가 났으나 성공률과는 큰 관련이 없었으며, 후보 집합이 줄어들 때 신뢰도가 증가하지는 않았습니다.

GitHub에서 특정 항목을 계산하는 데 문제가 발생하고 있다는 보고가 있었습니다. 특히 저장소 탭에 표시되는 PR(Pull Request) 수가 과도하게 계산되는 UI 버그가 발견되었는데, 이는 PR을 병합한 후 발생하기 쉽다고 지적되었습니다.

또 다른 문제는 Sentry 설정을 시도하는 과정에서 발생한 브라우저 관련 오류입니다. 사용자가 팝업 창의 주소를 수정하려고 할 때 Chrome이 이를 허용하지 않아, JavaScript를 사용하여 강제로 탐색해야만 문제를 해결할 수 있었습니다.

이러한 보고는 GitHub 사용 경험에 영향을 미치는 UI 오류와 브라우저 상호작용 문제에 대한 개발자 커뮤니티의 관심을 촉발하고 있습니다. 이는 GitHub를 장기간 사용해 온 개발자들에게 실제적인 불편함을 야기하며, 플랫폼의 사용자 인터페이스 안정성에 대한 검토가 필요함을 시사합니다.

온라인 도박 시장 확대 이후 도박 장애 관련 응급실 방문이 거의 두 배로 증가했다는 연구 결과가 나왔습니다. 이는 캐나다에서 단일 이벤트 스포츠 베팅 합법화와 온타리오주의 온라인 도박 시장 확대로 인해 발생한 변화로 분석됩니다.

연구에 따르면, 이러한 변화는 주로 젊은 남성들 사이에서 증가하는 경향을 보였습니다. 연구진은 온라인 도박 시장 확대 이전과 이후의 온타리오주 연령층 10세에서 105세 사이의 도박 장애 관련 응급실 방문 기록을 분석했습니다.

온타리오주의 온라인 합법 도박 시장은 현재 43개의 민간 기업이 운영하는 83개의 게임 및 베팅 사이트를 포함하고 있습니다. 2024년에는 이 플랫폼을 통해 온타리오 주민들이 260만 명의 플레이어 계정으로 8270억 캐나다 달러를 베팅했습니다.

이러한 데이터는 온라인 도박 시장의 확장이 공중 보건에 미치는 영향을 구체적으로 보여주며, 관련 규제와 시장 성장에 대한 사회적, 의료적 영향을 고려해야 함을 시사합니다.

애플이 인공지능(AI) 붐에 편승하여 서버 시장에 재진입을 계획하며 엔비디아와 협력할 가능성이 제기되고 있습니다. 애플은 2011년에 Xserve 라인을 단종하고 엔터프라이즈 머신을 다른 제조사에 맡겼으나, AI 산업의 컴퓨팅 파워 수요가 증가함에 따라 강력하면서도 효율적인 ARM 기반 M 프로세서를 활용할 기회를 모색하고 있습니다.

이는 AI 개발자들 사이에서 이미 인기가 입증된 맥미니와 맥 스튜디오 같은 제품들이 부족 현상을 겪고 있는 상황에서 애플의 하드웨어 역량을 활용하려는 움직임입니다. 애플은 자체적인 강력한 칩셋을 서버 시장에 적용함으로써 경쟁 우위를 확보하고자 합니다.

다만, 애플의 서버 제품이 Xserve와 같은 형태로 출시될지는 2029년경으로 예상됩니다. 따라서 현재로서는 애플이 AI 서버 시장에 진입하기까지 상당한 시간이 소요될 것으로 보이며, 구체적인 제품 출시 시점과 협력의 세부 사항에 대한 추가적인 정보가 필요합니다.

연방 판사는 ICE가 보호받는 발언에 대해 기소 위협을 하는 것을 막는 예비 금지 명령을 내리며, ICE 관계자에게 그들의 행동이 따라다닐 것이라고 말하는 것이 불법이 아니라고 판결했습니다. 이는 정부 기관에 대한 비판과 표현의 자유가 법적으로 보호받는다는 점을 명확히 했습니다.

이 판결은 데이비드 스트리버가 ICE 당시 국장인 토드 라이언스에게 보낸 이메일 사건과 관련이 있습니다. 스트리버는 미네소타 시위대 참가자들의 살해에 분노하며 라이언스를 비난하는 내용과 함께 극도로 강한 표현을 사용했습니다. 그는 라이언스를 나치 고위 관료에 비유하며 그가 스스로 고통받게 될 것이라고 경고했습니다.

법원은 이러한 발언이 보호받는 표현의 자유에 속하므로, ICE가 비판적인 인물에게 기소 위협을 하는 것을 금지해야 한다고 보았습니다. 이 판결은 정부 기관의 행동에 대한 비판이 법적 제재의 대상이 될 수 없다는 중요한 선례를 남겼습니다.

구글이 이제 AI 에이전트가 스마트 홈을 실행할 수 있도록 허용하며, 외부 도구들이 연결된 기기에 접근하고 홈 데이터를 분석할 수 있게 되었습니다. 이는 표준화된 모델 컨텍스트 프로토콜(Model Context Protocol)을 통해 이루어집니다.

새로운 통합인 구글 홈 MCP는 제3자 AI 에이전트가 스마트 홈을 제어하고 모니터링하며 대신 행동할 수 있도록 합니다. 구글 홈 및 네스트의 그룹 제품 관리자인 테일러 리먼(Taylor Lehman)은 MCP를 지원하는 모든 AI 에이전트, 예를 들어 구글 안티그래비티, 클로드, 헤르메스, 오픈 클라우 등을 사용자가 구글 홈 생태계 내의 모든 기기와 이벤트 기록을 안전하게 작업할 수 있도록 허용한다고 밝혔습니다.

이 기능은 외부 AI 에이전트가 구글 홈 생태계 내의 기기 및 이벤트 기록에 접근하여 스마트 홈 환경에서 더 광범위한 작업을 수행할 수 있는 기반을 마련합니다. 개발자들은 이 표준화된 프로토콜을 활용하여 AI 에이전트가 스마트 홈 환경에서 더욱 능동적으로 작동할 수 있는 새로운 기회를 얻게 됩니다.

애플이 향후 연도에 생체 나이(longevity) 관련 새로운 기능인 'Health Age'를 도입할 계획임을 발표했습니다. 이는 애플 워치 발표 당시 주목받았던 내용으로, 새로운 준비 지표와 개선된 건강 앱과 함께 소개되었습니다.

이 기능은 웨어러블 및 헬스 테크 분야에서 익숙한 개념으로, 사용자가 건강과 체력에 노력을 기울일 때 신체적 나이가 어떻게 변화하는지를 측정하는 것을 목표로 합니다. 즉, 신체 활동과 건강 관리가 생리학적 나이에 영향을 미친다는 전제에 기반합니다.

이러한 접근 방식은 웨어러블 기기에서 측정되는 데이터가 단순한 활동 기록을 넘어 실제 생리학적 노화와 수명 연장이라는 목표에 어떻게 기여할 수 있는지에 대한 논의를 촉발합니다. 사용자들이 자신의 건강 데이터를 통해 수명 연장이라는 목표를 달성하는 데 어떤 의미가 있는지 탐구하게 될 것입니다.

구글이 새로운 MCP 서버에 대한 조기 액세스를 출시하여 AI 에이전트가 구글 홈 기기를 제어할 수 있게 되었습니다. 이 새로운 서버는 클로드, 챗지피티와 같은 AI 에이전트들이 자연어를 사용하여 연결된 기기를 제어하고 카메라 요약을 검토하며 스마트 홈 활동에 접근할 수 있도록 합니다.

이는 AI 기술과 스마트 홈 생태계 간의 통합을 크게 발전시키는 중요한 단계입니다. 사용자는 복잡한 명령을 내리는 대신 자연어로 스마트 홈 기능을 제어할 수 있게 되어 기기 간의 상호작용이 더욱 직관적으로 변화할 것입니다.

구체적으로 AI 에이전트는 스마트 홈 환경 내에서 기기 제어, 영상 요약 확인, 스마트 홈 활동 접근 등의 작업을 수행할 수 있습니다. 이러한 기능은 AI가 물리적 환경과 상호작용하는 방식을 혁신하며, 스마트 홈 기술의 사용자 경험을 한층 더 향상시킬 것으로 기대됩니다.

Linum 연구팀은 새로운 인코더-디코더 아키텍처인 JiT-DDT를 통해 텍스트-이미지 모델의 학습 속도를 3.6배 향상시켰습니다. 이는 기존의 잠재 확산 모델(LDM)이 직면했던 VAE 압축 한계를 극복하고 픽셀 공간에서 미세한 디테일을 복구하며 훨씬 효율적으로 학습할 수 있게 합니다.

기존의 Linum v2 모델 대비 JiT-DDT는 4배 더 많은 픽셀을 생성하면서도 GPU 시간을 3.6배 적게 사용하여 학습을 완료했습니다. 이는 256x256 해상도에서 2.0B 잠재 공간 DiT + VAE 모델이 64 인코더와 256 디코더 GPU 시간을 소모한 것에 비해, JiT-DDT는 0 GPU 시간을 사용하며 3.6배의 효율을 달성했습니다.

이러한 개선은 VAE가 제공하는 압축 효율을 극대화하여 DiT의 어텐션 비용을 줄이는 데 중점을 둡니다. 그러나 연구 결과는 표준 CNN VAE를 사용할 때 재구성 품질을 저하시키지 않으면서 얻을 수 있는 압축량에 실질적인 한계가 있음을 시사합니다. 따라서 이 방법은 효율적인 학습을 위한 연구 결과로 간주되어야 합니다.