Meta made a Tamagotchi-like wearable for its Muse AI agent

메타가 자사의 Muse AI 에이전트를 위한 타마고치와 유사한 웨어러블 기기를 출시했습니다. 이 새로운 장치는 사용자가 Muse와 연결을 유지할 수 있는 또 다른 방식을 제공하며, 마크 저커버그 CEO는 이 기기를 연말에 출시할 것이라고 밝혔습니다.

이 Muse Charm이라는 기기는 사용자가 주머니에 넣거나 열쇠고리에 부착할 수 있는 손바닥 크기의 토템 형태로 디자인되었습니다. 이 장치는 Muse 에이전트의 디지털 아바타인 조리(Jolly)를 표시하는 작은 화면을 갖추고 있으며, 사용자는 스마트폰을 잠금 해제하거나 앱을 열지 않고도 지문 센서를 통해 기기에 대고 음성으로 대화할 수 있습니다.

이는 실시간 음성 및 아바타 스택을 키체인에 맞는 형태로 통합하여, 사용자가 안경을 착용하지 않아도 Muse와 소통하고 주변 상황을 확인하는 가장 빠른 방법을 제공합니다. 이러한 웨어러블은 AI 웨어러블에 대한 실험을 진행하는 동시에, 메타가 자사의 AI 에이전트를 대중에게 배포하는 또 다른 경로를 제시한다는 점에서 의미가 있습니다.

Show HN: An open-source manufacturing ERP/MES/QMS

자체 호스팅 Carbon은 CMMC 경계를 내부에 두고 운영할 수 있는 오픈 소스 제조 ERP/MES/QMS 솔루션입니다. 이 시스템은 사용자가 소유한 Postgres 데이터베이스 위에서 운영되며, 데이터의 소유권과 전체 시스템에 대한 완벽한 통제권을 보장합니다.

이 솔루션은 데이터가 외부 클라우드로 복사되지 않고 내부 네트워크에만 머무르도록 설계되어, 방위 및 항공우주 산업과 같이 CUI를 다루는 규제 환경에서 필수적인 보안 요구 사항을 충족합니다. 특히 온프레미스, VPC, 또는 완전히 에어갭 환경에서 구동할 수 있어 데이터 주권과 감사 가능성을 극대화합니다.

Carbon은 오픈 소스 코드를 기반으로 하여 개발자가 모든 라인을 검토하고 보안을 감사할 수 있게 하며, 엔터프라이즈 배포를 위해 SSP, POA&M 등의 컴플라이언스 입력 자료를 제공합니다. 또한 Docker 기반으로 구축되어 사용자가 자체 클라우드 환경이나 에어갭 환경에 맞게 배포할 수 있으며, 자체 AI 모델을 연결하여 내부 데이터에 기반한 에이전트를 운영할 수도 있습니다.

다만, 에어갭 라이선스나 API 키와 같은 엔터프라이즈 기능을 사용하려면 상업적 라이선스가 필요하며, 규제된 프로그램에 대한 배포 및 마이그레이션을 위해서는 전문적인 지원 서비스가 제공됩니다.

Feds Target AI Critics as "Foreign Agents"

미국 정부가 인공지능(AI) 비판자들을 "외국인 요원"으로 규정하며 탄압하려는 움직임을 보이고 있습니다. 트럼프 행정부는 AI 데이터 센터에 대한 반대에 중국이 뒤에서 조종하고 있다고 보고 있으며, 이들의 활동이 외국 세력의 목표를 추구한다고 판단했습니다.

이에 따라 법무부는 시민과 비시민 모두에게 공공 활동에서 외국 세력의 목표를 추구하는 행위를 할 경우 체포 및 기소를 피하기 위해 정부에 공식적으로 통보하도록 지시했습니다. 이는 시위와 같은 공개적인 활동까지 포함하며, 정부가 AI 관련 반대 운동을 국가 안보 문제로 간주하고 있다는 것을 보여줍니다.

이러한 움직임은 의회 차원에서도 나타나고 있습니다. 톰 코튼 상원의원 등은 중국 공산당(CCP)이 미국 AI 인프라 구축에 영향을 미치려는 외세의 노력을 조사하도록 법무부에 요청했습니다. 특히 상하이 기반의 기술 거물인 네빌 로이 싱엄이 중국 정부의 지원을 받고 있다는 보고가 제기되었으며, 이들이 외국 세력의 목표를 추구하는 네트워크의 일부로 간주되었습니다.

정부는 국가 안보 카드를 사용하여 AI 분야의 반대 세력을 억압하고 있으며, 이는 AI 기술 발전에 대한 대중의 불신을 더욱 심화시킬 수 있다는 아이러니를 낳고 있습니다. 이러한 조치가 실제로 외세의 개입을 막는 데 기여할지, 혹은 오히려 정부에 대한 불신을 키울지에 대한 논란이 이어지고 있습니다.

Z80 REPL (2018)

Z80 REPL에 대한 정보가 포함된 기사가 제공되었으나, 실제 기사 내용은 확인되지 않습니다. 해당 기사는 Z80 REPL이라는 주제를 다루고 있으며 2018년과 관련된 내용임을 알 수 있습니다.

Z80 REPL은 특정 개발 환경이나 프로젝트에서 사용되는 기술 또는 소프트웨어 관련 논의일 가능성이 높습니다. 개발자 대상 사이트에서 다루는 만큼, 이 주제는 Z80 아키텍처나 관련 레플리케이션 기술에 대한 심층적인 정보를 제공할 것으로 예상됩니다.

현재 제공된 자료만으로는 Z80 REPL의 구체적인 내용, 변경 사항, 또는 기술적 맥락에 대해 설명하기 어렵습니다. 따라서 해당 기사를 통해 Z80 REPL이 어떤 기술적 변화를 반영하는지, 그리고 개발자들이 어떤 관점에서 이 정보를 활용해야 하는지에 대한 추가적인 맥락을 확인해야 합니다.

Claude는 측정할 수 있는 것을 더 빠르게 만들 수 있다

Claude.ai와 Claude 데스크톱 앱의 핵심 사용자 경험을 2주 만에 약 3배 빠르게 개선하는 작업이 완료되었습니다. 이 개선은 사용자 활동의 95%를 차지하는 네 가지 이용 흐름에 집중하여 진행되었으며, 이를 통해 매일 수만 시간의 대기 시간을 줄인 것으로 추산됩니다.

이번 개선 작업은 Claude의 성능과 사용자 접근성을 향상시키는 데 중점을 두었습니다. 구체적으로는 병목 탐색, 벤치마크 구축, 최적화 구현 등의 과정을 통해 시스템의 비효율적인 부분을 식별하고 해결했습니다.

이러한 최적화는 사용자들이 Claude를 이용할 때 경험하는 지연 시간을 크게 단축시켜, 전반적인 사용자 경험을 획기적으로 향상시킵니다. 이는 개발자들이 Claude 기반 서비스를 구축하거나 운영할 때 성능 최적화의 중요성을 보여주는 사례입니다.

Tunnet - 관리 서버까지 직접 운영하는 오픈소스 Tailscale 대안

오픈소스 솔루션인 Tunnet은 Tailscale과 같이 여러 컴퓨터를 하나의 암호화된 사설망으로 연결하는 기능을 제공합니다. 사용자는 SSH 접속, 내부 서비스 공유, 공개 터널, 파일 전송 등을 동일한 계정과 접근 정책으로 통합 관리할 수 있습니다.

이 솔루션의 핵심은 장치에 설치하는 에이전트뿐만 아니라 관리 서버, 대시보드, 릴레이까지 모두 공개하여 사용자가 외부 업체의 제어 서버에 의존하지 않고 시스템을 직접 운영할 수 있게 한다는 점입니다.

이는 보안과 통제에 민감한 개발자들에게 외부 종속성 없이 자체 인프라를 구축하고 관리하고자 하는 강력한 대안을 제시합니다. Tunnet은 사용자가 네트워크 환경에 대한 완전한 통제권을 확보할 수 있도록 설계되었습니다.

Show GN: Modeleaf - 키보드 중심의 가벼운 macOS 읽기 전용 PDF 뷰어

macOS 환경에서 키보드 조작을 중심으로 PDF를 가볍게 읽을 수 있도록 개발된 읽기 전용 뷰어 Modeleaf가 소개되었습니다. 이 도구는 사용자가 본문과 참고문헌 사이를 오갈 때 발생하는 부담을 줄이는 것을 목표로 합니다.

Modeleaf는 Vim 스타일의 단축키를 지원하여 PDF를 효율적으로 조작할 수 있게 합니다. 또한 Vimium 스타일의 링크 힌트를 제공함으로써 PDF 내부 링크뿐만 아니라 외부 URL에도 키보드만으로 접근할 수 있도록 기능을 구현했습니다.

이러한 기능들은 논문이나 문서를 읽는 과정에서 마우스 사용을 최소화하고 키보드 중심의 워크플로우를 구축하고자 하는 사용자들에게 실질적인 이점을 제공합니다. Modeleaf는 키보드 중심의 접근성을 높여 문서 리딩의 효율성을 극대화하는 데 중점을 두고 있습니다.

Meta is making a standalone Muse AI gadget

메타가 새로운 Muse AI 에이전트를 위한 전용 하드웨어 장치를 개발하고 있습니다. 마크 저커버그 메타 CEO는 이번 메타 커넥트 발표에서 Muse Charm이라는 제품을 공개했습니다. 이 장치는 스트랩이 없는 큼직한 스마트워치와 비슷한 형태로, 큰 화면과 장치를 걸 수 있는 작은 끈이 특징입니다.

Muse Charm은 사용자가 에이전트와 대화하기 위해 상단 오른쪽 모서리에 있는 지문 센서를 누르는 방식으로 작동합니다. 또한 장치에는 작은 카메라와 최소 세 개의 마이크 구멍이 전면에 배치되어 있습니다.

저커버그는 이 장치를 사용할 때 휴대폰을 잠금 해제할 필요가 없다고 언급했습니다. 이는 사용자가 스마트폰 없이도 Muse AI 에이전트와 직접 상호작용할 수 있는 새로운 방식의 접근성을 제공할 수 있음을 시사합니다.

내가 바라는 GNOME의 LLM 정책

GNOME 프로젝트에 대한 LLM 정책에 대한 개인적인 제안이 제시되었습니다. 이 제안은 개발 작업 방식을 세밀하게 관리하기보다는 공동체가 환영하거나 거부하는 행동을 알리는 사회적 규범으로서의 역할을 해야 한다고 주장합니다.

제안된 정책의 핵심은 GNOME에 제출되거나 GNOME 인프라에 호스팅되는 모든 것을 LLM으로 생성하거나 수정하는 행위를 금지하는 것입니다. 이는 커뮤니티의 행동 기준을 설정하여 개발 환경의 무결성을 유지하려는 의도를 담고 있습니다.

이러한 규제는 개발자들이 GNOME 환경 내에서 콘텐츠를 생성하고 수정하는 방식에 대한 사회적 합의를 모색하는 데 중점을 둡니다. 따라서 정책은 기술적인 제약보다는 커뮤니티의 합의와 행동 규범을 중심으로 논의되어야 합니다.

사람을 위한 KDE

KDE 사용자들과 기여자 모임이 KDE Plasma Desktop 관련 구성 요소에서 생성형 인공지능(Generative AI) 사용을 금지하는 정책을 요구했습니다. 이 요구는 개별 커밋에서 AI 사용 비율을 정확하게 측정하는 것보다, 사람 중심의 공동체, 개인정보 보호, 그리고 통제권이라는 KDE의 핵심 가치를 지키는 데 중점을 두고 있습니다.

이 정책 요구는 기술적인 사용 제한보다는 커뮤니티의 주권과 개인의 권리를 보호하는 데 초점을 맞추고 있습니다. 개발자들이 기여하는 과정에서 AI 사용이 어떻게 이루어지는지에 대한 투명성과 통제권을 확보하는 것이 주요 목표입니다.

결론적으로, 이번 요구는 KDE 생태계 내에서 AI 기술의 도입에 대해 공동체의 가치와 개인정보 보호라는 근본적인 원칙을 우선시해야 한다는 입장을 반영합니다. 이는 기술 개발과 커뮤니티 운영에 있어 인간 중심적인 접근 방식을 강조하는 움직임입니다.

Radicle: 네트워크 프로토콜 취약점 공개

Radicle 네트워크 프로토콜에서 평문 전송과 피어 인증 결함이라는 두 가지 심각한 취약점이 발견되었습니다. 이 취약점들은 공개 시점까지 출시된 모든 Radicle 버전에서 영향을 미치므로 사용자는 즉시 보안 조치를 취해야 합니다.

공격자는 네트워크 경로상에 위치하여 통신 데이터를 읽을 수 있으며, 관찰된 노드 ID를 사칭하여 허용 목록에 제한된 접근 권한을 획득할 수 있습니다. 이는 네트워크 통신 보안에 중대한 영향을 미치며, 노드 간의 신뢰 관계를 위협할 수 있습니다.

해당 취약점들은 네트워크 통신 과정에서 데이터의 기밀성과 인증 메커니즘의 무결성을 보장하는 데 실패했음을 의미합니다. 개발자와 운영자는 이 정보를 바탕으로 Radicle 시스템의 통신 프로토콜과 인증 방식을 재검토하고 즉각적인 패치를 적용해야 합니다.

Meta Connect 2026: The 7 biggest announcements

메타는 수요일에 연례 메타 커넥트 쇼케이스에서 새로운 웨어러블 기기들을 발표했습니다. 이번 행사에서 가장 주목받은 제품은 새로운 메타 VR 글래스였는데, 이는 가상 현실 기술을 경량의 스마트 안경 스타일 프레임과 연결된 퍽(puck)으로 통합한 형태입니다.

이 새로운 VR 글래스는 일반적인 VR 헤드셋과 달리 가상 현실을 스마트 안경 형태로 구현하여 훨씬 가벼운 폼팩터를 제공합니다. 메타는 또한 화면이 없는 스마트 안경 쌍과 새로운 AI 기능, 그리고 다양한 스타일 및 프레임 옵션도 함께 공개했습니다.

이번 발표는 VR 기술이 더 접근하기 쉬운 형태로 발전하고 있음을 보여줍니다. 개발자들은 이러한 경량화된 스마트 글래스 형태의 웨어러블 기기들이 향후 디바이스 디자인과 사용자 경험에 어떤 영향을 미칠지 주목해야 합니다.

Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction

엔터프라이즈 AI에서 도구 호출 에이전트가 중요해지고 있지만, 비즈니스 및 법적 제약으로 인해 시스템, 데이터, 데이터베이스 스키마에 대한 훈련 및 평가가 대규모로 제한되어 있습니다. 기존의 표 데이터 합성 방식은 구조적 유효성과 스키마 가용성에 의해 효과가 제한되며, 절차 기반 접근 방식은 도메인별 작성 없이 분포적 충실도를 제공하지 못하는 약점을 가집니다.

이에 연구진은 시뮬레이션 기반 데이터 합성 패러다임인 합성 시뮬레이션(Synthesis Through Simulation, STS)을 제안합니다. STS는 LLM 에이전트가 시뮬레이션된 기업 환경 내의 정책 준수 API에 대해 연산을 실행함으로써 데이터를 생성하는 스키마 없는 방식을 사용합니다. 이 방식은 데이터가 유효성을 정의하는 동일한 환경을 통해 생성되므로 구조적 유효성을 구축 단계에서 보장하며, 유효성 강제와 분포 모델링을 분리하여 각 요소를 독립적으로 다룰 수 있게 합니다.

STS의 도메인 불가지론적 에이전트인 일반화 풀퓰레이터(Generalist Populator, GP)는 데이터베이스 스키마에 접근하지 않고도 10개 환경 전체에서 평균 0.88의 마진 적합도와 100%의 제약 만족도를 달성합니다. 이는 통계적 합성기가 필요한 시드 데이터 요구 사항 때문에 7개 환경에 적용되지 못하고, 스키마 권한을 가진 에이전트가 항공 환경의 긴밀하게 연결된 워크플로우에서 82%의 궤적에서 실패하는 문제를 해결합니다.

이 연구팀은 전체 프레임워크, 10개 환경, 그리고 생성된 데이터셋을 https://github.com/SAP/synthesis-through-simulation에서 공개했습니다.

AutoResearch at Production Scale: Failure Modes and a Multi-Agent Framework

생산 환경의 추천 파이프라인을 위한 임베딩 시스템 최적화는 대규모에서 비례하지 않는 엔지니어링 노력을 요구하는 체계적인 탐색을 필요로 합니다. 이 연구는 안드레이 카르파티치(Andrej Karpathy)의 AutoResearch 패러다임, 즉 훈련 스크립트를 반복적으로 수정하고 보유한 스칼라 지표를 개선하는 수정 사항을 유지하는 대규모 언어 모델을 적용하여 이러한 탐색을 자동화하는 방법을 제안합니다.

연구진은 이 패러다임을 생산 규모에서 12주 동안 실행했으며, 반복 작업은 여러 GPU 컴퓨팅으로 몇 시간씩 소요되고 평가에는 경쟁적인 기준이 적용되며 캠페인은 여러 훈련 작업에 걸쳐 몇 주간 지속되었습니다. 두 개의 독립적으로 개발된 도서 추천 파이프라인을 위한 표현 학습 시스템에서 220개 이상의 실험을 수행한 결과, 원래 설정에는 없었던 다섯 가지 반복적인 실패 모드를 관찰했습니다. 이 실패 모드들은 인프라 취약성, 에이전트 메모리 감쇠, 탐색 방향 정체, 반복 비용 비대칭, 지표 고착으로 요약됩니다.

연구진은 이러한 실패 모드를 반복 비용에 따라 인스턴스화되는 구조적 해결책을 매핑하는 세 가지 원칙, 즉 예방(prevent), 지속(persist), 재지정(redirect)을 포함하는 스캐폴딩 설계를 제시했습니다. 이 프레임워크는 기준선 대비 Recall@6에서 1.82배, 일관성에서 2.1배의 향상을 달성했으며, 에이전트는 텍스트 전용 폴백을 자율적으로 설계하여 카탈로그 범위를 5.8배 확장했습니다.

흥미롭게도, 반복당 비용이 거의 세 자릿수 차이가 나는 두 시스템이 동일한 실패 모드를 보였는데, 이는 이러한 문제들이 특정 애플리케이션의 산물이 아니라 생산 규모의 자율 연구에서 발생하는 구조적 속성임을 시사합니다.

Accent Analogy Guidance: More Speaker Similarity at Equal Accent in Cross-Lingual Voice Cloning

교차 언어 제로샷 텍스트 음성 변환(TTS)에서 참조 음성의 억양이 목표 음성으로 누출되는 문제를 해결하기 위한 방법이 제시되었습니다. 연구진은 훈련 없이 작동하는 샘플러 항인 억양 유사성 가이드(Accent Analogy Guidance, AAG)를 제안했는데, 이는 모델이 두 언어로 렌더링한 합성 음성에 대해 추정한 억양 방향을 빼서 음성 자체를 상쇄하고 억양만 남기는 방식입니다.

이 방법은 실시간 더빙 데이터에 대한 LLM 억양 판단 및 분류 없는 가이드(classifier-free guidance) 재가중 등을 통해 동일성-억양 상충 곡선 근처에 머물도록 합니다. 연구 결과, AAG는 네 가지 오픈 TTS 모델 전반에서 해당 곡선 위에 위치하는 것으로 나타났습니다. 특히 OmniVoice 모델에서는 참조 음성 유사도가 0.29일 때 억양 점수가 3.51에서 4.28 사이로 나타났으며, 이는 재가중 방식이 유지하는 0.02보다 훨씬 높은 수치입니다.

MaskGCT와 CosyVoice 2 모델에서도 AAG는 곡선 위에 위치했으며, F5-TTS의 경우 다른 어떤 재가중 설정보다도 더 원어민적인 결과가 나왔습니다. 또한 LLM을 사용하지 않은 언어 식별 측정치와 12명의 청취자 패널이 이 결과를 일치시켰습니다. 최종적으로, AAG가 얻을 수 있는 이득의 정도를 예측하는 실험을 통해 AAG가 아무런 이득을 얻지 못하는 모델(X-Voice)을 미리 예측할 수 있음을 확인했습니다.

Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification

LLM이 생성한 주장의 사실성을 권위 있는 의료 데이터로부터 검증하는 검색 기반 사실성 평가가 고위험 임상 환경에서 환각(hallucination)을 확장 가능하게 탐지하는 주요 패러다임이 되었습니다. 하지만 대부분의 시스템은 F1과 같은 집계 지표로 성능을 측정하여 실패가 발생하는 위치와 이유를 파악하기 어렵습니다. 기존의 RAG 진단 시스템은 정답이나 주석이 달린 증거가 없기 때문에 이러한 문제점을 해결하기 위한 새로운 접근이 필요합니다.

연구진은 개방형 MedExpert 데이터셋과 3개의 폐쇄형 데이터셋을 기반으로 실패를 분해하는 두 가지 포괄적인 분류 체계를 도입했습니다. 이 분류 체계는 검색 단계 오류를 다섯 가지 품질 차원으로, 검증자 추론 오류를 여섯 단계로 세분화합니다. 또한 LLM-as-Judge를 사용하여 증거 품질을 레이블링하고 검증자 추론 오류를 대규모로 분류하는 자동 패턴 유도 파이프라인을 개발했습니다.

연구 결과에 따르면 모델 크기 확장, 추론 노력 추가, 권위 있는 웹 소스 확장, 의료 미세 조정 적용 등의 방법은 이러한 실패 모드를 해결하지 못합니다. 이는 이러한 실패가 구식 시스템의 산물이 아니라 개방형 의료 환경에서 검색 후 검증(retrieve-then-verify) 패러다임의 근본적인 한계를 나타낸다는 것을 보여줍니다.

연구진은 이 결과를 재현 가능하게 하기 위해 코드와 데이터를 https://anonymous.4open.science/r/Medical_RAG_eval-4AB5에서 공개했습니다.

Omni-Decision: Evidence-Ledger Planning for Omni-Modal Agents

옴니모달 에이전트는 질문에 답하기 위해 비디오, 오디오, 웹 페이지, 계산 등 다양한 출처에서 증거를 찾아야 하지만, 계획 수립에서 병목 현상이 발생합니다. 대화 기록에 노이즈가 많은 멀티모달 관찰이 누적되어 후속 결정에 방해가 되며, 멀티모달 모델은 다단계 계획을 수행할 수 있는 능력이 제한적입니다. 이러한 문제를 해결하기 위해 계획기(planner)를 대체하는 것보다 지각 백엔드(perception backend)를 대체하는 것이 성능 손실이 적다는 점이 확인되었습니다.

이에 연구진은 증거 원장 계획(evidence-ledger planning)을 기반으로 한 옴니디시전(Omni-Decision)을 제안합니다. 이는 증가하는 대화 기록을 명시적인 증거 원장으로 대체하여 어떤 증거가 누락되었는지, 어떤 증거가 확인되었는지, 기록이 충돌하는지 등을 기록합니다. 비평가(critic)는 각 노이즈가 많은 관찰을 읽고 유용한 콘텐츠만 원장에 전달하여 나머지 정보를 폐기함으로써 계획기가 전체 작업 과정에서 간결한 맥락으로 작동하도록 합니다.

각 실행은 모든 단계에서 상태, 행동, 판결을 기록하며, 이러한 궤적에 대한 지도 학습 미세 조정과 결정 수준 강화 학습을 통해 계획기를 추가로 개선합니다. 옴니디시전은 OmniGAIA에서 81.4%의 최고 정확도를 달성했으며, 이는 Gemini-3.1-Pro의 질문당 비용의 약 43% 수준입니다. 또한 WorldSense 장편 비디오 이해에서 65.0%의 정확도를 기록하여 가장 강력한 종단 간 모델과 동등한 성능을 보였습니다.

Post-Training Leaves Behavioral Shadows on Unrelated Decisions

언어 모델이 작업과 관련 없는 텍스트를 통해 능력을 전이시킬 수 있다는 연구 결과가 발표되었습니다. 기존의 후처리 학습은 특정 작업 데이터를 사용하여 언어 모델을 개선하는 방식이었으나, 본 연구는 이러한 능력 전이가 어떻게 발생하는지 탐구합니다.

연구진은 능동적 작업 없는 증류(Active Taskless Distillation, ATD)라는 새로운 방법을 제안했는데, 이는 프롬프트당 교사로부터 단 하나의 단어만을 사용하여 능력 전이를 달성합니다. ATD는 교사와 학생의 공통 조상이 두 개의 평범한 단어에 대해 거의 무관심한 프롬프트를 선택함으로써 후처리 학습의 행동적 그림자를 탐색합니다.

학생 모델은 목표 작업 예제, 교사의 로짓 또는 교사 파라미터 없이 결과로 나온 프롬프트-단어 쌍만을 통해 학습합니다. Qwen2.5-1.5B 모델을 사용한 주요 코딩 실험에서 5,664 nses는 정확한 통제 그룹 대비 HumanEval+에서 5.34 pp의 이득을 보였습니다.

이러한 프롬프트 실험은 추가적인 모델 세대, 크기, 가족 전반에 걸쳐 과학 지식, 상식 추론, 독해력에서 능력이 전이됨을 보여줍니다. 기능 분석 결과, 학습된 측면은 합성 가능하며 그 강도는 교사의 업데이트 강도와 일치하는 것으로 나타났습니다.

How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure

LLM 시스템 평가에서 도출된 결론의 재현 가능성에 대한 자기 감사를 다룬 연구 결과가 발표되었습니다. 이 연구는 LLM 기반 프롬프트 구조 추론을 사례로 들어, 모델 평가 결과의 신뢰도를 검증했습니다.

연구 결과, 측정된 현상은 처음부터 불안정하며 동일한 호출이 반드시 동일한 구조를 복구하지 못하는 것으로 나타났습니다. 평균 노드 집합 자카드 값이 0.39에서 0.96 사이였으며, 프롬프트-모델 셀 중 72%는 노드 집합이 완벽하게 일치하지 않았습니다. 또한 평가를 감사하는 과정은 결론을 더욱 약화시킨다는 점이 주요 기여로 제시되었습니다.

프롬프트에 대한 공동 클러스터 부트스트랩 분석 결과, 순위 중 가장 하위 두 모델만이 99%와 86%의 재현 횟수에서 순위를 유지했습니다. 이는 평가표가 최악의 모델을 신뢰성 있게 식별하지만 최고의 모델을 신뢰성 있게 식별하지는 못함을 의미합니다. 또한, 추론된 구조와 실제 주석 간의 비교를 통해 재현성이 정확도로 읽힐 수 없음을 확인했습니다.

연구는 측정 기간 내에 네 개의 엔드포인트가 철회되었기 때문에 원래의 범위대로 연구를 계속할 수 없으며, 소규모 LLM 평가가 증거보다 훨씬 더 확정적으로 보일 수 있다는 한계가 있습니다. 따라서 순위와 함께 순위 안정성, 셀별 출처, 실행 민감도 비교, 원시 실행 결과, 측정 날짜를 보고할 것을 권고합니다.

LightMIS: Ultra-Lightweight Medical Image Segmentation Without a Stage-Wise Decoder

LightMIS는 학습된 단계별 디코더 없이 2D 이진 의료 영상 분할을 위한 초경량 컨볼루션 네트워크 계열을 제시합니다. 이 모델은 다섯 단계 인코더의 출력을 공통 해상도로 정렬하고, 이를 통합한 후 적응형 융합 캐스케이드(Adaptive Fusion Cascade)를 통해 표현을 정제합니다. 특히 이 캐스케이드에는 적응형 커널 융합과 제안된 점진적 수용 융합 모듈이 결합되어 채널 확장, 보완적인 깊이별 수용장, 점진적인 교차 분기 정보 전달을 활용합니다.

LightMIS-T, LightMIS-S, LightMIS 모델을 DRIVE, Kvasir-SEG 등 여러 의료 영상 데이터셋에서 nnU-Net v2.3.1 프로토콜을 사용하여 5중 교차 검증을 통해 평가했습니다. 전체 LightMIS 모델은 0.131M개의 파라미터와 0.575 GFLOPs를 요구하며, 3x256x256 입력에 대해 86.71%의 Dice 및 78.99%의 IoU 점수를 달성했습니다.

이 결과는 Mobile U-ViT, nnWNet, nnU-Net과 비교했을 때 LightMIS가 파라미터 수를 90.58%에서 99.61%까지, GFLOPs를 82.54~96.14%까지 줄여 효율성을 극대화했음을 보여줍니다. 또한 Arm Mali-G52 MC2 GPU에서 모든 LightMIS 변형이 전체 GPU 위임을 달성하며, LightMIS-T는 53.31ms에서 138.31ms의 중간 지연 시간을 기록했습니다.

이는 LightMIS가 정확도와 복잡성의 유리한 균형을 달성하고 온디바이스 실행 가능성을 입증한다는 것을 의미합니다. 해당 코드는 GitHub에서 공개되어 있습니다.