HairDeck

• Single-Image Stylized Hair Generation: Tsinghua University에서는 단일 이미지에서 각 헤어 카드를 하나의 토큰으로 표현하고 집합 확산 트랜스포머로 전체 카드를 함께 디노이징하여, 스타일화된 헤어 카드 형상과 이를 구동하는 스프링 본 체인을 생성하는 애니메이션용 에셋 생성 모델 HairDeck을 제안
  • CHARM의 자체 테스트 세트에서 CHARM 대비 Chamfer 거리를 44%, 카드 방향 오차를 절반 이상 줄이고 실행 속도를 33배 높였다고 보고
  • 헤어스타일을 제어점의 긴 자기회귀 시퀀스가 아닌 순서 없는 카드 프리미티브 집합으로 모델링하고, 카드당 단일 토큰을 사용하는 집합 확산 트랜스포머로 모든 카드를 함께 디노이징
  • 단일 이미지에서 헤어 카드와 스프링 본 체인을 생성하고 후속 작업에 바로 사용할 수 있는 형식으로 내보내며, 단일 이미지 기반 생성에서 CHARM·이미지투3D 파이프라인·모발 가닥 기반 방법보다 우수한 결과를 보고

① 핵심을 한줄로: HairDeck은 카드 단위 집합 확산으로 단일 이미지에서 애니메이션 가능한 스타일화 헤어 에셋을 생성하며, CHARM 대비 형상·방향 정확도와 실행 속도를 개선

② 한줄 평: 헤어 카드와 스프링 본을 함께 생성해 게임·아바타 제작 파이프라인과의 연결성이 높다는 점이 강점 — 다만 다양한 화풍과 가려진 헤어 구조에 대한 일반화 성능 및 실제 애니메이션에서의 변형 품질은 추가 검증이 필요

EmbeddingGemma 2

• Unified Multimodal Embedding Learning: Google에서는 텍스트·이미지·오디오·비디오와 이들의 조합을 하나의 임베딩 공간으로 표현하고, 단순화된 레이어별 임베딩과 모달리티·학습 목표를 점진적으로 확장하는 다단계 커리큘럼으로 표현 품질과 자원 효율성을 높인 공개 멀티모달 임베딩 모델 EmbeddingGemma 2를 개발
  • 여러 모달리티를 포괄하는 임베딩 벤치마크에서 특화 모델과 규모가 2~12배 큰 모델을 능가하며 성능·효율성의 새로운 파레토 프런티어를 달성했다고 보고
  • 단순화된 레이어별 임베딩과 모달리티·학습 목표의 단계적 학습 커리큘럼을 결합해 단일 모달리티·교차 모달리티·혼합 모달리티 평가 전반의 표현 품질을 확보
  • 모달리티 인코더 선택 로딩, 비전 토큰 예산 조절, 임베딩 차원 절단, 가중치 양자화를 지원하며 주요 설계 선택에 대한 절제 실험과 함께 모델을 공개

① 핵심을 한줄로: EmbeddingGemma 2는 다양한 모달리티를 통합 임베딩 공간에 정렬하면서 단계적 학습과 유연한 자원 설정으로 표현 성능과 배포 효율성을 함께 추구하는 공개 모델

② 한줄 평: 여러 모달리티를 하나의 표현 체계로 다루고 자원 제약에 맞춰 구성을 조정할 수 있다는 점이 강점 — 다만 제공된 초록에는 구체적인 벤치마크 점수와 자원 사용량이 없어 성능 우위의 범위 및 경량화 설정별 품질 저하는 독립 검증이 필요

HiSTEVE

• Open-World Game Agent Control: Tencent에서는 구조화된 메모리와 VLM 플래너로 실행 가능한 하위 과제를 조율하는 역량 인지형 하네스에 시각 입력과 기본 키보드·마우스 조작만으로 모든 하위 과제를 수행하는 단일 VLA를 결합해, 마인크래프트에서 장기 자율 행동과 네이티브 인터페이스 제어를 통합한 계층형 에이전트 HiSTEVE를 제안
  • 원자적 과제에서 최고 수준의 성능을 보고하며 MineStudio Bench에서 85.0%, OpenHA에서 평균 성공률 37.4%를 기록하고, 처음부터 철 곡괭이를 제작하는 장기 과제도 완수
  • 구조화된 메모리로 진행 상황을 추적하고 VLM 플래너가 VLA의 수행 역량에 맞는 하위 과제를 선택하며, VLA 정책 문맥을 조건으로 사용하는 과제 완료 상태 감지기가 완료 후보 시점을 식별
  • GUI·비GUI 상호작용 간 간섭을 줄이기 위해 상호작용 유형별 RMSNorm 분기와 별도의 마우스 이동 토큰 임베딩을 도입하고, 세계 지식 주입·모방학습·환경 피드백 기반 강화학습으로 실행 신뢰성과 실패 복구 능력을 강화

① 핵심을 한줄로: HiSTEVE는 역량 인지형 장기 계획과 단일 VLA의 시각 기반 키보드·마우스 제어를 결합해 마인크래프트의 원자적 과제 성능과 장기 과제 수행을 함께 달성한 계층형 에이전트

② 한줄 평: 고수준 계획과 실제 사용자 인터페이스 조작을 연결해 인간과 유사한 게임 수행 경로를 구현한 점이 강점 — 다만 제공된 초록에는 장기 과제의 반복 성공률과 구성요소별 기여도가 제시되지 않아 장기 자율성의 안정성과 각 설계의 효과에 대한 추가 검증이 필요

OmniShowcase

• Multi-View Subject-Consistent Video Generation: KAIST AI에서는 다중 참조 이미지에서 재구성한 표면 법선 맵 턴테이블을 시간 정렬 없이 비디오 모델에 조건으로 제공하고, 실제 3D 형상에 기반한 다양한 카메라 궤적의 합성 학습 데이터를 결합해 전방위 시점 변화에서도 대상 정체성과 3D 일관성을 유지하는 OmniShowcase를 제안
  • 참조 시점들에서 재구성한 표면 법선 맵 턴테이블로 대상의 3D 구조를 명시적으로 조건화하며, 조건 맵과 생성 프레임 사이의 시간 정렬을 요구하지 않음
  • 최대 360도 회전을 포함하는 12종 카메라 움직임과 88개 궤적 구성의 3D 에셋 기반 학습 데이터셋 Showcase-4K를 구축하고, 원본 메시와 렌더링 카메라 파라미터를 포함하는 별도 평가 세트 ShowcaseBench를 구성
  • 실험에서 대상 정체성과 3D 일관성의 최첨단 성능 및 경쟁력 있는 영상 품질과 움직임을 보고했으나, 제공된 초록에는 구체적인 점수나 비교 대상별 개선 폭이 제시되지 않음