WorldCrafter

• 3D-aware Video World Model: ARC Lab, Tencent에서는 카메라 쿼리 기반의 암묵적 3D-aware 메모리를 활용해 장기적 시점 일관성과 카메라 제어 정확도를 높인 비디오 월드 모델 WorldCrafter를 제안
  • 메모리 인코더와 포즈 조건 리드아웃 모듈이 명시적 깊이 기반 대응 없이도 과거 관측을 목표 시점별 고정 토큰 집합으로 압축하여 비디오 생성기의 제한된 토큰 예산 내에서 다중 시점 정보를 효율적으로 통합
  • 최근 시간적 컨텍스트와 few-step distillation을 결합하여 단일 이미지나 텍스트 프롬프트로부터 분 단위의 스트리밍 장면 탐험이 가능
  • 정적 및 동적 장면 실험에서 장기 시점 일관성과 카메라 제어 정확도가 크게 향상되면서도 시각적 품질을 유지함을 입증

WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

① 핵심을 한줄로: 카메라 쿼리 가능한 암묵적 3D 메모리를 비디오 생성기와 공동 학습하여 장시간·다시점에서도 일관된 장면 탐험을 지원하는 비디오 월드 모델 제안

② 한줄 평: 명시적 깊이 대응 없이 3D 일관성을 확보하는 메모리 설계와 few-step distillation을 통한 실시간 스트리밍 탐험이 실용적 강점이나 — 다만 정량적 성능 수치가 구체적으로 제시되지 않아 타 베이스라인 대비 개선 폭에 대한 독립적 검증이 필요

RULER

• Text-to-SVG Reinforcement Learning: inclusionAI에서는 자연어 지시문으로부터 인스턴스별 6항목 루브릭을 생성하고 VLM 심판이 항목별로 채점한 가중 만족도를 GRPO 보상으로 사용하는 SVG 생성 RL 프레임워크 RULER를 제안
  • 다축 루브릭 기반 VLM 채점이 CLIP, Aesthetic 등 스칼라 메트릭보다 샘플 간 및 지시문 내에서 인간 판단과 더 높은 상관관계를 보임을 실증
  • MMSVG-Illustration과 MMSVG-Icon에서 루브릭 점수를 0.432/0.395에서 0.693/0.683으로 향상시켜 전용 SVG 특화 모델을 능가하고 훨씬 큰 DeepSeek-V3와 동등한 성능 달성
  • 텍스트만으로 루브릭을 생성해 SVG 정답 라벨이나 인간 선호 라벨 없이 RL 학습이 가능하며, ablation을 통해 루브릭 설계가 open-ended SVG 생성 RL의 핵심 레버임을 확인

RULER: Instance-aware Rubric Rewards for SVG Generation

① 핵심을 한줄로: 인스턴스 인식 다축 루브릭과 VLM 심판 기반 세밀한 보상을 GRPO로 최적화하여 정답 없이도 SVG 생성 품질을 크게 향상시킨 RULER 프레임워크

② 한줄 평: 정답 라벨이나 인간 선호 데이터 없이도 스칼라 메트릭 대비 보상 해킹을 줄이고 성능을 크게 끌어올린 점이 인상적 — 다만 VLM 심판 자체의 편향과 루브릭 설계의 일반화 가능성, 다른 도메인·모델로의 확장성에 대한 추가 검증이 필요

Grounded Action Model (GAM)

• 3D-Grounded Robotic Manipulation Policy: National University of Singapore에서는 언어·점·박스 프롬프트를 객체 중심의 3D 그라운딩 표현으로 변환하고 이를 로봇 상태 이력과 멀티스트림 트랜스포머로 결합하여 행동 청크를 예측하는 로봇 파운데이션 모델 GAM을 제안
  • RoboTwin 2.0의 50개 태스크에서 평균 성공률 55.3%를 달성해 SpatialForcing(52.0%)을 능가했으며, 깨끗한 장면 데모만으로 학습했음에도 장면 랜덤화 조건에서 47.6%로 Abot-M0(30.4%)를 크게 상회
  • LIBERO-PRO의 16개 교란 설정에서 평균 61%로 π_0.5(53%) 대비 최고 성능을 기록했고, 타깃 재배치나 신규 지정 시 가장 큰 성능 향상을 보임
  • 실제 로봇 실험에서 시각적 변화 상황에서도 양팔 YAM 로봇 기준 20회 중 17회 성공(π_0.5는 4/20)했고, Molmo2 플래너와 결합해 장기·기억 의존 태스크에서 ID 64.7%, OOD 49.8% 스텝 완료율을 달성

Grounded Action Model: 3D Grounding as a Foundation for Robotics

① 핵심을 한줄로: 언어·점·박스 프롬프트를 3D 객체 중심 표현으로 통합해 로봇 행동을 예측하는 그라운딩 기반 파운데이션 모델 GAM을 제안하고 시뮬레이션 및 실제 로봇 환경에서 기존 VLA·WAM 대비 우수한 강건성과 성능을 입증

② 한줄 평: 3D 메트릭 그라운딩을 명시적으로 도입해 장면 변화와 타깃 재배치에 강건한 매니퓰레이션 정책을 구현한 점이 인상적 — 다만 다양한 프롬프트 모달리티 간 표현 정합성과 고수준 플래너 연동 시의 오류 전파 가능성에 대한 추가 검증이 필요

GAE

• 3D-Consistent Video Generation: ARC Lab, Tencent에서는 기하학 파운데이션 모델의 특징을 외형, 깊이, 카메라, 포인트맵으로 동시 디코딩 가능한 압축 잠재공간으로 재구성한 Geometry-native AutoEncoder(GAE)를 제안하여 3D 일관성을 갖춘 세계 생성을 가능하게 함
  • 생성기와 학습 프로토콜을 고정한 통제 비교에서 GAE 잠재공간으로 교체 시 RealEstate10K와 DL3DV에서 FVD가 각각 12.7%, 23.1% 감소
  • RealEstate10K에서 카메라 궤적 오차가 절반으로 감소하여 3D 일관성이 크게 향상됨을 독립적으로 검증
  • 외형 중심의 기존 생성 잠재공간 대신 기하학적 구조를 내재한 잠재공간을 도입해 표준 조건부 flow로 다양한 생성 태스크를 지원

GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation

① 핵심을 한줄로: 기하학 파운데이션 모델의 특징을 압축 잠재공간으로 재구성한 GAE를 통해 시각적 품질과 3D 일관성을 동시에 개선한 지각-생성 공유 표현 제안

② 한줄 평: 인식과 생성을 하나의 기하학 기반 잠재공간으로 통합해 3D 일관성 문제를 표현 관점에서 해결한 점이 참신함 — 다만 특정 도메인(RealEstate10K, DL3DV)에 국한된 검증이며 다양한 카메라 궤적과 대규모 장면에서의 일반화 성능 추가 검증이 필요