Gemma 4

• Open Source LLM: Google이 온디바이스 환경에서도 강력한 성능을 발휘하도록 설계된 최첨단 멀티모달 모델 시리즈를 오픈웨이트로 공개
  • E2B, E4B, 26B MoE, 31B Dense 등 4가지 크기로 출시되었으며, 31B 모델은 세계 오픈 모델 Arena 리더보드 3위를 기록

Gemma 4

TurboQuant

• KV-Cache Compression: Google에서는 LLM 추론 시 가장 큰 메모리 병목인 KV 캐시를 16비트에서 단 3비트로 압축하는 알고리즘 발표
  • PolarQuant(데이터 벡터를 무작위 회전시켜 극좌표계로 변환해 고효율 압축)와 QJL(1비트만 써서 압축 오류를 수학적으로 교정)을 결합
  • 메모리 사용량 6배 절감 + NVIDIA H100 기준 추론 속도 8배 향상을 동시에 달성했으며, 같은 GPU로 6배 더 많은 사용자를 처리하거나 GPU를 1/6로 줄여도 동일 서비스를 운영할 수 있어 AI 서비스 운영 비용을 획기적으로 감소

TurboQuant: Redefining AI efficiency with extreme compression

FIPO (Future-KL Influenced Policy Optimization)

• Policy Optimization: Alibaba에서는 별도의 가치 모델 없이 'Future-KL Divergence'을 활용해 토큰 단위의 정밀한 신용 할당을 수행함으로써, 기존 강화학습의 한계였던 추론 길이 정체를 해소하고 모델의 자가 성찰 및 심층 추론 능력을 극대화하는 정책 최적화 기술 개발
  • 최종 결과에만 의존하던 기존의 거친 보상 체계를 미래 경로의 인과적 영향력을 반영한 토큰별 조밀한 어드밴티지로 전환
  • 모델이 스스로 자신의 논리를 검증하고 수정하는 '자가 성찰(Self-reflection)' 행동을 유도하여, 평균 4,000 토큰 수준에 머물던 추론 길이를 10,000 토큰 이상으로 확장

https://github.com/qwenpilot/FIPO

ShotStream

• Interactive Multi-Shot Video Gen: CUHK에서는 대화형 스토리텔링과 효율적인 실시간 프레임 생성(단일 NVIDIA GPU에서 16 FPS를 달성)을 가능하게 하는 인과적 멀티샷 비디오 생성 기술 제안
  • 인과적 멀티샷 아키텍쳐, 이중 캐시 메모리 메카니즘, two-stage distillation으로 사용자의 스트리밍 프롬프트에 즉각 반응하는 고효율 실시간 인터랙티브 스토리텔링을 구현

ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling

DataFlex

• Data-Centric Dynamic LLM Training Framework: Peking University에서는 LLM 학습 시 모델 파라미터뿐만 아니라 데이터의 선택과 구성을 최적화하는 'data-centric' 동적 학습 프레임워크 제안
  • 개별 샘플 선택(Sample selection), 도메인 혼합 비율 조정(Domain mixture adjustment), 샘플별 가중치 재설정(Sample reweighting) 기능을 단일 인터페이스로 통합
  • 정적 학습 대비 MMLU 정확도 향상 및 코퍼스 수준의 난해도 개선 효과를 Mistral 및 Qwen 모델 등에서 입증

https://github.com/OpenDCAI/DataFlex

VOID

• Video Edit: Netflix에서는 단순한 객체 제거를 넘어, 객체가 사라짐에 따라 변화해야 하는 주변의 물리적 상호작용(충돌, 그림자 등)을 인과 및 반사실적 추론을 통해 자연스럽게 재구성하는 프레임워크 개발
  • 복잡한 상호작용이 포함된 장면에서도 기존 방식 대비 우수한 장면 동역학 보존 성능 달성

VOID: Video Object and Interaction Deletion

Claude Myhos Preview

• Foundation: Anthropic이 차세대 플래그십 모델 Claude Mythos Preview를 발표
  • 주요 OS, 브라우저, Linux 커널에서 고위험 취약점을 자율적으로 발견하고 네트워크 전체를 장악하는 사이버 공격을 완전 자율 수행할 수 있는 수준에 도달하여 보안 파트너 기업에만 제한 제공
  • UK 정부 기관 AISI가 사이버 공격 성능 테스트 결과를 발표하고 자율적인 네트워크 탈취 공격을 완전히 실행 가능한 수준임이 공식 확인