AI 视频生成正在从“一次 prompt 出一段片”转向“边生成、边导演”。腾讯混元团队近日在 HuggingFace 上发布了 Hy-Nomas——一个支持自由多轮交互的视频世界生成模型:你可以像玩游戏一样,一边看世界生成,一边用文字和相机控制实时干预它。

它和普通视频生成模型有什么不同

普通文生视频模型是“一锤子买卖”:给一段 prompt,等它生成几秒钟的视频,结束。而 Hy-Nomas 是一段一段地生成世界:第一段生成之后,你可以继续下指令——引入一个新物体、改变场景风格、让角色做个新动作,或者直接用相机轨迹控制视角——模型接着上一段往下生成,世界保持连续。

技术上,它把三件事串了起来:

  • 骨架:段自回归扩散 Transformer(DiT),54 个双流 MMDiT 模块,在压缩后的视频隐空间里做扩散,段与段之间做自回归;
  • 耳朵:Qwen 的文本编码器(Qwen2.5-VL-7B-Instruct 的语言部分)理解你的指令,支持逐段不同的 prompt;
  • 记忆:一个持久的 KV 缓存,把之前生成段的内容带进新一段——离开一个地方再回来,场景不会“失忆”。

相机控制是这次发布的一大亮点:标准化 4×4 相机外参矩阵被展平为特征,通过交叉注意力喂给视频流,支持按潜帧对齐的相机轨迹控制。

快到可以“实时导演”

蒸馏版推理配置每段只需要 8 步去噪,输出 720×1280、24 FPS。这意味着你可以在一个世界里持续“玩”下去,而不是等一条渲染完再想下一条。网页演示里还有个叫 Nomas-PE 的提示增强服务,帮你把随意的口语指令转成结构化的生成 prompt。

一张 4090 也能玩

发布同时给了一个单 GPU 配置:INT8 量化的 DiT 权重 + INT8 KV 缓存 + FP8 解码器 + CPU offload,一张 NVIDIA RTX 4090 就能跑。世界模型一向是“吃显存大户”,这个配置把门槛从数据中心拉到了工作站级别。

另外还附带两个可选的 LoRA 适配器:Cinematic LoRA(电影质感)、Robotics LoRA(在真实机械臂数据集上训练,增强生成世界里的机器人仿真能力)。

配套评测:Hy-Nomas-Bench

腾讯还发布了 Hy-Nomas-Bench:4 个基准、280 个测试用例,覆盖多轮自由文本交互、相机导航、文本与相机交错控制、空间记忆四个维度——正是交互式世界模型最难评测的地方。评测数据、推理指令一并公开,给这个赛道立了个标尺。

怎么上手

推理代码已在 GitHub 开源,模型权重在 HuggingFace 可下载,另有在线演示可直接体验。动手的话两条路:官方推荐用预打包 Docker 镜像(Python + PyTorch + CUDA 注意力核一次配好);或者手动安装(Python 3.12+、uv、CUDA 13.0 工具链)。推理时把 HY_NOMAS_MODEL_DIR 指向本地权重目录,prompt 写成 JSON 分段文件即可。

要点解读

  • 这条路线的真正对手不是 Sora 那样的“视频生成器”,而是游戏引擎和 3D 内容管线:输出的是可以持续探索、持续干预的世界,而不是一段固定视频。生成式 AI 正在从“内容”走向“环境”。
  • “8 步去噪 + 4090 可跑”是个重要信号:世界模型正在从论文走向个人工作站。门槛一降,独立游戏开发者、小团队做交互式内容就有了新工具。
  • 但别急着all in:交互一致性(多轮之后世界会不会“崩”)是这个赛道公认的硬骨头,Hy-Nomas-Bench 的 280 个用例里,空间记忆那一项最值得盯。先用在线演示玩半小时,比看参数表更说明问题。

(观点部分为本刊解读,仅供参考。)

最后修改:2026-10-24
如果觉得我的文章对你有用,请随意赞赏