Matrix Game 4.0是什么？下载和模型详解

更新时间:2026-10-17 07:09:55 发布时间:9小时前阅读:6次

Matrix Game 4.0 是昆仑万维10月发布的AI游戏世界模型，首次让单张RTX 5090在480p分辨率下跑出60帧实时游戏体验。相比之前的视频模型让AI自己记住整个世界，4.0创新地把游戏规则交给代码引擎维护，AI只负责把画面渲染得好看。官方标称按键到画面反应时间不超过150毫秒，已同步开源。

Matrix Game 4.0游戏世界模型

Matrix Game 4.0是什么

发布背景和公司

这是一款把AI实时生成和游戏引擎结合起来的新型世界模型。昆仑万维在10月15日正式发布，Skywork AI团队打造。和之前Google的Genie那类纯AI生成世界不同，Matrix Game 4.0用一套新架构彻底改变了游戏的运行方式。

昆仑万维是做大模型的国内头部企业，这几年在视频生成、世界模型领域投入很大。Matrix Game系列从1.0开始就一直开源，1.0发布于2025年5月，到现在总共只花了18个月就迭代到4.0。背后团队非常激进，每次发布都在解决上一代的核心问题。

这次发布的时间点也很微妙。英伟达同一周刚更新了DLSS 5神经渲染，但那是在成熟的图形管线上加AI增强层。Matrix Game 4.0等于是反过来，干脆让AI直接生成画面，游戏引擎只负责维护规则。两条路线其实在做同一件事：让GPU的渲染管线拆了重组。

核心能力有哪些

最关键的能力是”代码运行世界、AI画世界”这个新分工。以前世界模型得一个模型干三件事：记住世界、算游戏规则、生成画面。现在分开来，游戏引擎用代码记住场景中有什么、玩家血量是多少、盾牌耐久还剩多少，视频模型就老老实实照着结构画面把材质和光影补上去。

实时性上，单张RTX 5090能跑60帧，480p分辨率。按键到首帧响应时间官方宣称低于150毫秒，实际测试中最快约112毫秒，这是可以玩的延迟。显存峰值18.5GB（FP8量化），模型参数总共50亿。生成方式是因果流式的，每次生成四帧，一步或两步去噪完成。

交互能力也从框架变了。以前模型要理解玩家的按键、鼠标，现在改成让代码处理交互逻辑。Coding Agent这个编程智能体可以接收自然语言指令，直接改游戏规则。你说”让怪物从四面八方涌来”，它就修改代码实现生成位置、移动方式、攻击行为这些细节。

和3.5版本比升级了什么

3.5是纯视频世界模型，4.0是引擎+视频的混合方案。两个东西的定位完全不一样。3.5发布于七月，重点是解决长期记忆和空间一致性，它引入了Patch Memory这种几何对齐的记忆机制，相机离开再回来，物体能记住在哪。3.5可以跑到720p、20多帧，但画面漂移问题一直存在，有时候回到某个地方物体会消失或者位置不对。

4.0彻底换了思路。不再指望模型记住整个世界，而是让引擎把结构画面输出出来，模型照着这个草图渲染。这样的好处是，即使视频生成偶尔出错，也改不了游戏的实际状态。玩家中弹，盾牌耐久先扣，盾碎了才扣血，血归零游戏结束，这些完全由代码决定，不受画面生成的影响。

性能指标上，4.0牺牲了分辨率（从720p降到480p），但换来了帧率（60帧对20帧）和实时性。低分辨率的代价是显存需求反而更低，因为模型更轻、操作也更简单。从演示看，4.0的画质虽然是480p，但细节补全得还不错，城堡、沙漠、路面都能看清。

生成的是什么类型的内容

官方提供了三个预训练场景：中世纪城堡（Medieval Castle）、古埃及（Ancient Egypt）和城市赛车（City Racing）。前两个是第三人称射击游戏，你可以移动、射击、躲避，后一个是驾驶游戏。这三个场景各对应一个独立的模型权重，不是一个通用模型。

城堡和埃及的玩法差不多，都是在固定场景里走动战斗，有敌人、道具、环境交互。赛车用的是同一套架构，但输入是驾驶指令而不是射击动作。所有场景都是用虚幻引擎5构建的低模几何，模型负责把这些简单的几何块补成真实的材质和光影。

未来扩展的方向应该是场景多样化和多人交互。官方提到后续会做分辨率升级、跨视角多人联机、更细粒度的画面控制，但这些暂时都还在规划阶段。现在开源的就是这三个场景加通用渲染框架。

Matrix Game 4.0下载

官网入口在哪

下载很直接，代码在GitHub，模型权重在Hugging Face，都支持直接下载本地运行。这不是API服务，是真正的开源项目，意味着你可以改代码、改模型、改场景。

GitHub源码地址是https://github.com/SkyworkAI/Matrix-Game，里面有完整的推理代码、训练框架、游戏源代码。模型权重和游戏资源放在Hugging Face：https://huggingface.co/Skywork/Matrix-Game-4.0，分别对应三个场景的检查点、素材和配置文件。项目网站是https://matrix-game-v4-0.github.io/page/，上面有演示视频和论文。

这三个链接都是官方一手资源，没有国内镜像。如果网络不稳定，Hugging Face支持用代码自动断点续传，GitHub也有加速服务，但最便捷的还是直接拉取。技术报告在10月16日刚发布，里面细致解释了整个系统的工程优化。

需不需要注册

GitHub和Hugging Face都不需要注册就能看代码和下载公开模型。如果你要改代码并提交pr，那就要注册账号。模型权重用Apache 2.0协议开源，可以商用，下载时无需验证身份。Hugging Face默认会记录下载次数和用户地域数据，但不会限制访问。

浏览器demo也可以直接用，项目网站有在线演示链接，点进去就能看到游戏运行的样子，不需要本地部署。但如果要自己本地跑，需要拉GitHub代码和Hugging Face的模型，然后安装依赖、配置环境。官方README里有详细的安装步骤。

有没有免费额度

模型本身是免费开源的，代码也是免费。Hugging Face的存储和带宽对于单个用户基本无限制，只要你不用它跑大规模商业服务。GitHub也是免费的，没有额度限制。唯一的成本是你自己的算力——模型需要一张RTX 5090或者H100这级别的显卡才能跑得流畅。

如果你只是想看效果不想自己跑，那浏览器demo完全免费。官方在项目网站上放了可交互的演示，直接浏览器打开就能玩，后端应该是昆仑万维自己提供的服务器资源。显然这个服务有成本，但对用户免费。

国内怎么直接用

国内用户访问GitHub和Hugging Face会慢一些，但不是访问不了。最直接的办法是用代理或者加速工具，很多大学和公司网络都有内部镜像。如果家里网不行，可以用云服务器（阿里云、腾讯云这些）拉代码和模型，速度会快很多。

国内没有官方的中文入口或者镜像站，完全靠GitHub和Hugging Face。不过Hugging Face本身在国内可用，只是有时候会卡。模型文件比较大（几个G），建议用下载工具支持的断点续传，或者先上传到阿里云OSS再下载到本地。

模型详解

3D场景怎么生成

Matrix Game 4.0 的核心是一个经过大幅工程优化的视频生成模型，基础是Wan 2.2改造的V2V架构。理论和实现细节都相当复杂，但你需要知道的是：这套系统怎么在一张显卡上跑出60帧，以及为什么它能和游戏引擎协作。

不是凭空生成，而是照着引擎的结构画面修细节。游戏引擎先输出一个”毛坯”画面，只有位置、运动、几何，没有材质和光影——这就是480×864的低模RGB。然后这个结构画面和一份动态Caption（说明”画面里有什么、正在发生什么”）一起打包给视频模型。模型把结构和语义信息拼在一起，自回归生成四帧高精细画面。

怎么保证一致性呢？模型调用空间记忆参考图、用于衔接的首帧，再加上KV缓存里的近期历史。相机每次转动，引擎输出新的结构画面，模型据此调整。如果相机指向之前见过的地方，模型会从历史里检索相关信息，减少凭空幻觉的概率。不过长时间运行或者快速转身还是会有漂移，这是当前技术的已知限制。

能不能导进游戏引擎

Matrix Game 4.0 的输出就是视频，不是3D模型或者资源文件。它生成的是480p的RGB视频帧，你没法直接导进虚幻、Unity或者其他引擎用。这和传统的3D生成模型（比如那些生成NeRF或者网格的）完全不同。

不过对于游戏开发者来说，这可能反而是好事。你不需要担心拓扑、UV展开、材质烘焙这些3D管线的问题，模型已经全部搞定了。你要做的就是提供一个粗糙的几何结构和游戏状态描述，模型来处理最耗时的纹理和光线追踪工作。

从工程的角度这确实是聪明的选择。如果模型输出三维资源，就得保证拓扑正确、材质贴图对齐、骨架绑定无误，这些约束会大幅降低生成的自由度，最后出来的效果反而平庸。输出视频意味着模型可以尽量发挥，把光影、细节、动态效果都做到极致，玩家看到的就是最好的效果。

显存和配置要求

单张RTX 5090跑60帧时显存峰值18.5GB，这是FP8量化后的数字。如果用FP16，显存会翻倍到36GB左右，H100或者L40S这类数据中心卡勉强能跑但得降帧率。RTX 4090理论上能跑但会掉到30帧左右，显存也会爆。目前没有官方的多卡推理方案，所以单卡就是硬要求。

CPU和内存方面没那么严格。推理代码是用PyTorch写的，支持CUDA和ROCm后端，理论上AMD显卡也能跑但官方没测过。CPU需要能跟得上显卡，要不然成为瓶颈，建议至少Ryzen 7或者i9。系统内存16GB起步，32GB比较舒服。硬盘空间要预留50GB以上，模型权重三个场景总共15GB，虚幻引擎那套游戏资源加起来20多GB。

网络要求就是拉代码和模型文件，一次性的。训练显然不现实，官方也没提供训练代码，模型权重是冻结的。所以你只能做推理，改游戏规则得自己写代码或者调用Coding Agent。

和其他3D生成模型比

Matrix Game 4.0 不是和NeRF、高斯泼溅或者网格生成模型竞争，它的对手是视频生成模型和游戏引擎的渲染管线。如果非要比，它的优势是实时性和游戏可玩性，劣势是分辨率和模型复用度。

比如OpenAI的Sora或者Runway的Gen3，这些也能生成视频，但它们是纯文字到视频，没法接游戏输入。你说”生成一个人在森林里跑步”，模型会凭空创造，但你没法实时控制那个人的动作。Matrix Game 4.0的输入不是文字而是游戏状态，所以能实时交互，但这也意味着它被绑定在特定的场景上，不像Sora一样通用。

和传统DLSS或者FSR渲染增强比，Matrix Game 4.0用到的GPU时间更长。DLSS是低分辨率渲染加神经上采样，Matrix Game 4.0是用视频模型补全整个画面。所以Matrix Game 4.0的延迟会更高，但画质效果理论上更好，因为模型有整个画面的上下文，不是孤立地处理每个像素。

关键区别在于谁主导画面生成。传统引擎用光线追踪或者光栅化，确定性很高，玩家射出的子弹会精准命中。Matrix Game 4.0是模型预测，有概率出错，所以它把逻辑判定权交给了代码引擎，模型只负责视觉表现。这样交互就不会被模型的幻觉破坏，这是和纯AI世界模型最大的不同。

标签：

Matrix Game 4.0