HelixWorld
开源实时音视频世界模型，一张图走进可交互的AI世界
画面和空间立体声同步实时生成，WASD操控行走转头，声像随视角变化，单卡H800跑到24FPS。
核心功能
键盘操控探索
WASD控制前后左右移动，方向键调整视角，画面随操作即时响应不卡顿。
音视频联合生成
画面和立体声音频同步生成，不是先出视频再后期配音，声画天然对齐。
空间声学一致性
声像随镜头转动自然变化，左侧声源转身后面向时声音方向也跟着变。
实时提示词修改
运行过程中可随时输入新提示词，改变后续生成的场景内容和氛围。
三轨提示词控制
可分别用视频描述、音频描述、音视频联合描述来精细控制生成内容。
在线体验入口
打开官网选示例图或上传自己的图片，填一段文字描述就能进入世界探索。
产品特色
- 01
声音是真的跟着镜头转，不是贴上去的
这个体验挺难用文字描述清楚的。你往前走，声音靠近；你转身，左边那个声音源就跑到右边去了。它不是把一段音频循环播放，而是声场和画面一起在被生成，转头的时候声像变化非常自然。用过之后回头看那些“视频加后期配音”的方案，会觉得少了点什么。
- 02
单张H800就能实时跑起来
很多世界模型demo看着惊艳但背后要好几张卡，这个在单张H800上做到768×512分辨率、24FPS实时生成，实时因子0.77，意味着生成速度比播放速度还快一点。对于想本地部署试试的人来说，硬件门槛不算遥不可及。
- 03
完全开源，代码和权重都放出来了
基于Apache 2.0协议开源，GitHub上有完整推理代码，Hugging Face上放了Preview v1的权重。不只是发个论文和Demo视频就完了，是真的可以自己下载跑起来改的那种。
应用场景
✅ 沉浸式游戏原型
不用建3D模型和搭引擎，给一张概念图就能生成能走进去探索的开放世界，快速验证玩法方向。
✅ VR/AR空间预演
第一人称视角加空间音频的组合天然适合头显场景，快速生成虚拟展厅或数字孪生环境试效果。
✅ 影视广告预演
导演上传一张概念图就能“走进”场景试听音画效果，在实拍前低成本验证镜头语言和氛围。
✅ 具身智能训练
作为交互式世界模拟器，为机器人或自动驾驶提供带声光反馈的低成本训练环境。
✅ AI视频背景生成
根据交互实时生成匹配的动态背景和空间音效，替代绿幕或固定素材。
常见问题
解答您关于"HelixWorld"的常见疑问，让您更好地使用这款AI工具
-
官方推荐Linux系统、Python 3.11、CUDA 12.x和NVIDIA显卡，建议80GB显存。一次BF16单卡运行的实测占用大约70GB显存。没有这个级别的卡的话，建议先用官网在线体验。
-
在线体验打开网页就能用，选图片填描述即可进入世界，不用装任何东西。本地部署可以自己调参数、改提示词文件、接入自己的动作序列，适合需要深度定制或集成到项目里的场景。
-
是的。HelixWorld在架构上就是音视频联合生成，视觉场景和相机对齐的空间立体声在用户操控下同步演化。不是先出画面再补一段音频，两者是一起被生成出来的。
-
普通工具你给一段提示它给你一段固定视频，不能交互。HelixWorld生成的是一个你可以走进去、转头、探索的实时世界，画面和声音都跟着你的操作实时变化。
-
键盘上WASD控制前后左右移动，方向键上下左右调整视角，运行中还可以随时输入新提示词修改场景。本地部署时还可以通过脚本指定动作序列和相机轨迹。
-
代码采用Apache 2.0协议，可以自由使用和修改。模型权重的许可协议单独发布在Hugging Face的Preview v1页面，使用前建议去确认一下具体条款。
立即体验“HelixWorld”
HelixWorld是Noiz AI与港科大联合开源的实时交互式音视频世界模型。上传一张起始图片加上文字描述，就能用键盘走进这个AI生成的世界，画面和立体空间音效同步实时生成。声音不是后期配的，转头时声像会跟着自然变化。单张H800显卡就能跑24FPS，代码和权重全部开放。
