TalkLikeYou
让照片模仿真人说话习惯开口说话
TalkLikeYou支持上传照片或视频加音频生成说话视频，能通过预设编号或4秒参考视频指定嘴部说话风格。一步采样实现32.43 FPS实时生成，支持对话数字人、视频配音和风格化驱动，代码权重全部开源。
核心功能
照片开口说话
上传一张人像照片和一段音频，就能生成人物自然开口说话的视频，嘴部动作和音频同步。
说话习惯模仿
可以模仿指定真人的嘴部说话习惯，通过预设编号或一段4秒参考视频来指定风格。
实时生成输出
采用一步采样技术，生成速度达32.43 FPS，支持实时流式输出画面。
视频配音替换
替换视频中人物的嘴部动作，保留原有头部动作和时序，适合做多语言配音。
对话数字人
接入大模型和语音识别合成后，可以实现实时对话交互的数字分身。
风格化驱动
支持驱动素描、油画、动漫、3D角色等非真人风格的人像开口说话。
产品特色
- 01
把说话习惯当一等公民来建模，不是千人一面的平均嘴
市面上大部分数字人工具生成出来的嘴部动作都差不多，同一个人说同一个词，不同工具做出来效果雷同。TalkLikeYou专门建模了个人独特的嘴部运动模式，说“不”字时嘴唇的收拢程度、说“好”字时嘴巴张开的幅度，这些细微差异都能学出来。PLAD指标下习惯相似度0.62，比MimicTalk的0.48高出不少。
- 02
一步采样就能实时跑，速度比图像扩散路线快得多
采用Flow Matching学习从噪声到目标的直线路径，配合重参数化直接预测干净的运动序列，一步采样就能达到接近50步的唇同步质量。32.43 FPS的生成速度，比Sonic那类图像扩散路线快近百倍。单张RTX 3090显存占用不到4GB，硬件门槛不算高。
- 03
两种习惯指定方式，不用非得录参考视频
懒人可以直接用官方预设编号，192、166、202这几个编号对应不同的说话风格，换一个数字就换了种说话方式。想更精确的话就录一段至少100帧的参考视频，系统会自动提取那个人的习惯编码，两种入口还能插值混合。
- 04
不用逐帧抠嘴型，视频配音保留原始头动
给视频做多语言配音时，传统方法得重新生成整段视频，人物头部的自然摆动和时序节奏容易丢失。TalkLikeYou只替换嘴部动作，姿势和时序完全保留，出来的效果更自然，不会让人觉得头在“飘”。
应用场景
✅ 个性化数字分身
用自己的照片和声音训练专属数字人，保留个人说话风格，用于直播或社交内容。
✅ 多语言视频配音
给已有视频替换成其他语言的嘴部动作，保留原始头部姿势和节奏，适合出海内容。
✅ 教育培训课程
讲师录制一次课程内容，后续用数字人批量生成不同语言版本的教学视频。
✅ 企业品牌宣传
用品牌代言人照片制作数字人形象，用于官网介绍、产品讲解等常态化内容输出。
✅ 虚拟主播运营
低成本搭建有个人说话特点的虚拟主播，配合对话模型实现实时互动直播。
✅ 动漫角色配音
让动漫、素描等风格化角色开口说话，用于二次创作或短剧内容制作。
常见问题
解答您关于"TalkLikeYou"的常见疑问，让您更好地使用这款AI工具
-
推荐Linux系统配NVIDIA显卡，显存至少12GB，Python 3.10、CUDA 12.1和FFmpeg是基础环境。实测单张RTX 3090上显存占用不到4GB，跑推理的速度能到32FPS左右。如果你的显卡显存不够12GB，可以试试调低分辨率或者减少批量大小，但效果可能会打折扣。
-
每个人说话时嘴部动作都有细微的个人特征，比如有人习惯把嘴张得大一些，有人嘴唇收得比较紧。TalkLikeYou把这些特征提取成一个低维的习惯向量，预设了192、166、202几个编号对应不同风格，也可以用一段参考视频让系统自己学。换一个编号或者换一段参考视频，同一个人的说话感觉就会跟着变。
-
基础效果是可以的，嘴部同步和画面质量在同类方法里算好的。但要说完全以假乱真那也不现实，尤其是一张普通照片，光线和角度都会影响效果。正面清晰、光照均匀的照片出来效果最好。如果是视频素材做配音，因为保留了原始头动，真实感会更强一些。
-
代码在GitHub上完全开源，权重在HuggingFace上也能下载。项目本身用的是开源协议，但具体商用的话需要看第三方依赖和素材的授权情况，建议商用前自己确认一下。另外用别人的肖像做数字人，授权问题也得注意，这个不是技术层面能解决的。
-
官方提供了一个浏览器端的Streaming Demo，跑起来之后在网页里上传图片、音频就能看到效果，不用碰命令行。但部署这个Demo本身还是需要一些环境配置的，适合有一定动手能力的人。纯小白用户如果只是想体验，可以关注官方项目页面看有没有在线试用的入口。
-
支持。训练数据里有中文内容，用中文音频驱动出来的口型效果没问题。多语言视频配音也是它的一个应用方向，理论上换哪种语言的音频都能生成对应的嘴部动作。不过不同语言的发音习惯差异比较大，小语种的效果可能需要自己实际跑一下看看。
立即体验“TalkLikeYou”
TalkLikeYou是中科院自动化所开源的实时数字人框架，给一张照片和一段音频就能让人物开口说话，还能模仿指定真人的嘴部说话习惯。采用一步采样实现实时生成，单张3090显卡显存占用不到4GB。代码和权重全部开源，适合做个性化数字人、视频配音和多语言内容创作。
