10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

TalkLikeYou:音频驱动照片开口说话,3090上30+FPS实时数字人

35分钟前 AI开源项目 0 0

一张图开口说话,延迟低到能聊天。在 NVIDIA RTX 3090 上,Demo 的生成吞吐速度可达到 30+ FPS,显存占用低于 4 GB,同时呈现清晰的人脸细节。

功能特性

  • 音频驱动:传段录音或对着麦克风说话,照片里的人跟着张嘴
  • 视频换脸:保留原视频的姿势和节奏,只替换嘴型动作
  • 聊天代理:接 OpenAI 兼容的大模型,打字或语音输入,数字人实时回话、出声、做表情

几个细节:预设了习惯 ID 切换说话风格,不用额外录参考视频;同一套缓存机制,注册一次头像后续直接复用;麦克风模式建议戴耳机,不然容易自激啸叫。

怎么跑起来

要 Linux + NVIDIA 显卡 + FFmpeg,测试环境是 Python 3.10、CUDA 12.1、cuDNN 9。

方式一:conda

conda env create -f environment.yaml
conda activate talklikeyou-demo

方式二:pip(得先自己装好对应版本的 PyTorch)

pip install -r requirements.txt

启动命令:

cd TalkLikeYou-Streaming-RealTime-Demo
CUDA_VISIBLE_DEVICES=0 python app.py --host 0.0.0.0 --port 5070

浏览器开 http://127.0.0.1:5070,传图或传视频注册头像,选模式点播放就行。聊天代理要配环境变量或 .env 文件接 LLM、TTS、STT 服务,Edge TTS 装完依赖直接用,其他的走 OpenAI 兼容接口。

模型权重去 Hugging Face 下,按 checkpoints/motion/ 和 checkpoints/runtime/ 的目录放好,runtime_config.pkl 源码里自带不用另下。命令行客户端也能跑:demo_client.py 传 --source 和 --audio 做音频驱动,视频源自动进换脸模式。

Github:https://github.com/BQ-Wang0511/TalkLikeYou-Streaming-RealTime-Demo

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:TalkLikeYou:音频驱动照片开口说话,3090上30+FPS实时数字人
#TalkLikeYou #数字人 #音频驱动 #开源项目 #唇形同步 
收藏 1
dsh-TUI:把DeepSeek Harness搬进终端的开源插件,像素鲸鱼加实时状态栏
Codemode详解:Pi和Codex如何用代码编排工具调用
推荐阅读
  • Voicebox 开源:本地语音克隆神器,7 个 TTS 引擎 + 多轨道编辑器
  • Athas:用Tauri重新定义轻量级代码编辑器
  • ChopperBot:开源自动化剪辑机器人,能自己赚钱的AI工具
  • Codex Manager开源工具:切账号、查额度、换主题、导出聊天记录一站式管理
  • awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
12744 1年前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10877 12月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
10594 9月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
9482 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9349 9月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
8877 1年前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
8767 12月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8301 8月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8172 5月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
8051 8月前

文章目录

关于苏米客
分类排行
1 TalkLikeYou:音频驱动照片开口说话,3090上30+FPS实时数字人
2 dsh-TUI:把DeepSeek Harness搬进终端的开源插件,像素鲸鱼加实时状态栏
3 Easel:浙大北大联合开源的社媒运营 Agent,112 个 Skills 打通小红书抖音B站
4 catbus:统一命令行接口操作 10 大内容平台,小红书抖音B站微博一键调用
5 Agent会越用越聪明吗?LIFT开源框架量化自我进化能力
6 Beszel:26K Star轻量级服务器监控工具,开箱即用
7 API-free:免费AI反代统一面板,五个服务整合一个后台
8 map-motion:基于高德API + Opus的地图路线动效生成工具
9 Wake:开源 Agent 会话管理器,打通 20+ AI 编程助手的记忆孤岛
10 20 个 GitHub Stars 合计近 80 万的 AI Agent Skills:拼出一套完整 Agent Stack
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联