10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

browser-use 团队开源 video-use:让 AI Agent 帮你剪视频

47分钟前 AI开源项目 0 0

做出 browser-use 的那个团队,最近又开源了一个新项目。video-use——一个 100% 开源的 AI 视频剪辑 Skill,装到 Claude Code 或 Codex 里就能用。上线才 2 个多月,Star 已经冲到 1.3 万,最近还登上了 GitHub 开源日榜。

图片 1

video-use 是什么

你把拍摄的原始素材扔进一个文件夹,启动 Claude Code,跟它说一句"剪成发布视频"。它会自己扫素材、提剪辑方案、等你确认,然后开始干活,最后在同目录的 edit/ 文件夹里给你一个 final.mp4。

图片 2

图片 3

除了 Claude Code,Codex、Hermes、OpenClaw 这些有 shell 权限的 Agent 都能跑。官方说口播、Vlog、教程、旅行、访谈等内容类型都能剪。

让 AI 读文本,绕开视频帧

这是整个项目最有意思的地方。让 AI 剪视频,最朴素的做法是把视频拆成一帧一帧的图片,丢给多模态模型看。但算一下账:一段 20 分钟的素材,按 30 帧每秒算,加起来 3 万多帧。每帧按 1500 token 算,总共要 4500 万 token。成本先不说,光这个信噪比就烂透了。

图片 4

video-use 换了个思路,分两层:

第一层是音频转写。用 ElevenLabs 的 Scribe 模型,把整段素材转成带词级时间戳的文本,谁在说话、什么时候停顿、什么时候有笑声和掌声,都能识别。最后会把所有素材打包成一个约 12KB 的 Markdown 文件,作为 LLM 的主要阅读视图。

第二层是按需调用的可视化合成图。当 LLM 遇到拿不准的地方,它会调用 timeline_view 工具,生成一张胶片条加波形加字幕标签的合成图,只在需要重点决策的时候才用。

图片 5

这套思路跟 browser-use 一脉相承。browser-use 当年是给 LLM 结构化的 DOM,让它不用看浏览器截图就能在文本里推理。video-use 把同一套思路搬到视频上,LLM 推理的输入是文本,绕开了每一帧像素。12KB 文本加几张合成图,就能干 4500 万 token 帧的活。

把 AI 剪辑做成工程

video-use 最后还有一道工序:自评估。整个剪辑流水线是:转写 → 打包 → LLM 推理 → 生成 EDL(剪辑决策表)→ 渲染 → 自评估。

自评估会在渲染完之后,在每个切点边界回放检查,看视觉跳变、音频爆点、字幕遮挡这些常见问题。发现问题就修,最多重渲染 3 次。只有通过自评估的版本,才会作为预览给到用户。

SKILL.md 里还列了 12 条规则,把 AI 剪辑从一次性生成变成了有质量兜底的工程流程。比如:

  • 字幕必须最后应用,不然会被动画遮挡
  • 每个切点都加 30ms 音频淡入淡出,杜绝爆音
  • 切点必须卡在词边界,不能切在词中间
  • 每个切边要预留 30-200ms,因为 Scribe 时间戳会有 50-100ms 漂移
  • 多个动画用并行子 Agent 生成,谁也不等谁

如何使用

一键安装:把 Prompt 复制给 Claude Code,让它自己装:

给我安装 https://github.com/browser-use/video-use

剩下的 Agent 自己会读 install.md 处理。

需要准备的就一个 ElevenLabs API key(Scribe 转写要用),去 elevenlabs.io 注册就能拿到。

图片 6

装好之后,把素材放进一个文件夹,在那个文件夹里启动 Agent,告诉它你的剪辑诉求,剩下的它自己处理。

苏米注:video-use 最值得关注的不是"AI 能剪视频"这件事,而是它解决问题的思路——把视频转成 12KB 的文本让 LLM 处理,而不是喂 4500 万 token 的帧。这和 browser-use 用结构化 DOM 代替浏览器截图的思路完全一致。把高信噪比的结构化信息给 AI,而不是把原始像素丢给它,这可能是 AI Agent 处理多媒体内容的正确方向。

GitHub:browser-use/video-use

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:browser-use 团队开源 video-use:让 AI Agent 帮你剪视频
#开源项目 #AI视频剪辑 #video-use #browser-use 
收藏 1
Obsidian 网页版来了:NAS 部署 Ignis,浏览器直接使用
Port Master:开源端口与进程管理工具,浏览器内管理 Docker 和 SSH
推荐阅读
  • Beautiful-Mermaid:让 Mermaid 图表告别理工直男风的开源方案
  • DocsGPT:给文档接入大模型秒变智能问答神器,让你告别翻文档的痛苦
  • 告别 git stash!VibeTree 让你一仓多分身,还能并行跑 Claude Code、Codex、Cursor CLI、aider 等多 AI Agent
  • Odysseus:PewDiePie开源AI工作台一周5万Star
  • NOFX:这个开源项目可以从0到1构建AI量化交易系统,8000+ 开发者力挺的开源 AI 交易系统
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
10484 10月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
9991 8月前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
8012 6月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
7686 6月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
7090 5月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
7003 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
6894 8月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
6873 9月前
iFlow CLI:让命令行终端不止于编程的AI效率开源神器
6084 10月前
Composio:让AI Agent自动完成工作任务,能让AI一键操控你的所有软件
6073 8月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 Agent Reach 开源工具:让 AI Agent 拥有全网搜索能力,支持 13 个平台
2 Port Master:开源端口与进程管理工具,浏览器内管理 Docker 和 SSH
3 browser-use 团队开源 video-use:让 AI Agent 帮你剪视频
4 最全 MCP 服务器索引站:MCP.Directory 与 Glama 对比评测
5 MoonBit Skills:编程语言级别的 AI Agent 能力市场
6 产品经理收藏的 77 个开源项目:从 Agent 到 XR 全领域精选
7 Orca:多 Agent 并行开发的 IDE,用 Git worktree 彻底解决文件冲突
8 NocoBase:开源免费 AI 低代码开发平台,内置 100+ 插件快速搭建业务系统
9 32k+ Star!Project N.O.M.A.D.:一台完全离线的 AI 生存电脑
10 text-to-cad:AI 驱动的开源 CAD 源码生成与机器人描述技能库
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联