10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

browser-use 团队开源 video-use:让 AI Agent 帮你剪视频

4月前 AI开源项目 1849 0

做出 browser-use 的那个团队,最近又开源了一个新项目。video-use——一个 100% 开源的 AI 视频剪辑 Skill,装到 Claude Code 或 Codex 里就能用。上线才 2 个多月,Star 已经冲到 1.3 万,最近还登上了 GitHub 开源日榜。

图片 1

video-use 是什么

你把拍摄的原始素材扔进一个文件夹,启动 Claude Code,跟它说一句"剪成发布视频"。它会自己扫素材、提剪辑方案、等你确认,然后开始干活,最后在同目录的 edit/ 文件夹里给你一个 final.mp4。

图片 2

图片 3

除了 Claude Code,Codex、Hermes、OpenClaw 这些有 shell 权限的 Agent 都能跑。官方说口播、Vlog、教程、旅行、访谈等内容类型都能剪。

让 AI 读文本,绕开视频帧

这是整个项目最有意思的地方。让 AI 剪视频,最朴素的做法是把视频拆成一帧一帧的图片,丢给多模态模型看。但算一下账:一段 20 分钟的素材,按 30 帧每秒算,加起来 3 万多帧。每帧按 1500 token 算,总共要 4500 万 token。成本先不说,光这个信噪比就烂透了。

图片 4

video-use 换了个思路,分两层:

第一层是音频转写。用 ElevenLabs 的 Scribe 模型,把整段素材转成带词级时间戳的文本,谁在说话、什么时候停顿、什么时候有笑声和掌声,都能识别。最后会把所有素材打包成一个约 12KB 的 Markdown 文件,作为 LLM 的主要阅读视图。

第二层是按需调用的可视化合成图。当 LLM 遇到拿不准的地方,它会调用 timeline_view 工具,生成一张胶片条加波形加字幕标签的合成图,只在需要重点决策的时候才用。

图片 5

这套思路跟 browser-use 一脉相承。browser-use 当年是给 LLM 结构化的 DOM,让它不用看浏览器截图就能在文本里推理。video-use 把同一套思路搬到视频上,LLM 推理的输入是文本,绕开了每一帧像素。12KB 文本加几张合成图,就能干 4500 万 token 帧的活。

把 AI 剪辑做成工程

video-use 最后还有一道工序:自评估。整个剪辑流水线是:转写 → 打包 → LLM 推理 → 生成 EDL(剪辑决策表)→ 渲染 → 自评估。

自评估会在渲染完之后,在每个切点边界回放检查,看视觉跳变、音频爆点、字幕遮挡这些常见问题。发现问题就修,最多重渲染 3 次。只有通过自评估的版本,才会作为预览给到用户。

SKILL.md 里还列了 12 条规则,把 AI 剪辑从一次性生成变成了有质量兜底的工程流程。比如:

  • 字幕必须最后应用,不然会被动画遮挡
  • 每个切点都加 30ms 音频淡入淡出,杜绝爆音
  • 切点必须卡在词边界,不能切在词中间
  • 每个切边要预留 30-200ms,因为 Scribe 时间戳会有 50-100ms 漂移
  • 多个动画用并行子 Agent 生成,谁也不等谁

如何使用

一键安装:把 Prompt 复制给 Claude Code,让它自己装:

给我安装 https://github.com/browser-use/video-use

剩下的 Agent 自己会读 install.md 处理。

需要准备的就一个 ElevenLabs API key(Scribe 转写要用),去 elevenlabs.io 注册就能拿到。

图片 6

装好之后,把素材放进一个文件夹,在那个文件夹里启动 Agent,告诉它你的剪辑诉求,剩下的它自己处理。

苏米注:video-use 最值得关注的不是"AI 能剪视频"这件事,而是它解决问题的思路——把视频转成 12KB 的文本让 LLM 处理,而不是喂 4500 万 token 的帧。这和 browser-use 用结构化 DOM 代替浏览器截图的思路完全一致。把高信噪比的结构化信息给 AI,而不是把原始像素丢给它,这可能是 AI Agent 处理多媒体内容的正确方向。

GitHub:browser-use/video-use

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:browser-use 团队开源 video-use:让 AI Agent 帮你剪视频
#开源项目 #AI视频剪辑 #video-use #browser-use 
收藏 1
Obsidian 网页版来了:NAS 部署 Ignis,浏览器直接使用
Port Master:开源端口与进程管理工具,浏览器内管理 Docker 和 SSH
推荐阅读
  • DigUp开源本地搜索工具:用自然描述搜索图片视频音频PDF,不用记文件名
  • 13 个本周最火的 GitHub 项目:AI 编程工具生态爆发,OpenAI 官方 Agent 框架上榜
  • AIFlowy:开源国产 AI 应用底座 ,更贴近企业落地的 Bot/RAG/工作流平台(与 Dify/Coze 的适配性对比)
  • ai-goofish-monitor 源码解读:13.5K Star 的闲鱼监控工具,真正难的不是 AI
  • BrowserAct 开源项目:解决 Agent 浏览器自动化难题,支持 Cookie 复用与人机接力
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
13478 1年前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
11338 11月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
11309 1年前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
10286 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9950 10月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
9536 1年前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
9392 1年前
AiNiee:开源AI翻译工具,完美解决游戏、小说、字幕、文档的批量翻译
8860 1年前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8787 7月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8781 9月前

文章目录

关于苏米客
分类排行
1 DramaClaw开源发布:企业级AI漫剧工业化生产线,无限画布+自动化流水线
2 OpenMotion开源发布:用HTML代码写视频,OpenDesign团队开源版Claude Motion
3 Coolify:自托管 360+ 服务,如何用 20 美元 VPS 替代 Vercel 账单
4 GIF 工厂开源项目:Codex 技能让表情包、签名、海报全动起来
5 GitHub 开源车机项目:DiPlay、xcertplay、LIVI 让你轻松接入 CarPlay
6 Orca 开源工具:统一管理 40+ AI 编程 Agent,支持手机和桌面端
7 Blender Agent Skills 开源项目:28 个 Skill 覆盖 3D 建模到渲染完整管线
8 Papermorph 开源项目:把教材 PDF 变成会讲课的网页,支持数学表达式测验
9 rea-video 开源项目:AI 视频逐镜头逆向分析,支持 WorkBuddy/Codex
10 OpenFilm 开源项目:把视频变成 HTML 网页,让 AI Agent 做视频的开源工具
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
拉美跨境导航 微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联