10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

browser-use 团队开源 video-use:让 AI Agent 帮你剪视频

1月前 AI开源项目 1047 0

做出 browser-use 的那个团队,最近又开源了一个新项目。video-use——一个 100% 开源的 AI 视频剪辑 Skill,装到 Claude Code 或 Codex 里就能用。上线才 2 个多月,Star 已经冲到 1.3 万,最近还登上了 GitHub 开源日榜。

图片 1

video-use 是什么

你把拍摄的原始素材扔进一个文件夹,启动 Claude Code,跟它说一句"剪成发布视频"。它会自己扫素材、提剪辑方案、等你确认,然后开始干活,最后在同目录的 edit/ 文件夹里给你一个 final.mp4。

图片 2

图片 3

除了 Claude Code,Codex、Hermes、OpenClaw 这些有 shell 权限的 Agent 都能跑。官方说口播、Vlog、教程、旅行、访谈等内容类型都能剪。

让 AI 读文本,绕开视频帧

这是整个项目最有意思的地方。让 AI 剪视频,最朴素的做法是把视频拆成一帧一帧的图片,丢给多模态模型看。但算一下账:一段 20 分钟的素材,按 30 帧每秒算,加起来 3 万多帧。每帧按 1500 token 算,总共要 4500 万 token。成本先不说,光这个信噪比就烂透了。

图片 4

video-use 换了个思路,分两层:

第一层是音频转写。用 ElevenLabs 的 Scribe 模型,把整段素材转成带词级时间戳的文本,谁在说话、什么时候停顿、什么时候有笑声和掌声,都能识别。最后会把所有素材打包成一个约 12KB 的 Markdown 文件,作为 LLM 的主要阅读视图。

第二层是按需调用的可视化合成图。当 LLM 遇到拿不准的地方,它会调用 timeline_view 工具,生成一张胶片条加波形加字幕标签的合成图,只在需要重点决策的时候才用。

图片 5

这套思路跟 browser-use 一脉相承。browser-use 当年是给 LLM 结构化的 DOM,让它不用看浏览器截图就能在文本里推理。video-use 把同一套思路搬到视频上,LLM 推理的输入是文本,绕开了每一帧像素。12KB 文本加几张合成图,就能干 4500 万 token 帧的活。

把 AI 剪辑做成工程

video-use 最后还有一道工序:自评估。整个剪辑流水线是:转写 → 打包 → LLM 推理 → 生成 EDL(剪辑决策表)→ 渲染 → 自评估。

自评估会在渲染完之后,在每个切点边界回放检查,看视觉跳变、音频爆点、字幕遮挡这些常见问题。发现问题就修,最多重渲染 3 次。只有通过自评估的版本,才会作为预览给到用户。

SKILL.md 里还列了 12 条规则,把 AI 剪辑从一次性生成变成了有质量兜底的工程流程。比如:

  • 字幕必须最后应用,不然会被动画遮挡
  • 每个切点都加 30ms 音频淡入淡出,杜绝爆音
  • 切点必须卡在词边界,不能切在词中间
  • 每个切边要预留 30-200ms,因为 Scribe 时间戳会有 50-100ms 漂移
  • 多个动画用并行子 Agent 生成,谁也不等谁

如何使用

一键安装:把 Prompt 复制给 Claude Code,让它自己装:

给我安装 https://github.com/browser-use/video-use

剩下的 Agent 自己会读 install.md 处理。

需要准备的就一个 ElevenLabs API key(Scribe 转写要用),去 elevenlabs.io 注册就能拿到。

图片 6

装好之后,把素材放进一个文件夹,在那个文件夹里启动 Agent,告诉它你的剪辑诉求,剩下的它自己处理。

苏米注:video-use 最值得关注的不是"AI 能剪视频"这件事,而是它解决问题的思路——把视频转成 12KB 的文本让 LLM 处理,而不是喂 4500 万 token 的帧。这和 browser-use 用结构化 DOM 代替浏览器截图的思路完全一致。把高信噪比的结构化信息给 AI,而不是把原始像素丢给它,这可能是 AI Agent 处理多媒体内容的正确方向。

GitHub:browser-use/video-use

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:browser-use 团队开源 video-use:让 AI Agent 帮你剪视频
#开源项目 #AI视频剪辑 #video-use #browser-use 
收藏 1
Obsidian 网页版来了:NAS 部署 Ignis,浏览器直接使用
Port Master:开源端口与进程管理工具,浏览器内管理 Docker 和 SSH
推荐阅读
  • Zen Browser:比 Chrome 更好用的开源浏览器
  • AiToEarn:开源免费的多平台内容分发工具,支持12个社交平台一键发布
  • EverOS:给 AI 装上自我进化的记忆,Claude Code 插件开源
  • OpenHarness:港大开源轻量级 Agent 基础设施,兼容 15+ 大模型提供商
  • PandaWiki:手把手教你用这款开源神器,3分钟搭建你的专属AI知识库!
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
11752 11月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10464 10月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
9615 8月前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
8676 7月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
8636 11月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
8245 11月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
8142 10月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
7760 6月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
7345 6月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
7211 4月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 腾讯朱雀开源 AI 安全工具:一键检测 Agent 漏洞与提示词泄露
2 DiceBear:开源头像生成库,52种风格一行代码搞定用户头像
3 grill-me:87万下载的AI编程Skill,用几行字解决需求对齐难题
4 Paperless-ngx:开源文档管理系统,纸文件堆成山也能自动归档
5 DeepSeek Harness TUI 插件 dsh-TUI:终端交互体验对标 Claude Code
6 doc7:1.1K Star 的开源工具,让 AI 像人一样看懂文档而非识别
7 Agent Reach:给 AI Agent 装上上网能力的开源工具,支持 15+ 平台
8 Firecrawl 开源 anydoc:10 天 1.5 万 Star,14 种格式文档转 Markdown
9 Codex Security 开源:OpenAI 安全扫描插件,支持多 Agent 工具链接入
10 story-to-handdrawn-video:把中文故事转化为手绘动画的开源 Skill,20种风格可选
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联