10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 标签云 排行榜

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

claude-video 开源工具:让 Claude 真正看懂视频的多模态方案

3月前 AI开源项目 1587 0

以前想让 Claude 看视频,基本只能靠猜。要么从标题推断,要么拉个字幕文本丢给它,但字幕经常少 90% 的屏幕内容。即使把视频链接给 Claude,它也会说"我不能看视频"。

GitHub 上刚开源的 claude-video(4200+ Star)解决了这个问题——它让 Claude 能真正"看完"视频后再回答你的问题。

图片 1

它的工作原理其实不复杂:给一个 B 站链接或本地视频文件,它会自动下载、提取帧、转录字幕,把所有内容交给 Claude。从技术上讲,Claude 并没有获得"视频理解能力",只是把视频分成了它可以理解的图像和文字。

图片 2

实际运行效果

比如一个 5 分钟的 B 站视频,只需要说一句 /watch https://www.bilibili.com/video/xxx 总结一下,它就自动开始处理。

先用 yt-dlp 查看是否有原生字幕,有就直接提取出来——大多数公开视频都配有字幕,这一步基本免费且很快。

图片 3

然后 ffmpeg 根据视频时长自动控制帧数,5 分钟的视频大约提取 30 帧,涵盖从头到尾的重要画面。这些是 512 像素宽的 JPEG 图片,Claude 可以直接"看懂"。

图片 4

接着把音频转成文字,字幕和帧都带有时间戳(如 t=1:42)。Claude 不仅能看到画面、听见声音,还能像人一样把视频"看完"。

图片 5

最后你提问它回答。问"30 秒讲的是什么",它会看第 30 秒的帧和字幕直接回答,不需要你打开视频去找。

核心特性

1. 多平台视频抓取

支持 YouTube、TikTok、X、Instagram 和本地文件。底层用 yt-dlp,可识别几百个视频源。

2. 自适应帧提取

根据视频时长动态采样:30 秒以内约 30 帧,1~3 分钟约 60 帧,3~10 分钟约 80 帧,超过 10 分钟控制在约 100 帧以内,不会把 context window 撑爆。

图片 6

3. 双重转录方式

优先使用视频原字幕,免费、快速、相对准确。没有字幕时才调用 Whisper API。

4. 智能去重

自动检测并删除静止画面、重复帧,防止浪费 token。

图片 7

5. 时间段精准定位

使用 --start 和 --end 参数指定时间段,在范围内密集提取帧,适合分析 Bug 录屏、病毒视频开头、竞品广告创意等。

图片 8

安装方式

Claude Code 用户:

/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

其他平台(Codex、Cursor、Copilot、Gemini CLI 等):

npx skills add bradautomates/claude-video -g

首次运行会自动检查依赖,macOS 自动安装 ffmpeg 和 yt-dlp,Linux/Windows 会打印具体安装命令。

边界与限制

  • 不支持私有视频:只处理公开 URL 和本地文件
  • 长视频精度受限:超过 10 分钟的视频帧率稀疏,可用 --start/--end 指定时间段
  • 依赖外部工具:需要 ffmpeg 和 yt-dlp
  • 字幕质量依赖原视频:自动字幕质量差时理解会受影响

总结

这个工具的价值不在于技术有多高深,而是它让 Claude 的能力边界从文本和图片扩展到了视频。把现有能力组合出新玩法,这种方式值得学习。

GitHub:https://github.com/bradautomates/claude-video

声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:claude-video 开源工具:让 Claude 真正看懂视频的多模态方案
#claude-video #Claude #AI视频理解 #开源工具 #多模态 
收藏 1
ClipForge:开源 AI 短视频工具,一键生成商品带货视频
TRAE 大更新:Hook 钩子、全局记忆、Design 模式,IDE 三大核心升级解析
推荐阅读
  • Plandex:14.5K Star!开源AI编程助手,专为大型项目和复杂任务而生!
  • Deep Agents:LangChain 官方的开源 Agent 框架,用三层压缩机制解决长任务 Token 爆炸问题
  • IMAI.WORK:一套可自动私信获客,评论截流,粉丝获客,自动养号,RPA ,AIGC 生成,可私有化部署的AI 数字员工系统
  • Presentation AI:一款开源AI PPT工具,AI一键生成精美幻灯片!
  • 开源旅行海报工具 Yingzao · 营造:20 张废片对比实测,多模型协作把照片变杂志级海报
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
12702 1年前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10850 11月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
10541 9月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
9429 1年前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
9315 9月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
8821 1年前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
8718 12月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
8263 8月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
8137 5月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
8022 8月前

文章目录

关于苏米客
分类排行
1 answer-me-with-html:开源 Agent Skill,让 AI 回答变成可视化 HTML 页面
2 DESIGN.md:73 家大厂 UI 设计系统全开源,AI 不再写出「AI 味」页面
3 Koharu:本地运行的 AI 漫画翻译器,Rust 打造支持 OCR 识别和智能嵌字
4 i-have-adhd Skill:治好 AI 的啰嗦病,输出直接变成执行清单
5 PhotoCraft:用 Claude + Rust 从零重写的开源 Photoshop,不到 30MB
6 Vercel 开源 web-design-guidelines Skill:100+ 条 UI 规范审查 AI 生成的页面
7 oil-ui:给 AI Agent 的八步 UI 设计法,开源一周提升设计能力
8 Agent 不需要记忆:为什么 RAG 式记忆插件在解决错误的问题
9 figures4papers:耶鲁博士开源的论文配图脚本库,8000+ Star 一键生成出版级图表
10 answer-me-with-html:Agent 将复杂回答转为可视化 HTML 页面,6.1× token 节省
苏米客
登录 注册
显示
没有账号? · 立即注册
显示
已有账号? · 直接登录
登录代表你已同意 用户协议 和 隐私政策
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6 网站地图 百度地图
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联