给 AI Agent 配上基础工具或 skill，它就能读网页、看代码、处理文档。但视频一直是个难题——丢给它一个 YouTube 链接，大概率只能读到标题、简介或字幕。可很多视频真正有价值的内容，恰恰不在字幕里。

得让 AI 真正"看"懂视频才行。

最近 GitHub 上有一个叫 claude-video 的项目引起了关注。它给 Claude 加了一个 /watch 能力，让 Claude 可以处理视频链接和本地视频文件，真正看懂视频。目前已有约 6.8k Star。

claude-video 能做什么

claude-video 是 Brad Bonanno 开发的开源项目。你可以给它一个 YouTube 链接，也可以给一个本地视频路径，然后直接提问：

• /watch https://youtu.be/xxx 总结这个视频
• /watch ~/Movies/screen-recording.mp4 这个视频哪里有 xx 的画面？

它会先拿视频字幕，再根据需要下载视频、抽取关键画面帧。如果视频没有字幕，它还可以走 Whisper 转录音频。最后把带时间戳的字幕和视频帧一起交给 Claude。

这样 Claude 回答时就不是只靠标题猜，也不是只看字幕硬总结——它能同时参考画面和声音，回答得更像一个真的看过视频的人。

苏米注：很多视频分析工具本质上是"视频转文字"，能告诉你视频里说了什么，但不一定知道画面里发生了什么。claude-video 的思路更适合 Claude 这种多模态模型：把视频拆成它能读懂的材料，再让它综合判断。

项目地址：github.com/bradautomates/claude-video

如何安装

只需要把下面这行提示发给你的 Claude Code 即可：

帮我安装这个 skill：https://github.com/bradautomates/claude-video

实际演示

把一个 6 分钟的介绍去除马赛克开源项目的视频丢给它，要求整理成图文笔记并导出 Word。首先它会询问帧密度、要不要分析字幕。

Claude-video 读了 50 帧 + 音频字幕，生成的图文内容逻辑更顺畅。首次运行时，它还会检查本机有没有 ffmpeg 和 yt-dlp，macOS 上会尝试通过 Homebrew 自动安装，Linux 和 Windows 会给出对应命令。

如果视频没有字幕，还需要配置 Whisper 相关 API Key。项目优先支持 Groq，也支持 OpenAI。

背后原理

实现思路不复杂，但组合得很实用：

1. 用 yt-dlp 处理视频源：支持 YouTube、TikTok、X、Instagram 等平台，也支持本地视频文件（.mp4、.mov、.mkv、.webm）
2. 优先拿字幕：如果视频本身有字幕，优先走字幕，成本最低也最快
3. 必要时下载音频或视频：只要文字总结有字幕就够了；要分析画面或没有字幕才会继续拉取
4. 用 ffmpeg 抽帧：efficient 模式走更快关键帧提取，balanced 和 token-burner 更偏向场景变化帧
5. 没有字幕时用 Whisper 转录：支持 Groq 的 whisper-large-v3 和 OpenAI 的 whisper-1
6. 把画面帧和字幕交给 Claude：Claude 基于这些材料回答问题

Token 成本控制

丢一个 50 分钟视频进去每几秒截一张图，图片 token 很快就会堆起来。claude-video 在这块做了不少优化：

• 帧预算：短视频给更密的帧，长视频自动稀疏。10 分钟以上的视频在部分模式下默认限制到 100 帧左右
• 帧去重：屏幕录制、PPT 课程这种视频，经常一个画面停很久。项目会做一轮帧去重，把近似重复的画面丢掉，把预算花在真正变化的画面上

写在最后

这套流程听起来像是绕了一圈，但很符合现在 AI 工具的思路——模型不一定原生支持你丢一个任意视频进去，但你可以把视频拆成模型能理解的图片、文字和时间线。这个项目最适合的场景不是单纯总结视频，而是处理那些文字和画面必须一起看的内容，比如分析爆款视频、做视频学习笔记等。