跳到主要内容
返回全部研究

豆包 1.8 长视频理解与自动剪辑实测

今天,豆包大模型 1.8 正式发布。

这是字节跳动最新发布的主力模型,官方定位非常明确:重点提升多模态 Agent 能力。

它不仅限于是陪你聊天的机器人,而是要帮企业真刀真枪干活——比如构建日常办公 Agent、数据分析 Agent、甚至复杂的视频创作 Agent。

图片展示了Agent能力和多模态理解能力的对比数据。左侧Agent能力部分,列举了数字、推理、多智能体等能力,如数字能力中,Doubloo Seed-1.8在GPT-3 High下得分为94.6,而Bento-3-pro为95.0等。右侧多模态理解能力部分,包含多模态速度、最复杂图像理解、图像推理等能力,如多模态速度中,Doubloo Seed-1.8在MMU-Pro下得分为78.3,而Cloud -Summit-4.0为68.0等。该图与上下文介绍的模型能力升级相关,直观呈现了其在不同能力上的表现。

本次模型的核心升级点:

  • Agent 能力提升: 大幅增强工具调用(Tool Use)、长文和多轮指令遵循,甚至具备了 OS Agent 的落地能力(直接操作屏幕)。
  • 多模态理解跃升: 单次视频理解帧数从 640 帧提升至 1280 帧(1秒1帧可支持20分钟,低帧率模式支持更久)。
  • 推理更“精益”: 思考长度可调节,Tokens 消耗更少,但逻辑更稳。
图片为多模态模型评测对比表,展示了教育、客服、金融、法律、审核等场景下GPT - 5 High、Claude - Sonnet - 4.5、Gemini - 3 - pro、Doubao - Seed - 1.8、Doubao - Seed - 1.6 - 1015、Qwen - V1 - 23b - a22b - thinking - high等模型的表现。其中,Doubao - Seed - 1.8在多个场景中表现突出,如教育场景下得分为60.8,客服场景下得分为69.0等。该图与上下文紧密相关,直观呈现了模型在不同场景下的评测结果,辅助说明文档中提及的模型核心升级点。

之前评测模型,我们一贯是用十几个 Case 测试它在不同场景下的表现。但说实话,Case 太多太碎,大家看着累,往往看完也记不住重点。

更重要的是,真实的业务场景不是碎片化的问答,而是连续的、复杂的长链路任务。

所以这次,因为提前拿到 1.8 内测的时间比较充裕,我决定做一个相对复杂的 Demo。我们只看这一个 Case,来深度感受一下豆包 1.8 的能力升级。

为了完全体现豆包 1.8 的原生能力,这个工作流 Demo 全程在字节的 IDE Trae 中运行,没有添加任何额外的外挂逻辑。

这里是运行的全程录屏,原长30分钟,为了节省大家时间,下边是10倍速版本:

这个任务非常简单粗暴: 扔给模型一场 54分钟 的足球赛全场回放,让它像一个专业导播一样,看完比赛,理解剧情,然后自己操作剪辑软件,剪出一条集锦。

由于目前 1.8 还没有正式上线,Trae 里暂时不支持直接上传视频。为了让视频能够传给豆包1.8,并且完全只使用1.8的能力,所以我手搓了三个 MCP工具,来保证模型独立:

1、一个是火山引擎TOS的MCP,负责把五十多分钟的视频传到储存桶里,然后从储存桶里拿到视频地址,给到豆包1.8。

2、做了一个火山引擎视频点播工具VOD的MCP,能力是让豆包1.8可以调用剪辑工具对视频进行剪辑和拼接。

3、然后为了使用到原生的豆包1.8,所以我又额外加了一个MCP,这个MCP就只负责调用豆包1.8模型。

整个过程就是:在 Trae 里以豆包 1.8 作为 Agent 主脑,指挥这三个 MCP 工具协同作战。

这里有个技术细节需要解释一下:

细心的朋友可能会在视频里发现 MCP 被多次调用。这是因为模型识别长视频返回的时间太长(之前尝试过一次返回近15分钟),会导致 Trae 的 MCP 响应超时。 为了保持连接活跃,我把返回内容做了切分——前端看到的是多次刷新,但后台其实是豆包 1.8 在一帧一帧地硬啃这几千帧画面。

以上是测试背景,整个视频切了上千帧,豆包1.8是一帧一帧硬啃下来的,全程都没有因为模型的错误而中断过。

这是任务要求的提示词,我先放到这里:

Role: 智能体育赛事视频剪辑导演
1. 任务背景 
你需要处理一段时长约54分钟的足球赛事回放视频,并利用MCP工具将其剪辑成一段专业、高燃的赛事精华短片。
赛事信息: “抖音足球嘉年华”广西站决赛(2025年3月31日,贵港市体育中心)。
核心事件:
决赛: 北海凌峰廉州府队 2:0 贵港联合队(夺冠)。
明星表演赛: 老友粉队(米卢、孙杨、王濛、马明宇等) vs 猛涨粉队(王楚淇等)。
目标: 输出识别日志、剪辑脚本及最终成片。
2. 核心资源 
注意:以下文件均为本地绝对路径,请直接引用路径字符串。
视频源文件: `/e:/git/doubao2/娱乐赛.mp4 :`
背景音乐: /e:/git/doubao2/背景音乐living-for-today.mp3 
3. 执行步骤 (分步说明)
第一步:工具能力自检 
调用相关 MCP 工具,查询并列出“VOD剪辑服务”的具体参数要求(如转场代码、变速指令)。
同时确认“视频内容分析工具”的输入参数格式。

第二步:视频内容深度分析 

操作指令: 调用视觉分析 MCP 工具,为了防止MCP超时,根据MCP要求多次调用获取输出。
参数输入: 直接使用本地路径 /e:/git/豆包/Lvideo/娱乐赛.mp4 作为输入参数。
禁止事项: 不要在此步骤上传视频,不要尝试获取 vid。如果工具报错,请优先检查路径格式,而不是去上传视频。
分析重点:
进球与比分: 进球瞬间(球网晃动)、庆祝动作、比分牌跳变。
明星捕捉: 米卢、孙杨、王濛、马明宇的面部特写及动作。
高燃镜头: 拼抢、射门、扑救、捧杯、观众欢呼。

输出交付: 生成 <视频内容识别日志.txt>,包含精确的 Start Time - End Time 和内容描述。
第三步:生成剪辑脚本 (Script Generation)
基于日志和赛事背景编写脚本,逻辑如下:
Intro: 氛围空镜 + 激昂前奏。
明星 Highlight: 孙杨/王濛等人的趣味/高光瞬间(快剪)。
决赛 Climax: 北海队两粒进球全过程 + 夺冠捧杯。

最终交付: 剪辑完成的完整视频链接。

模型在拿到要求后,制定了计划:

图片展示的是视频剪辑任务的待办事项。内容包括:完成10次视频分段分析,建立完整时间日志;整合分析结果,生成视频内容全量日志;设计剪辑脚本,生成VOD剪辑执行方案;检查VOD空间,创建或确认可用空间;上传视频和音频资源到VOD空间;构建剪辑参数,提交剪辑任务;查询剪辑任务进度,获取最终结果。该图片与文档中视频剪辑任务的流程说明相关,是对任务步骤的详细罗列。

接下来我们看几处细节的输出,我截取10段中其中一段的分析,把它输出的 JSON 格式日志转成了表格。大家可以快速扫一眼,或者直接滑到表格下方看结论:

绝对时间(秒)

持续时长(秒)

事件分类

详细描述

324.7-329.8

5.1

空镜(球场)

老友粉队门将开球,双方球员在本方后场、中场站位接球准备推进

329.8-334.8

5.0

比赛进程

白队球员接球后进行中场传递,逐步向前推进

334.8-339.9

5.1

比赛进程

白队继续中场控球传递,绿队球员落位防守

339.9-345.0

5.1

比赛进程

球传递至老友粉队门将脚下,门将准备开球

345.0-350.0

5.0

比赛进程

门将开球后绿队中场接球,开始组织前场进攻

350.0-355.1

5.1

比赛进程

绿队中场球员送出长传球,将球输送至前场

355.1-360.2

5.1

比赛进程

绿队前场球员接球后沿边路突破下底,准备传中

360.2-365.3

5.1

比赛进程

绿队边路传中被白队防守球员破坏出底线,绿队获得角球机会

365.3-370.4

5.1

明星特写

完成传中的绿队进攻球员慢跑回位的特写镜头

370.4-375.4

5.0

比赛进程

绿队球员准备开角球,双方球员在禁区内卡位争抢头球

375.4-380.5

5.1

比赛进程

绿队开出角球,禁区内双方球员争抢头球,白队将球解围

380.5-385.6

5.1

比赛进程

头球解围后白队球员在禁区前沿控球,准备组织反击

385.6-390.6

5.0

明星特写

白队孙杨的场上特写,他正在跑动回防

390.6-395.7

5.1

比赛进程

绿队球员在禁区外尝试远射,射门角度较偏未能命中球门范围

395.7-400.8

5.1

比赛进程

白队门将将球拿到后,准备开球发起进攻

400.8-405.9

5.1

进球回放

慢动作回放刚才绿队球员禁区外远射的完整过程

405.9-410.9

5.0

明星特写

绿队69号球员特写,他露出对射门偏出的无奈表情

410.9-416.0

5.1

进球回放

继续慢动作回放刚才绿队的远射镜头

416.0-421.1

5.1

进球回放

慢动作回放足球擦着白队球门立柱偏出的瞬间

421.1-426.2

5.1

明星特写

绿队进攻球员特写,他面带远射偏出的遗憾表情

426.2-431.2

5.0

比赛进程

白队门将开球,中场球员接球后进行传递

431.2-436.3

5.1

比赛进程

绿队中场完成断球,随即组织前场反击推进

436.3-441.4

5.1

比赛进程

绿队前场球员打出短传配合,尝试撕开白队防线

441.4-446.4

5.1

比赛进程

绿队边路球员将球传中至禁区内,寻找队友抢点

446.4-451.5

5.1

精彩扑救

绿队69号球员禁区内接球射门,被白队门将侧身挡出

451.5-456.6

5.1

明星特写

绿队69号球员特写,他露出射门被挡的可惜表情

456.6-461.7

5.1

明星特写

白队戴反帽、戴眼镜的球员特写,他在场上跑动面带轻松的笑容

461.7-466.7

5.0

精彩扑救回放

慢动作回放刚才白队门将挡出绿队射门的瞬间

466.7-471.8

5.1

空镜(赛事包装)

抖音足球嘉年华广西站的赛事片头空镜

471.8-476.9

5.1

明星特写

白队戴反帽球员特写,他在场上调整呼吸和状态

476.9-482.0

5.1

比赛进程

绿队再次准备开角球,双方球员在禁区内重新站位

482.0-487.0

5.0

比赛进程

绿队开出角球,禁区内绿队球员头球攻门,球偏出球门

487.0-492.1

5.1

明星特写

完成头球攻门的绿队球员特写,他露出攻门偏出的遗憾表情

492.1-497.2

5.1

明星特写

绿队球员特写,抬手调整自己的球衣领口

497.2-502.2

5.0

比赛进程

白队门将开球,中场球员接球后进行传递

502.2-507.3

5.1

比赛进程

白队中场球员送出长传球,向前场输送进攻球权

507.3-512.4

5.1

比赛进程

绿队中场完成断球,随即发起快速反击向前推进

512.4-517.5

5.1

比赛进程

绿队前场球员快速推进,白队球员全速回追防守

517.5-522.6

5.1

明星特写

白队孙杨的场上特写,他回防跑动时面带笑容

522.6-527.6

5.0

比赛进程

绿队前场球员被白队多名球员包夹,球权被断

527.6-532.7

5.1

比赛进程

绿队再次完成中场断球,重新组织前场进攻

532.7-537.8

5.1

比赛进程

绿队前场球员沿边路带球突破下底,准备传中

537.8-542.8

5.1

比赛进程

绿队边路传中至禁区内,抢点球员射门偏出球门

542.8-547.9

5.1

比赛进程

射门出底线,白队门将准备开球

547.9-553.0

5.1

明星特写

绿队进攻球员特写,他露出射门偏出的失落表情

553.0-558.0

5.0

比赛进程

白队门将开球,中场球员接球传递

558.0-563.1

5.1

比赛进程

白队中场球员送出长传球,向前场输送球权

563.1-568.2

5.1

比赛进程

绿队前场球员接球后回传中场,重新组织进攻

568.2-573.3

5.1

比赛进程

绿队中场送出长传球,向前场输送进攻球权

573.3-578.4

5.1

比赛进程

白队门将出击拿到球,准备开球发起进攻

578.4-583.4

5.0

比赛进程

绿队前场球员接球后带球向前推进

583.4-588.5

5.1

比赛进程

绿队中场球员将球传给前场队友,推进进攻

588.5-593.6

5.1

比赛进程

绿队前场球员尝试远射,球被白队门将稳稳拿到

593.6-598.6

5.1

比赛进程

白队门将开球,球被踢出边线

598.6-603.7

5.1

比赛进程

白队球员掷边线球,中场球员接球后传递

603.7-608.8

5.1

比赛进程

白队中场送出长传球,向前场输送进攻球权

608.8-613.8

5.0

比赛进程

绿队后场球员接球后回传给门将,重新组织进攻

613.8-618.9

5.1

比赛进程

绿队门将开球,中场球员接球传递

618.9-624.0

5.1

比赛进程

绿队中场球员将球传给边路队友,发起边路进攻

624.0-629.1

5.1

比赛进程

绿队边路球员准备传球,白队防守球员落位封堵传球路线

629.1-634.2

5.1

比赛进程

绿队边路传球被白队球员破坏,球出边线

634.2-639.2

5.0

明星特写

绿队11号球员跪地特写,他显得疲惫且带有进攻未果的遗憾

639.2-644.3

5.1

空镜(赛事包装)

抖音足球嘉年华广西站的赛事片尾空镜

从这个输出里其实已经展现了当前顶尖视觉模型在高精度、细粒度视频内容分析上的强大能力。

第一:精准的事件识别能力:

  • 它能准确识别出足球比赛中的核心事件,如:角球、远射、传中、头球攻门、扑救、掷边线球、断球等。
  • 它还能区分不同的镜头类型,如比赛进程、明星特写、空镜、进球回放、精彩扑救回放,这对于视频内容分析至关重要。

第二:丰富的细节捕捉:

模型捕捉到了很多人类观察者才会注意的细节,例如:“白队戴反帽、戴眼镜的球员特写”,“绿队球员特写,抬手调整自己的球衣领口”,“绿队11号球员跪地特写,他显得疲惫且带有进攻未果的遗憾”

这说明模型不仅在看“球在哪里”,还在观察“球员在做什么”、“表情如何”。

第三:基本的战术逻辑追踪:

模型能够大致跟上比赛的攻防转换。例如,从“门将开球”到“中场传递”再到“向前推进”,这个逻辑链条是清晰的。它知道球权在白队和绿队之间切换。

最终的日志输出里记录的进球时刻,我验证了两个,也都是对的:

  1. 1. 第1个进球:1164.0-1167.0秒(第19分24秒)- 猛涨粉队球员禁区内射门得分,比分0-1
图片展示的是一个足球比赛场景。画面中,猛涨粉队和老友粉队球员在绿茵场上对峙,猛涨粉队球员身穿绿色球衣,老友粉队球员身穿白色球衣。比分显示为0 - 0,比赛时间是19:16。画面右下角有时间戳“00:19:24.05”和“00:54:06.23”。该图片与文档中对进球时刻验证的内容相关,可能是用于辅助验证进球时刻的视频画面。
  1. 1. 第2个进球:2612.6-2617.7秒(第43分33秒)- 老友粉队黑皮肤球员进球,比分1-1
图片展示的是足球比赛场景,老友粉队0 - 1猛涨粉队,比赛进行到30分11秒。画面中,猛涨粉队球员在禁区内射门得分,比分变为0 - 1。画面右下角显示当前时间为00:43:32.09,还有00:54:06.23的总时长。画面中还有其他球员在场地上奔跑,背景有观众席和广告牌。该图片与上下文提到的进球时刻验证相关,直观呈现了进球瞬间。

以下是他的输出,我没有一一验证,抽查了几个前后偏差不超过2s,大家有兴趣可以自己验证一下:

明星球员特写
- 米卢:654.4-659.3秒、1044.0-1050.0秒、1262.0-1267.0秒、1648.8-1671.5秒、2534.8-2549.8秒、2825.7-2835.8秒、2942.4-2947.4秒、2993.1-2998.2秒  
- 孙杨:59.1-63.2秒、303.1-307.2秒、385.6-390.6秒、517.5-522.6秒、854.4-869.3秒、1247.0-1252.0秒、1967.0-1972.0秒、2272.8-2277.8秒、2658.3-2668.4秒  
- 王濛:979.0-989.0秒
高光时刻
- 精彩扑救:446.4-451.5秒、2112.0-2122.0秒、2912.0-2917.0秒
- 激烈拼抢:2092.0-2102.0秒、2362.8-2399.8秒
- 精妙配合:1115.0-1164.0秒、2856.1-2876.4秒

注意:这些都是在一个极长的单次千帧输入的情况下完成的。

关于“超长上下文”的体验,我和豆包的算法同学交流过,他们提到模型内置了“上下文自动压缩”能力。 虽然技术上不是绝对的无限 Context,但在实际体验中,它能从第 1 分钟记到第 54 分钟。对于开发者来说,这种“伪无限”体验已经足够解决大部分长视频理解的业务痛点。

如果说上面的视觉理解是“基本功”,那么接下来的这一幕,体现了什么是 Agent。

在生成完剪辑脚本后,豆包需要调用 VOD MCP 工具来进行实际的视频裁剪和拼接。VOD工具里边支持的能力很多,参数相对也比较复杂,在我的测试中,只有Claude是一次性完全调用成功的。

在视频中也可以看到,豆包1.8果然在进行到VOD时发生了上传失败。

但是,豆包1.8在挨个尝试了均无法使用之后(因为这三个都是我手动创建的,有权限)。

豆包1.8做了一个很像人类工程师的动作:它读取了报错信息,然后“思考”了一下,决定自己创建。

最终,调用成功,剪辑完成。

图片展示了豆包1.8在视频上传过程中遇到问题及解决的对话记录。先是因内部错误尝试使用第四个VOD空间,接着因视频上传多次失败,决定创建新VOD空间,最终新空间创建成功并上传视频文件。之后上传音频文件成功,更新任务列表并开始构建剪辑参数。该图片与上下文紧密相关,直观呈现了豆包1.8在面对异常问题时的主动思考和多次尝试过程。

我录制这一次之前 ,有尝试过多次,总是能看到1.8模型在面对异常问题时的主动思考和多次尝试,豆包1.8的Agent能力是有明显提升的。

最后:从 Demo 看门道

回到最初的问题,为什么我用 54 分钟的长视频 + 3 个 MCP 工具 + 全程无人工干预来测试?

因为这才是企业级 Agent 真实的落地场景。

在这个Demo里,豆包1.8其实跨越了三座大山:

  • 超长上下文的“大海捞针”: 从几千帧画面里,精准捞出“孙杨笑了”或者“69号球员懊恼”的瞬间。这验证了它 1280 帧 的单次视频理解能力。
  • 复杂工具链的“自我修复”: 从 OSS 取文件 -> 视觉分析 -> 生成脚本 -> VOD 剪辑。中间任何一个环节断掉,任务就会失败。豆包 1.8 展现出了Agent的错误处理能力。
  • 多模态与逻辑的融合: 它不是把视频翻译成文字就结束了,它是理解了规则、理解了情绪,并将其转化为可执行的代码。

而且豆包一直都是超高性价比的模型。

总而言之,豆包1.8带来了更低的Token消耗和更强的多模态理解,意味着处理视频、长文档这类高价值数据的成本大幅降低了,视觉场景的业务,变得更可落地了,更具有商业可行性了。

过去这一年,很多场景我们面对客户不是“做不了”,而是“不划算”。

当智能的成本越过人工成本的红线,那些曾经因为“比人工贵”而被搁置的场景,都必然会被 AI 重做一遍。

我一直有一个观点:AI 每进一步,现实世界的规则就被改写一次。

现在,无论接受与否,豆包1.8已然再度拉低了视觉场景的AI准入门槛。

你是选择主动改写世界,还是站在原地,等着被这个世界改写?