今天,豆包大模型 1.8 正式发布。
这是字节跳动最新发布的主力模型,官方定位非常明确:重点提升多模态 Agent 能力。
它不仅限于是陪你聊天的机器人,而是要帮企业真刀真枪干活——比如构建日常办公 Agent、数据分析 Agent、甚至复杂的视频创作 Agent。

本次模型的核心升级点:
- Agent 能力提升: 大幅增强工具调用(Tool Use)、长文和多轮指令遵循,甚至具备了 OS Agent 的落地能力(直接操作屏幕)。
- 多模态理解跃升: 单次视频理解帧数从 640 帧提升至 1280 帧(1秒1帧可支持20分钟,低帧率模式支持更久)。
- 推理更“精益”: 思考长度可调节,Tokens 消耗更少,但逻辑更稳。

之前评测模型,我们一贯是用十几个 Case 测试它在不同场景下的表现。但说实话,Case 太多太碎,大家看着累,往往看完也记不住重点。
更重要的是,真实的业务场景不是碎片化的问答,而是连续的、复杂的长链路任务。
所以这次,因为提前拿到 1.8 内测的时间比较充裕,我决定做一个相对复杂的 Demo。我们只看这一个 Case,来深度感受一下豆包 1.8 的能力升级。
为了完全体现豆包 1.8 的原生能力,这个工作流 Demo 全程在字节的 IDE Trae 中运行,没有添加任何额外的外挂逻辑。
这里是运行的全程录屏,原长30分钟,为了节省大家时间,下边是10倍速版本:
这个任务非常简单粗暴: 扔给模型一场 54分钟 的足球赛全场回放,让它像一个专业导播一样,看完比赛,理解剧情,然后自己操作剪辑软件,剪出一条集锦。
由于目前 1.8 还没有正式上线,Trae 里暂时不支持直接上传视频。为了让视频能够传给豆包1.8,并且完全只使用1.8的能力,所以我手搓了三个 MCP工具,来保证模型独立:
1、一个是火山引擎TOS的MCP,负责把五十多分钟的视频传到储存桶里,然后从储存桶里拿到视频地址,给到豆包1.8。
2、做了一个火山引擎视频点播工具VOD的MCP,能力是让豆包1.8可以调用剪辑工具对视频进行剪辑和拼接。
3、然后为了使用到原生的豆包1.8,所以我又额外加了一个MCP,这个MCP就只负责调用豆包1.8模型。
整个过程就是:在 Trae 里以豆包 1.8 作为 Agent 主脑,指挥这三个 MCP 工具协同作战。
这里有个技术细节需要解释一下:
细心的朋友可能会在视频里发现 MCP 被多次调用。这是因为模型识别长视频返回的时间太长(之前尝试过一次返回近15分钟),会导致 Trae 的 MCP 响应超时。 为了保持连接活跃,我把返回内容做了切分——前端看到的是多次刷新,但后台其实是豆包 1.8 在一帧一帧地硬啃这几千帧画面。
以上是测试背景,整个视频切了上千帧,豆包1.8是一帧一帧硬啃下来的,全程都没有因为模型的错误而中断过。
这是任务要求的提示词,我先放到这里:
Role: 智能体育赛事视频剪辑导演
1. 任务背景
你需要处理一段时长约54分钟的足球赛事回放视频,并利用MCP工具将其剪辑成一段专业、高燃的赛事精华短片。
赛事信息: “抖音足球嘉年华”广西站决赛(2025年3月31日,贵港市体育中心)。
核心事件:
决赛: 北海凌峰廉州府队 2:0 贵港联合队(夺冠)。
明星表演赛: 老友粉队(米卢、孙杨、王濛、马明宇等) vs 猛涨粉队(王楚淇等)。
目标: 输出识别日志、剪辑脚本及最终成片。
2. 核心资源
注意:以下文件均为本地绝对路径,请直接引用路径字符串。
视频源文件: `/e:/git/doubao2/娱乐赛.mp4 :`
背景音乐: /e:/git/doubao2/背景音乐living-for-today.mp3
3. 执行步骤 (分步说明)
第一步:工具能力自检
调用相关 MCP 工具,查询并列出“VOD剪辑服务”的具体参数要求(如转场代码、变速指令)。
同时确认“视频内容分析工具”的输入参数格式。
第二步:视频内容深度分析
操作指令: 调用视觉分析 MCP 工具,为了防止MCP超时,根据MCP要求多次调用获取输出。
参数输入: 直接使用本地路径 /e:/git/豆包/Lvideo/娱乐赛.mp4 作为输入参数。
禁止事项: 不要在此步骤上传视频,不要尝试获取 vid。如果工具报错,请优先检查路径格式,而不是去上传视频。
分析重点:
进球与比分: 进球瞬间(球网晃动)、庆祝动作、比分牌跳变。
明星捕捉: 米卢、孙杨、王濛、马明宇的面部特写及动作。
高燃镜头: 拼抢、射门、扑救、捧杯、观众欢呼。
输出交付: 生成 <视频内容识别日志.txt>,包含精确的 Start Time - End Time 和内容描述。
第三步:生成剪辑脚本 (Script Generation)
基于日志和赛事背景编写脚本,逻辑如下:
Intro: 氛围空镜 + 激昂前奏。
明星 Highlight: 孙杨/王濛等人的趣味/高光瞬间(快剪)。
决赛 Climax: 北海队两粒进球全过程 + 夺冠捧杯。
最终交付: 剪辑完成的完整视频链接。模型在拿到要求后,制定了计划:

接下来我们看几处细节的输出,我截取10段中其中一段的分析,把它输出的 JSON 格式日志转成了表格。大家可以快速扫一眼,或者直接滑到表格下方看结论:
绝对时间(秒) | 持续时长(秒) | 事件分类 | 详细描述 |
324.7-329.8 | 5.1 | 空镜(球场) | 老友粉队门将开球,双方球员在本方后场、中场站位接球准备推进 |
329.8-334.8 | 5.0 | 比赛进程 | 白队球员接球后进行中场传递,逐步向前推进 |
334.8-339.9 | 5.1 | 比赛进程 | 白队继续中场控球传递,绿队球员落位防守 |
339.9-345.0 | 5.1 | 比赛进程 | 球传递至老友粉队门将脚下,门将准备开球 |
345.0-350.0 | 5.0 | 比赛进程 | 门将开球后绿队中场接球,开始组织前场进攻 |
350.0-355.1 | 5.1 | 比赛进程 | 绿队中场球员送出长传球,将球输送至前场 |
355.1-360.2 | 5.1 | 比赛进程 | 绿队前场球员接球后沿边路突破下底,准备传中 |
360.2-365.3 | 5.1 | 比赛进程 | 绿队边路传中被白队防守球员破坏出底线,绿队获得角球机会 |
365.3-370.4 | 5.1 | 明星特写 | 完成传中的绿队进攻球员慢跑回位的特写镜头 |
370.4-375.4 | 5.0 | 比赛进程 | 绿队球员准备开角球,双方球员在禁区内卡位争抢头球 |
375.4-380.5 | 5.1 | 比赛进程 | 绿队开出角球,禁区内双方球员争抢头球,白队将球解围 |
380.5-385.6 | 5.1 | 比赛进程 | 头球解围后白队球员在禁区前沿控球,准备组织反击 |
385.6-390.6 | 5.0 | 明星特写 | 白队孙杨的场上特写,他正在跑动回防 |
390.6-395.7 | 5.1 | 比赛进程 | 绿队球员在禁区外尝试远射,射门角度较偏未能命中球门范围 |
395.7-400.8 | 5.1 | 比赛进程 | 白队门将将球拿到后,准备开球发起进攻 |
400.8-405.9 | 5.1 | 进球回放 | 慢动作回放刚才绿队球员禁区外远射的完整过程 |
405.9-410.9 | 5.0 | 明星特写 | 绿队69号球员特写,他露出对射门偏出的无奈表情 |
410.9-416.0 | 5.1 | 进球回放 | 继续慢动作回放刚才绿队的远射镜头 |
416.0-421.1 | 5.1 | 进球回放 | 慢动作回放足球擦着白队球门立柱偏出的瞬间 |
421.1-426.2 | 5.1 | 明星特写 | 绿队进攻球员特写,他面带远射偏出的遗憾表情 |
426.2-431.2 | 5.0 | 比赛进程 | 白队门将开球,中场球员接球后进行传递 |
431.2-436.3 | 5.1 | 比赛进程 | 绿队中场完成断球,随即组织前场反击推进 |
436.3-441.4 | 5.1 | 比赛进程 | 绿队前场球员打出短传配合,尝试撕开白队防线 |
441.4-446.4 | 5.1 | 比赛进程 | 绿队边路球员将球传中至禁区内,寻找队友抢点 |
446.4-451.5 | 5.1 | 精彩扑救 | 绿队69号球员禁区内接球射门,被白队门将侧身挡出 |
451.5-456.6 | 5.1 | 明星特写 | 绿队69号球员特写,他露出射门被挡的可惜表情 |
456.6-461.7 | 5.1 | 明星特写 | 白队戴反帽、戴眼镜的球员特写,他在场上跑动面带轻松的笑容 |
461.7-466.7 | 5.0 | 精彩扑救回放 | 慢动作回放刚才白队门将挡出绿队射门的瞬间 |
466.7-471.8 | 5.1 | 空镜(赛事包装) | 抖音足球嘉年华广西站的赛事片头空镜 |
471.8-476.9 | 5.1 | 明星特写 | 白队戴反帽球员特写,他在场上调整呼吸和状态 |
476.9-482.0 | 5.1 | 比赛进程 | 绿队再次准备开角球,双方球员在禁区内重新站位 |
482.0-487.0 | 5.0 | 比赛进程 | 绿队开出角球,禁区内绿队球员头球攻门,球偏出球门 |
487.0-492.1 | 5.1 | 明星特写 | 完成头球攻门的绿队球员特写,他露出攻门偏出的遗憾表情 |
492.1-497.2 | 5.1 | 明星特写 | 绿队球员特写,抬手调整自己的球衣领口 |
497.2-502.2 | 5.0 | 比赛进程 | 白队门将开球,中场球员接球后进行传递 |
502.2-507.3 | 5.1 | 比赛进程 | 白队中场球员送出长传球,向前场输送进攻球权 |
507.3-512.4 | 5.1 | 比赛进程 | 绿队中场完成断球,随即发起快速反击向前推进 |
512.4-517.5 | 5.1 | 比赛进程 | 绿队前场球员快速推进,白队球员全速回追防守 |
517.5-522.6 | 5.1 | 明星特写 | 白队孙杨的场上特写,他回防跑动时面带笑容 |
522.6-527.6 | 5.0 | 比赛进程 | 绿队前场球员被白队多名球员包夹,球权被断 |
527.6-532.7 | 5.1 | 比赛进程 | 绿队再次完成中场断球,重新组织前场进攻 |
532.7-537.8 | 5.1 | 比赛进程 | 绿队前场球员沿边路带球突破下底,准备传中 |
537.8-542.8 | 5.1 | 比赛进程 | 绿队边路传中至禁区内,抢点球员射门偏出球门 |
542.8-547.9 | 5.1 | 比赛进程 | 射门出底线,白队门将准备开球 |
547.9-553.0 | 5.1 | 明星特写 | 绿队进攻球员特写,他露出射门偏出的失落表情 |
553.0-558.0 | 5.0 | 比赛进程 | 白队门将开球,中场球员接球传递 |
558.0-563.1 | 5.1 | 比赛进程 | 白队中场球员送出长传球,向前场输送球权 |
563.1-568.2 | 5.1 | 比赛进程 | 绿队前场球员接球后回传中场,重新组织进攻 |
568.2-573.3 | 5.1 | 比赛进程 | 绿队中场送出长传球,向前场输送进攻球权 |
573.3-578.4 | 5.1 | 比赛进程 | 白队门将出击拿到球,准备开球发起进攻 |
578.4-583.4 | 5.0 | 比赛进程 | 绿队前场球员接球后带球向前推进 |
583.4-588.5 | 5.1 | 比赛进程 | 绿队中场球员将球传给前场队友,推进进攻 |
588.5-593.6 | 5.1 | 比赛进程 | 绿队前场球员尝试远射,球被白队门将稳稳拿到 |
593.6-598.6 | 5.1 | 比赛进程 | 白队门将开球,球被踢出边线 |
598.6-603.7 | 5.1 | 比赛进程 | 白队球员掷边线球,中场球员接球后传递 |
603.7-608.8 | 5.1 | 比赛进程 | 白队中场送出长传球,向前场输送进攻球权 |
608.8-613.8 | 5.0 | 比赛进程 | 绿队后场球员接球后回传给门将,重新组织进攻 |
613.8-618.9 | 5.1 | 比赛进程 | 绿队门将开球,中场球员接球传递 |
618.9-624.0 | 5.1 | 比赛进程 | 绿队中场球员将球传给边路队友,发起边路进攻 |
624.0-629.1 | 5.1 | 比赛进程 | 绿队边路球员准备传球,白队防守球员落位封堵传球路线 |
629.1-634.2 | 5.1 | 比赛进程 | 绿队边路传球被白队球员破坏,球出边线 |
634.2-639.2 | 5.0 | 明星特写 | 绿队11号球员跪地特写,他显得疲惫且带有进攻未果的遗憾 |
639.2-644.3 | 5.1 | 空镜(赛事包装) | 抖音足球嘉年华广西站的赛事片尾空镜 |
从这个输出里其实已经展现了当前顶尖视觉模型在高精度、细粒度视频内容分析上的强大能力。
第一:精准的事件识别能力:
- 它能准确识别出足球比赛中的核心事件,如:
角球、远射、传中、头球攻门、扑救、掷边线球、断球等。 - 它还能区分不同的镜头类型,如
比赛进程、明星特写、空镜、进球回放、精彩扑救回放,这对于视频内容分析至关重要。
第二:丰富的细节捕捉:
模型捕捉到了很多人类观察者才会注意的细节,例如:“白队戴反帽、戴眼镜的球员特写”,“绿队球员特写,抬手调整自己的球衣领口”,“绿队11号球员跪地特写,他显得疲惫且带有进攻未果的遗憾”
这说明模型不仅在看“球在哪里”,还在观察“球员在做什么”、“表情如何”。
第三:基本的战术逻辑追踪:
模型能够大致跟上比赛的攻防转换。例如,从“门将开球”到“中场传递”再到“向前推进”,这个逻辑链条是清晰的。它知道球权在白队和绿队之间切换。
最终的日志输出里记录的进球时刻,我验证了两个,也都是对的:
- 1. 第1个进球:1164.0-1167.0秒(第19分24秒)- 猛涨粉队球员禁区内射门得分,比分0-1

- 1. 第2个进球:2612.6-2617.7秒(第43分33秒)- 老友粉队黑皮肤球员进球,比分1-1

以下是他的输出,我没有一一验证,抽查了几个前后偏差不超过2s,大家有兴趣可以自己验证一下:
明星球员特写
- 米卢:654.4-659.3秒、1044.0-1050.0秒、1262.0-1267.0秒、1648.8-1671.5秒、2534.8-2549.8秒、2825.7-2835.8秒、2942.4-2947.4秒、2993.1-2998.2秒
- 孙杨:59.1-63.2秒、303.1-307.2秒、385.6-390.6秒、517.5-522.6秒、854.4-869.3秒、1247.0-1252.0秒、1967.0-1972.0秒、2272.8-2277.8秒、2658.3-2668.4秒
- 王濛:979.0-989.0秒
高光时刻
- 精彩扑救:446.4-451.5秒、2112.0-2122.0秒、2912.0-2917.0秒
- 激烈拼抢:2092.0-2102.0秒、2362.8-2399.8秒
- 精妙配合:1115.0-1164.0秒、2856.1-2876.4秒注意:这些都是在一个极长的单次千帧输入的情况下完成的。
关于“超长上下文”的体验,我和豆包的算法同学交流过,他们提到模型内置了“上下文自动压缩”能力。 虽然技术上不是绝对的无限 Context,但在实际体验中,它能从第 1 分钟记到第 54 分钟。对于开发者来说,这种“伪无限”体验已经足够解决大部分长视频理解的业务痛点。
如果说上面的视觉理解是“基本功”,那么接下来的这一幕,体现了什么是 Agent。
在生成完剪辑脚本后,豆包需要调用 VOD MCP 工具来进行实际的视频裁剪和拼接。VOD工具里边支持的能力很多,参数相对也比较复杂,在我的测试中,只有Claude是一次性完全调用成功的。
在视频中也可以看到,豆包1.8果然在进行到VOD时发生了上传失败。

但是,豆包1.8在挨个尝试了均无法使用之后(因为这三个都是我手动创建的,有权限)。
豆包1.8做了一个很像人类工程师的动作:它读取了报错信息,然后“思考”了一下,决定自己创建。
最终,调用成功,剪辑完成。

我录制这一次之前 ,有尝试过多次,总是能看到1.8模型在面对异常问题时的主动思考和多次尝试,豆包1.8的Agent能力是有明显提升的。

最后:从 Demo 看门道
回到最初的问题,为什么我用 54 分钟的长视频 + 3 个 MCP 工具 + 全程无人工干预来测试?
因为这才是企业级 Agent 真实的落地场景。
在这个Demo里,豆包1.8其实跨越了三座大山:
- 超长上下文的“大海捞针”: 从几千帧画面里,精准捞出“孙杨笑了”或者“69号球员懊恼”的瞬间。这验证了它 1280 帧 的单次视频理解能力。
- 复杂工具链的“自我修复”: 从 OSS 取文件 -> 视觉分析 -> 生成脚本 -> VOD 剪辑。中间任何一个环节断掉,任务就会失败。豆包 1.8 展现出了Agent的错误处理能力。
- 多模态与逻辑的融合: 它不是把视频翻译成文字就结束了,它是理解了规则、理解了情绪,并将其转化为可执行的代码。
而且豆包一直都是超高性价比的模型。
总而言之,豆包1.8带来了更低的Token消耗和更强的多模态理解,意味着处理视频、长文档这类高价值数据的成本大幅降低了,视觉场景的业务,变得更可落地了,更具有商业可行性了。
过去这一年,很多场景我们面对客户不是“做不了”,而是“不划算”。
当智能的成本越过人工成本的红线,那些曾经因为“比人工贵”而被搁置的场景,都必然会被 AI 重做一遍。
我一直有一个观点:AI 每进一步,现实世界的规则就被改写一次。
现在,无论接受与否,豆包1.8已然再度拉低了视觉场景的AI准入门槛。
你是选择主动改写世界,还是站在原地,等着被这个世界改写?


