[返回全部研究]() 词元映射研究模型实测 # 豆包 1.8 长视频理解与自动剪辑实测 **今天，豆包大模型 1.8 正式发布。** 这是字节跳动最新发布的主力模型，官方定位非常明确：**重点提升多模态 Agent 能力**。 它不仅限于是陪你聊天的机器人，而是要帮企业真刀真枪干活——比如构建日常办公 Agent、数据分析 Agent、甚至复杂的视频创作 Agent。 ![图片展示了Agent能力和多模态理解能力的对比数据。左侧Agent能力部分，列举了数字、推理、多智能体等能力，如数字能力中，Doubloo Seed-1.8在GPT-3 High下得分为94.6，而Bento-3-pro为95.0等。右侧多模态理解能力部分，包含多模态速度、最复杂图像理解、图像推理等能力，如多模态速度中，Doubloo Seed-1.8在MMU-Pro下得分为78.3，而Cloud -Summit-4.0为68.0等。该图与上下文介绍的模型能力升级相关，直观呈现了其在不同能力上的表现。]() 本次模型的核心升级点： - Agent 能力提升： 大幅增强工具调用（Tool Use）、长文和多轮指令遵循，甚至具备了 OS Agent 的落地能力（直接操作屏幕）。 - 多模态理解跃升： 单次视频理解帧数从 640 帧提升至 1280 帧（1秒1帧可支持20分钟，低帧率模式支持更久）。 - 推理更“精益”： 思考长度可调节，Tokens 消耗更少，但逻辑更稳。 ![图片为多模态模型评测对比表，展示了教育、客服、金融、法律、审核等场景下GPT - 5 High、Claude - Sonnet - 4.5、Gemini - 3 - pro、Doubao - Seed - 1.8、Doubao - Seed - 1.6 - 1015、Qwen - V1 - 23b - a22b - thinking - high等模型的表现。其中，Doubao - Seed - 1.8在多个场景中表现突出，如教育场景下得分为60.8，客服场景下得分为69.0等。该图与上下文紧密相关，直观呈现了模型在不同场景下的评测结果，辅助说明文档中提及的模型核心升级点。]() 之前评测模型，我们一贯是用十几个 Case 测试它在不同场景下的表现。但说实话，Case 太多太碎，大家看着累，往往看完也记不住重点。 更重要的是，**真实的业务场景不是碎片化的问答，而是连续的、复杂的长链路任务。** 所以这次，因为提前拿到 1.8 内测的时间比较充裕，我决定做一个相对复杂的 Demo。我们只看这一个 Case，来深度感受一下豆包 1.8 的能力升级。 为了完全体现豆包 1.8 的原生能力，这个工作流 Demo 全程在字节的 IDE Trae 中运行，没有添加任何额外的外挂逻辑。 这里是运行的全程录屏，原长30分钟，为了节省大家时间，下边是10倍速版本： [视频]() 这个任务非常简单粗暴： 扔给模型一场 54分钟 的足球赛全场回放，让它像一个专业导播一样，看完比赛，理解剧情，然后自己操作剪辑软件，剪出一条集锦。 由于目前 1.8 还没有正式上线，Trae 里暂时不支持直接上传视频。为了让视频能够传给豆包1.8，并且完全只使用1.8的能力，所以我手搓了三个 MCP工具，来保证模型独立： 1、一个是火山引擎TOS的MCP，负责把五十多分钟的视频传到储存桶里，然后从储存桶里拿到视频地址，给到豆包1.8。 2、做了一个火山引擎视频点播工具VOD的MCP，能力是让豆包1.8可以调用剪辑工具对视频进行剪辑和拼接。 3、然后为了使用到原生的豆包1.8，所以我又额外加了一个MCP，这个MCP就只负责调用豆包1.8模型。 整个过程就是：在 Trae 里以豆包 1.8 作为 Agent 主脑，指挥这三个 MCP 工具协同作战。 这里有个技术细节需要解释一下： 细心的朋友可能会在视频里发现 MCP 被多次调用。这是因为模型识别长视频返回的时间太长（之前尝试过一次返回近15分钟），会导致 Trae 的 MCP 响应超时。 为了保持连接活跃，我把返回内容做了切分——前端看到的是多次刷新，但后台其实是豆包 1.8 在一帧一帧地硬啃这几千帧画面。 以上是测试背景，整个视频切了上千帧，豆包1.8是一帧一帧硬啃下来的，全程都没有因为模型的错误而中断过。 这是任务要求的提示词，我先放到这里： ``` Role: 智能体育赛事视频剪辑导演 1. 任务背景 你需要处理一段时长约54分钟的足球赛事回放视频，并利用MCP工具将其剪辑成一段专业、高燃的赛事精华短片。 赛事信息： “抖音足球嘉年华”广西站决赛（2025年3月31日，贵港市体育中心）。 核心事件： 决赛： 北海凌峰廉州府队 2:0 贵港联合队（夺冠）。 明星表演赛： 老友粉队（米卢、孙杨、王濛、马明宇等） vs 猛涨粉队（王楚淇等）。 目标： 输出识别日志、剪辑脚本及最终成片。 2. 核心资源 注意：以下文件均为本地绝对路径，请直接引用路径字符串。 视频源文件： `/e:/git/doubao2/娱乐赛.mp4 :` 背景音乐： /e:/git/doubao2/背景音乐living-for-today.mp3 3. 执行步骤 (分步说明) 第一步：工具能力自检 调用相关 MCP 工具，查询并列出“VOD剪辑服务”的具体参数要求（如转场代码、变速指令）。 同时确认“视频内容分析工具”的输入参数格式。 第二步：视频内容深度分析 操作指令： 调用视觉分析 MCP 工具，为了防止MCP超时，根据MCP要求多次调用获取输出。 参数输入： 直接使用本地路径 /e:/git/豆包/Lvideo/娱乐赛.mp4 作为输入参数。 禁止事项： 不要在此步骤上传视频，不要尝试获取 vid。如果工具报错，请优先检查路径格式，而不是去上传视频。 分析重点： 进球与比分： 进球瞬间（球网晃动）、庆祝动作、比分牌跳变。 明星捕捉： 米卢、孙杨、王濛、马明宇的面部特写及动作。 高燃镜头： 拼抢、射门、扑救、捧杯、观众欢呼。 输出交付： 生成 <视频内容识别日志.txt>，包含精确的 Start Time - End Time 和内容描述。 第三步：生成剪辑脚本 (Script Generation) 基于日志和赛事背景编写脚本，逻辑如下： Intro： 氛围空镜 + 激昂前奏。 明星 Highlight： 孙杨/王濛等人的趣味/高光瞬间（快剪）。 决赛 Climax： 北海队两粒进球全过程 + 夺冠捧杯。 最终交付： 剪辑完成的完整视频链接。 ``` 模型在拿到要求后，制定了计划： ![图片展示的是视频剪辑任务的待办事项。内容包括：完成10次视频分段分析，建立完整时间日志；整合分析结果，生成视频内容全量日志；设计剪辑脚本，生成VOD剪辑执行方案；检查VOD空间，创建或确认可用空间；上传视频和音频资源到VOD空间；构建剪辑参数，提交剪辑任务；查询剪辑任务进度，获取最终结果。该图片与文档中视频剪辑任务的流程说明相关，是对任务步骤的详细罗列。]() 接下来我们看几处细节的输出，我截取10段中其中一段的分析，把它输出的 JSON 格式日志转成了表格。大家可以快速扫一眼，或者直接滑到表格下方看结论： 绝对时间（秒） | 持续时长（秒） | 事件分类 | 详细描述 | 324.7-329.8 | 5.1 | 空镜（球场） | 老友粉队门将开球，双方球员在本方后场、中场站位接球准备推进 | 329.8-334.8 | 5.0 | 比赛进程 | 白队球员接球后进行中场传递，逐步向前推进 | 334.8-339.9 | 5.1 | 比赛进程 | 白队继续中场控球传递，绿队球员落位防守 | 339.9-345.0 | 5.1 | 比赛进程 | 球传递至老友粉队门将脚下，门将准备开球 | 345.0-350.0 | 5.0 | 比赛进程 | 门将开球后绿队中场接球，开始组织前场进攻 | 350.0-355.1 | 5.1 | 比赛进程 | 绿队中场球员送出长传球，将球输送至前场 | 355.1-360.2 | 5.1 | 比赛进程 | 绿队前场球员接球后沿边路突破下底，准备传中 | 360.2-365.3 | 5.1 | 比赛进程 | 绿队边路传中被白队防守球员破坏出底线，绿队获得角球机会 | 365.3-370.4 | 5.1 | 明星特写 | 完成传中的绿队进攻球员慢跑回位的特写镜头 | 370.4-375.4 | 5.0 | 比赛进程 | 绿队球员准备开角球，双方球员在禁区内卡位争抢头球 | 375.4-380.5 | 5.1 | 比赛进程 | 绿队开出角球，禁区内双方球员争抢头球，白队将球解围 | 380.5-385.6 | 5.1 | 比赛进程 | 头球解围后白队球员在禁区前沿控球，准备组织反击 | 385.6-390.6 | 5.0 | 明星特写 | 白队孙杨的场上特写，他正在跑动回防 | 390.6-395.7 | 5.1 | 比赛进程 | 绿队球员在禁区外尝试远射，射门角度较偏未能命中球门范围 | 395.7-400.8 | 5.1 | 比赛进程 | 白队门将将球拿到后，准备开球发起进攻 | 400.8-405.9 | 5.1 | 进球回放 | 慢动作回放刚才绿队球员禁区外远射的完整过程 | 405.9-410.9 | 5.0 | 明星特写 | 绿队69号球员特写，他露出对射门偏出的无奈表情 | 410.9-416.0 | 5.1 | 进球回放 | 继续慢动作回放刚才绿队的远射镜头 | 416.0-421.1 | 5.1 | 进球回放 | 慢动作回放足球擦着白队球门立柱偏出的瞬间 | 421.1-426.2 | 5.1 | 明星特写 | 绿队进攻球员特写，他面带远射偏出的遗憾表情 | 426.2-431.2 | 5.0 | 比赛进程 | 白队门将开球，中场球员接球后进行传递 | 431.2-436.3 | 5.1 | 比赛进程 | 绿队中场完成断球，随即组织前场反击推进 | 436.3-441.4 | 5.1 | 比赛进程 | 绿队前场球员打出短传配合，尝试撕开白队防线 | 441.4-446.4 | 5.1 | 比赛进程 | 绿队边路球员将球传中至禁区内，寻找队友抢点 | 446.4-451.5 | 5.1 | 精彩扑救 | 绿队69号球员禁区内接球射门，被白队门将侧身挡出 | 451.5-456.6 | 5.1 | 明星特写 | 绿队69号球员特写，他露出射门被挡的可惜表情 | 456.6-461.7 | 5.1 | 明星特写 | 白队戴反帽、戴眼镜的球员特写，他在场上跑动面带轻松的笑容 | 461.7-466.7 | 5.0 | 精彩扑救回放 | 慢动作回放刚才白队门将挡出绿队射门的瞬间 | 466.7-471.8 | 5.1 | 空镜（赛事包装） | 抖音足球嘉年华广西站的赛事片头空镜 | 471.8-476.9 | 5.1 | 明星特写 | 白队戴反帽球员特写，他在场上调整呼吸和状态 | 476.9-482.0 | 5.1 | 比赛进程 | 绿队再次准备开角球，双方球员在禁区内重新站位 | 482.0-487.0 | 5.0 | 比赛进程 | 绿队开出角球，禁区内绿队球员头球攻门，球偏出球门 | 487.0-492.1 | 5.1 | 明星特写 | 完成头球攻门的绿队球员特写，他露出攻门偏出的遗憾表情 | 492.1-497.2 | 5.1 | 明星特写 | 绿队球员特写，抬手调整自己的球衣领口 | 497.2-502.2 | 5.0 | 比赛进程 | 白队门将开球，中场球员接球后进行传递 | 502.2-507.3 | 5.1 | 比赛进程 | 白队中场球员送出长传球，向前场输送进攻球权 | 507.3-512.4 | 5.1 | 比赛进程 | 绿队中场完成断球，随即发起快速反击向前推进 | 512.4-517.5 | 5.1 | 比赛进程 | 绿队前场球员快速推进，白队球员全速回追防守 | 517.5-522.6 | 5.1 | 明星特写 | 白队孙杨的场上特写，他回防跑动时面带笑容 | 522.6-527.6 | 5.0 | 比赛进程 | 绿队前场球员被白队多名球员包夹，球权被断 | 527.6-532.7 | 5.1 | 比赛进程 | 绿队再次完成中场断球，重新组织前场进攻 | 532.7-537.8 | 5.1 | 比赛进程 | 绿队前场球员沿边路带球突破下底，准备传中 | 537.8-542.8 | 5.1 | 比赛进程 | 绿队边路传中至禁区内，抢点球员射门偏出球门 | 542.8-547.9 | 5.1 | 比赛进程 | 射门出底线，白队门将准备开球 | 547.9-553.0 | 5.1 | 明星特写 | 绿队进攻球员特写，他露出射门偏出的失落表情 | 553.0-558.0 | 5.0 | 比赛进程 | 白队门将开球，中场球员接球传递 | 558.0-563.1 | 5.1 | 比赛进程 | 白队中场球员送出长传球，向前场输送球权 | 563.1-568.2 | 5.1 | 比赛进程 | 绿队前场球员接球后回传中场，重新组织进攻 | 568.2-573.3 | 5.1 | 比赛进程 | 绿队中场送出长传球，向前场输送进攻球权 | 573.3-578.4 | 5.1 | 比赛进程 | 白队门将出击拿到球，准备开球发起进攻 | 578.4-583.4 | 5.0 | 比赛进程 | 绿队前场球员接球后带球向前推进 | 583.4-588.5 | 5.1 | 比赛进程 | 绿队中场球员将球传给前场队友，推进进攻 | 588.5-593.6 | 5.1 | 比赛进程 | 绿队前场球员尝试远射，球被白队门将稳稳拿到 | 593.6-598.6 | 5.1 | 比赛进程 | 白队门将开球，球被踢出边线 | 598.6-603.7 | 5.1 | 比赛进程 | 白队球员掷边线球，中场球员接球后传递 | 603.7-608.8 | 5.1 | 比赛进程 | 白队中场送出长传球，向前场输送进攻球权 | 608.8-613.8 | 5.0 | 比赛进程 | 绿队后场球员接球后回传给门将，重新组织进攻 | 613.8-618.9 | 5.1 | 比赛进程 | 绿队门将开球，中场球员接球传递 | 618.9-624.0 | 5.1 | 比赛进程 | 绿队中场球员将球传给边路队友，发起边路进攻 | 624.0-629.1 | 5.1 | 比赛进程 | 绿队边路球员准备传球，白队防守球员落位封堵传球路线 | 629.1-634.2 | 5.1 | 比赛进程 | 绿队边路传球被白队球员破坏，球出边线 | 634.2-639.2 | 5.0 | 明星特写 | 绿队11号球员跪地特写，他显得疲惫且带有进攻未果的遗憾 | 639.2-644.3 | 5.1 | 空镜（赛事包装） | 抖音足球嘉年华广西站的赛事片尾空镜 | 从这个输出里其实已经展现了当前顶尖视觉模型在高精度、细粒度视频内容分析上的强大能力。 **第一：精准的事件识别能力：** - 它能准确识别出足球比赛中的核心事件，如：`角球`、`远射`、`传中`、`头球攻门`、`扑救`、`掷边线球`、`断球`等。 - 它还能区分不同的镜头类型，如`比赛进程`、`明星特写`、`空镜`、`进球回放`、`精彩扑救回放`，这对于视频内容分析至关重要。 **第二：丰富的细节捕捉：** 模型捕捉到了很多人类观察者才会注意的细节，例如：“白队戴反帽、戴眼镜的球员特写”，“绿队球员特写，抬手调整自己的球衣领口”，“绿队11号球员跪地特写，他显得疲惫且带有进攻未果的遗憾” 这说明模型不仅在看“球在哪里”，还在观察“球员在做什么”、“表情如何”。 **第三：基本的战术逻辑追踪：** 模型能够大致跟上比赛的攻防转换。例如，从“门将开球”到“中场传递”再到“向前推进”，这个逻辑链条是清晰的。它知道球权在白队和绿队之间切换。 最终的日志输出里记录的进球时刻，我验证了两个，也都是对的： - 1. **第1个进球**：1164.0-1167.0秒（第19分24秒）- 猛涨粉队球员禁区内射门得分，比分0-1 ![图片展示的是一个足球比赛场景。画面中，猛涨粉队和老友粉队球员在绿茵场上对峙，猛涨粉队球员身穿绿色球衣，老友粉队球员身穿白色球衣。比分显示为0 - 0，比赛时间是19:16。画面右下角有时间戳“00:19:24.05”和“00:54:06.23”。该图片与文档中对进球时刻验证的内容相关，可能是用于辅助验证进球时刻的视频画面。]() - 1. **第2个进球**：2612.6-2617.7秒（第43分33秒）- 老友粉队黑皮肤球员进球，比分1-1 ![图片展示的是足球比赛场景，老友粉队0 - 1猛涨粉队，比赛进行到30分11秒。画面中，猛涨粉队球员在禁区内射门得分，比分变为0 - 1。画面右下角显示当前时间为00:43:32.09，还有00:54:06.23的总时长。画面中还有其他球员在场地上奔跑，背景有观众席和广告牌。该图片与上下文提到的进球时刻验证相关，直观呈现了进球瞬间。]() 以下是他的输出，我没有一一验证，抽查了几个前后偏差不超过2s，大家有兴趣可以自己验证一下： ``` 明星球员特写 - 米卢：654.4-659.3秒、1044.0-1050.0秒、1262.0-1267.0秒、1648.8-1671.5秒、2534.8-2549.8秒、2825.7-2835.8秒、2942.4-2947.4秒、2993.1-2998.2秒 - 孙杨：59.1-63.2秒、303.1-307.2秒、385.6-390.6秒、517.5-522.6秒、854.4-869.3秒、1247.0-1252.0秒、1967.0-1972.0秒、2272.8-2277.8秒、2658.3-2668.4秒 - 王濛：979.0-989.0秒 高光时刻 - 精彩扑救：446.4-451.5秒、2112.0-2122.0秒、2912.0-2917.0秒 - 激烈拼抢：2092.0-2102.0秒、2362.8-2399.8秒 - 精妙配合：1115.0-1164.0秒、2856.1-2876.4秒 ``` **注意：这些都是在一个极长的单次千帧输入的情况下完成的。** **关于“超长上下文”的体验，**我和豆包的算法同学交流过，他们提到模型内置了“上下文自动压缩”能力。 虽然技术上不是绝对的无限 Context，但在实际体验中，它能从第 1 分钟记到第 54 分钟。对于开发者来说，这种“伪无限”体验已经足够解决大部分长视频理解的业务痛点。 如果说上面的视觉理解是“基本功”，那么接下来的这一幕，体现了什么是 Agent。 在生成完剪辑脚本后，豆包需要调用 VOD MCP 工具来进行实际的视频裁剪和拼接。VOD工具里边支持的能力很多，参数相对也比较复杂，在我的测试中，只有Claude是一次性完全调用成功的。 在视频中也可以看到，豆包1.8果然在进行到VOD时发生了上传失败。 ![图片]() 但是，豆包1.8在挨个尝试了均无法使用之后（因为这三个都是我手动创建的，有权限）。 豆包1.8做了一个很像人类工程师的动作：**它读取了报错信息，然后“思考”了一下，决定自己创建。** 最终，调用成功，剪辑完成。 ![图片展示了豆包1.8在视频上传过程中遇到问题及解决的对话记录。先是因内部错误尝试使用第四个VOD空间，接着因视频上传多次失败，决定创建新VOD空间，最终新空间创建成功并上传视频文件。之后上传音频文件成功，更新任务列表并开始构建剪辑参数。该图片与上下文紧密相关，直观呈现了豆包1.8在面对异常问题时的主动思考和多次尝试过程。]() 我录制这一次之前 ，有尝试过多次，总是能看到1.8模型在面对异常问题时的主动思考和多次尝试，豆包1.8的Agent能力是有明显提升的。 ![图片]() ### 最后：从 Demo 看门道 回到最初的问题，为什么我用 54 分钟的长视频 + 3 个 MCP 工具 + 全程无人工干预来测试？ **因为这才是企业级 Agent 真实的落地场景。** 在这个Demo里，豆包1.8其实跨越了三座大山： - 超长上下文的“大海捞针”： 从几千帧画面里，精准捞出“孙杨笑了”或者“69号球员懊恼”的瞬间。这验证了它 1280 帧 的单次视频理解能力。 - 复杂工具链的“自我修复”： 从 OSS 取文件 -> 视觉分析 -> 生成脚本 -> VOD 剪辑。中间任何一个环节断掉，任务就会失败。豆包 1.8 展现出了Agent的错误处理能力。 - 多模态与逻辑的融合： 它不是把视频翻译成文字就结束了，它是理解了规则、理解了情绪，并将其转化为可执行的代码。 而且豆包一直都是超高性价比的模型。 **总而言之，豆包1.8带来了更低的Token消耗和更强的多模态理解，意味着处理视频、长文档这类高价值数据的成本大幅降低了，视觉场景的业务，变得更可落地了，更具有商业可行性了。** 过去这一年，很多场景我们面对客户不是“做不了”，而是“不划算”。 当智能的成本越过人工成本的红线，那些曾经因为“比人工贵”而被搁置的场景，都必然会被 AI 重做一遍。 **我一直有一个观点：AI 每进一步，现实世界的规则就被改写一次。** 现在，无论接受与否，豆包1.8已然再度拉低了视觉场景的AI准入门槛。 **你是选择主动改写世界，还是站在原地，等着被这个世界改写？** ## 继续探索 [全部研究]() [!\[图片\]() 模型实测 ### 编程智能体的代码修复轨迹与 Harness 对照 DeepSeek V4 Pro、GLM-5.3 接连更新，豆包推出了 Seed-Evolving，DeepSeek 还发布了自己的 Harness。模型能力在涨，给模型提供工具和执行环境的 Harness 也在进化。]() [!\[图片\]() 模型实测 ### DeepSeek、GLM 与 Kimi 的真实任务对比 说实话，现在的大模型已经多到让人有点选择困难了。]() [!\[图片\]() 模型实测 ### Doubao Seed 2.1 Pro 工程任务实测 6 月 23 日，火山引擎在北京举办 2026 夏季 FORCE 原动力大会，正式发布豆包大模型 2.1。]()