[返回全部研究]() 词元映射研究知识检索 # 基于视觉向量的产品识别与检索 小伙伴们，这一段属实是太忙了，一直想给大家分享一个好东西，但是整个流程比较复杂，一直没能全做成教程。 刚才想了想 可能做成教程还是门槛挺高的，不一定有几个人能跟下来，还不如先分享方法，如果真的比较多的人感兴趣，再仔细研究一个小白级的教程也不晚。 我想给大家说的是，我们在做AI客服的实际业务场景下遇到的问题：就是客户想让AI能够认识他的产品。 这个产品可不是什么知名品牌或者知名产品，只是一个黑盒子，但是这个黑盒子分了很多的型号、版本，不同的型号和版本他们的功能和效用不同。 用户经常也分不清他买的机器是什么型号，所以常常会拍一张照片，然后问，机器连接不上了，咋办。 大概就是这样： ![图片]() 你让用户找型号，是非常难还容易被客诉的事情。那如果是人工，可能看一眼就知道是哪个机器哪个型号了，但是作为AI，他本身并不认识这个东西，也不知道他的型号是什么，纵使知识库里有非常完善的解决方案和答案，但是模型根本就无法匹配到这台机器应该用哪个知识库里的答案。 那这怎么解决呢？ 前一段我发现了火山方舟上架了“向量模型”并且增加了图像检索的模型能力，之前的图像向量化模型并不好用，但是这次使用感觉还真的可以。 因为整个部署有一定门槛，并且客户数据也不能展示，所以我就先拿官方案例让大家了解一下。 ![图片]() 模型不能认识客户产品，无法对应型号，从而导致无法匹配知识库中的产品问题和对应的回答。 所以我们的目标就是让模型能够知道，用户发来的图片，到底是哪一款产品其实就可以了，常规的知识库里已经有了处理方法只是模型不知道用哪一个。 那我们的实现方案就是以下流程： 这个流程图描述了一个基于图像搜索的系统工作流程，具体步骤如下： - 1. **整理已有的产品图**：首先，对已有的产品图片进行整理，为每张图片命名并添加相关信息。 - 2. **图文向量化**：使用“Doubao-embedding-vision”技术对整理好的产品图片进行向量化处理，将图片转换为向量形式。 - 3. **存入向量库**：将向量化后的图片数据存入向量数据库中。 - 4. **用户发送图片**：用户上传一张图片到系统中进行搜索。 - 5. **将图片输入进行检索**：系统将用户上传的图片进行向量化处理，并在向量数据库中进行检索。 - 6. **匹配出近似或者相似的图片**：系统在数据库中匹配出与用户上传图片相似或近似的图片。 - 7. **返回检索结果信息**：最后，系统将匹配到的相似图片信息返回给模型。 ![图片]() 如此一来，当遇到用户用图片问问题的场景时，类似于： ![图片]() 相当于传入向量库进行检索，然后检索出了最相似的产品。 ![图片]() 模型是找对了的，因为我就是拿这个衣服生成的图片，虽然生成的图片有点差异，但是整个库里最接近的也就是这个衣服了。 ![图片]() 那么当我们拿到了相似度较高的图片信息之后，通过相似度，就可以知道，用户发的图片有可能指的是什么了，然后再根据已知的产品信息，再去做知识库的筛选或者进一步的处理就能更好的应对客户发图片的问问题场景了。 最终也就是达成了，让AI客服能够认识自己“产品”的目的。 因为之前我们想解决这个场景的问题要花更高的成本更复杂的方案去解决，现在变得方便又准确。 ![图片]() ## 继续探索 [全部研究]() [!\[图片\]() 模型实测 ### 编程智能体的代码修复轨迹与 Harness 对照 DeepSeek V4 Pro、GLM-5.3 接连更新，豆包推出了 Seed-Evolving，DeepSeek 还发布了自己的 Harness。模型能力在涨，给模型提供工具和执行环境的 Harness 也在进化。]() [!\[图片\]() 模型实测 ### DeepSeek、GLM 与 Kimi 的真实任务对比 说实话，现在的大模型已经多到让人有点选择困难了。]() [!\[图片\]() 模型实测 ### Doubao Seed 2.1 Pro 工程任务实测 6 月 23 日，火山引擎在北京举办 2026 夏季 FORCE 原动力大会，正式发布豆包大模型 2.1。]()