随着中国联通和互联网的快速发展，手机已经成为人们的新器官。 出门不带钥匙可以，但不带手机绝对不可以出门。 在手机上，小型相机越来越成为所有“视频博主”的袖珍魔方。 每晚都有超过数亿张照片和视频上传至百度云盘。 这些照片和视频大部分是用户自己拍摄或收集的，涵盖的主题和内容广泛，包括人物、风景、动物、地标等。 他们记录生活，也通过灵感和创意展现生活。 然而，由于此类图像资源数量庞大、类型多样网盘搜索引擎软件，其管理和搜索成为用户面临的一大挑战。

“真是太难找了！”

在与用户的交流中，“找照片的过程很郁闷”引起了大家的共鸣。 虽然云盘在云端提供了很大的空间用于照片存储，但经过基本分类搜索后的照片仍然如汪洋大海。 有时候为了找到记忆中“闪现”的照片，需要在时间轴上滑动很长时间。

“如果我能通过关键词直接获取照片，比如我今年春天在海滩的照片，那就太好了。”

去做就对了。

云盘的技术朋友们开始广泛监督市面上的图片搜索功能。 研究发现，目前大多数图像搜索方法都是基于标签的。 这往往需要用户自动或借助人工智能帮助添加标签或关键字进行搜索和匹配。 然而，由于一张图片往往具有多种不同的内容和特征，标签的限制意味着用户只能在有限的范围内添加少量标签，例如简单的“猫”、“日出”等，这使得难以完整描述图片的内容和特征。 因此，现有的图像搜索无法响应用户日益复杂的图像描述。

“我们应该做什么？” 用户问我们这个，我们也问自己这个。

“精准、精准、精准”

话不多说，我们来看看优化后的实际效果。

从“鸟”到“沙滩上的鸟”，从“海边”定位到“我在海边”，从“宝宝”精准到“带宝宝散步”……

百度云盘想要实现的是从“面”到“线”甚至到“点”的精准移动。

为了解决这个问题，百度云盘推出了基于自然语言的图像内容语义检索方法。 这些方法使用深度学习和人工智能技术将每个图像转换为矢量表示。 因此网盘搜索引擎软件，通过估计语言向量和视觉向量之间的关系，基于图像之间的相似度进行搜索和匹配。 由于矢量表示比传统标签更加丰富，可以有效实现人们用自然语言搜索图片的目的。

“为什么要用向量？” 相信这也是很多“旅行者”的疑问。

与传统的标签搜索方法相比，基于向量的语义检索具有以下优点：

为此，在百度云盘团队的努力下，我们真正实现了“精准、精准、精准”，图片搜索不再那么“难”。

有了“AI”，我们更“爱”搜索

实际的技术产品化过程并不顺利，我们遇到了很多问题，这也是为什么业内很多相册管理工具都没有提供类似的功能。 从立项、效果验证到产品化，我们花了四个多月的时间，直到2022年8月底上线与大家见面。 “怎么做？” “如何理解自然语言”“能否更快地搜索”……这些都是我们和用户都关心的问题。

▎可搜索

比如“穿鞋的猫”、“穿正装的照片”等，通过传统的标签搜索很难找到。 因此，我们选择语义向量。 无论是OpenAI开源的CLIP，还是百度自研的融合场景图知识的多模态预训练模型VIMER-ViLP，都擅长解决语义匹配问题。

该方法的核心原理是将检索到的文本和个人图像数据映射到同一语义向量空间，文本和个人图像数据向量之间的距离越近，相似度越高。 这样我们就可以利用向量检索来实现在英文文本中查找对应图片的功能。 与传统的先标注再搜索关键词的方法相比，基于语义的检索方案直接实现端到端的语义匹配，从而防止语义丢失。

图像与文本语义相似度描述

▎搜索准确

在云盘用户的实际搜索中，我们发现用户存在复杂的多维度组合查询需求。 例如：今年我在看一张海南海滩日出的照片。 它包含时间、地点、人物等信息，超出了语义向量的能力边界。 语义向量很难准确判断时间和地点，也很难知道你是谁。

不过，经常拍照的用户应该会说，“我们手机拍的照片里有拍摄时间、经度、经度等相关信息！”

是的，正是通过提取这些元信息，我们将经度转换为实际的街道名称和地名，以准确匹配时间和位置。

“那你怎么认出我是谁？”

别担心，虽然识别“你是谁”相对复杂，但我们也找到了解决方案。 在百度云盘上备份过照片的用户应该都知道智能分类。 我们会将照片中出现的同一个人的照片聚合起来，您可以自己给这个人贴上标签，比如“我自己”、“宝贝”等，我们会根据这个标签来搜索人物。 有了这些信息，我们就可以对时间、地点、人物和事件的组合进行复杂的搜索。 回到前面的反例，“去年我在海南海滩看日出”。 当我们收到这个请求时，首先会解析出其中包含的各个元素：

其中，时间、地点、人物可以使用范围查询或关键词查询来实现，storm适合使用语义向量来实现。 通过这样的组合查询，我们最终可以得到用户想要的结果。

有用户反映，图片结果太落后了，“找图片时总是要滚动几次才能看到它们，这确实很困难。”

因此，我们降低了对用户搜索意图的了解。 如果我们识别出您正在查找图片，我们会将图片的返回结果放在顶部。

▎快速搜索

解决了功效问题后，新的挑战又出现了：如何将技术变成用户可以使用的产品？ 由于成本太高、效率太低，很多相册应用并没有向用户开放这些功能。

严重地！

影响速度的环节有很多。 整个过程中，我们首先需要提前估计出用户图片的向量并建立索引。 那么在查询的时候，我们就可以快速分析用户的查询，完成图片向量的检索。 最后，对结果进行排序并呈现给用户。 在这个过程中我们遇到了很多挑战：

端云一体化搜索架构

■端+云组合：

■结束本地索引优化：

为了节省用户本地索引存储并尽可能减少估计量，我们对索引进行了大量的压缩。 经过优化后，虽然图像大小达到10w，但矢量检索速率也可以达到ms（纳秒）级别，并且最终结果返回的延迟可以控制在秒级。

终端+云矢量检索流程如右图所示：

请求云端估计文本“黄猫”的特征向量和LSH（Locality-SensitiveHashing）编码；

估计文本和图像LSH编码的等维，找到等维超过阈值的图像子集

A。 这里使用的LSH编码具有以下特点：相同维度越多，向量相似的概率就越高。

b. 这样我们就找到了一批与查询文本向量高度相似的图像子集，可以节省后续向量相似度估计的次数。

在候选图像子集中，估计图像向量与文本向量的相似度，并根据相似度从最高层返回。

■异构算力调度：

除了每晚新增的十亿级数据估算向量特征外，我们还需要不断估算用户存量数据。 为了让有紧急需求的用户尽快使用该功能，我们还提供了申请加速激活中间图搜索的通道，并优先为申请的用户提供估算数据。 为了利用所有可估计的资源来加速治疗效果的估计，我们开发了调度系统，可以统一管理CPU、GPU等异构资源，充分利用闲置资源以最快的速度覆盖更多的用户。