行业知识
一文深度解读多模态大模型视频检索技术的实现与使用
万乐乐｜技术作者
视频检索，俗称“找片儿”，即通过输入一段文本，找出最符合该文本描述的视频。
随着视频社会化趋势以及各类视频平台的快速兴起与发展，「视频检索」越来越成为用户和视频平台实现高效查找视频、定位目标内容的新需求。
对于个人用户而言，面对海量的在线视频资源，快速准确地通过关键词或描述找到感兴趣的视频十分重要。同时，在个人存储设备如手机或网络云盘中，用户也存在检索自己拍摄录制的视频资料的需求。
而对于视频剪辑师和制作团队来说，在庞大的媒资库中搜索所需的视频片段或素材是一项日常基础工作。精准高效的视频检索技术可以满足其在短时间内锁定匹配的素材，有效提升创作效率。
某新媒体编辑网站媒资搜索截图
此外，对于视频平台和监管部门来说，如何在数以亿计的视频库中定位到包含劣迹艺人的视频并下线，也是巨大的挑战。
「视频检索」技术的发展与应用不仅是解决信息过载、提高数据处理效率的有效途径，更是在满足个人用户、专业创作者乃至整个视频行业发展的迫切需要中扮演着至关重要的角色。
本文将回顾视频检索技术的发展历程，并揭秘隐藏在新一代自然语言视频检索技术背后的大模型。
01 视频检索现状
视频检索是怎么实现的？我们以优酷搜片为例，优酷的视频检索技术基于：
• 主要搜索内容为标题与描述；
• 通过多模态内容识别人物、ASR、OCR，转化为文本搜索；
• 具有一定Query理解能力与实体知识匹配（转化为搜索关键词）；
• 具有一定的通过语义理解的Query意图分析（识别诸如How To类问题）。
图片来源：阿里文娱技术团队
上述技术方案的能够满足使用者基本的视频检索需求，但是也存在缺陷：
• 大量视觉信息无法参与检索召回：基于现有多模态算法的搜索，只能识别处于标签体系内的人、物、ASR、OCR等内容，大量视觉信息（比如在蓝天翱翔的飞鸟），无法文本化参与检索。
• 强依赖知识图谱与语义分析：知识图谱的维护与更新、意图理解的能力，均需要不断地投入与更新，使用负担较大。
• 基于关键词的搜索丢失语义联系：以“马老师骑自行车”为例，基于关键词的搜索只能合并搜索“马老师”和“自行车”两个关键词，丢失“骑”这个概念，导致召回偏差。
与此同时，随着时代发展，大家找片子的手法也越来越刁钻。使用者希望不再满足于某个关键词，而是希望使用类似下面的自然语言，去匹配视频本身的内容，而不仅仅是人、物、ASR、OCR可文本化的内容，比如：足球运动员受伤、飞机穿越天门山、春风化雨育桃李......
如果要实现这样智能的搜索效果，应该怎么做呢？我们先来回顾视频检索技术的发展历程。
02 视频检索技术发展历程
第一代：基于文本的传统视频检索
在网络还不发达的时代，计算机对于音视频的处理能力及其有限，媒体数据仅仅被当作是文本数据的扩展。为了能够搜索媒体数据，网站编辑一般会对媒体数据做一次人工编目：取好标题，写好描述，甚至会手动添加若干关键词。
所以，传统的视频检索，本质上是退化为文本检索，通过利用关系型数据库（如mysql）或文本倒排数据库（ElasticSearch）的能力，对文本分词，进行检索排序。
第二代：基于AI标签的跨模态视频检索
随着互联网音视频数据量的日益增长，媒资人工编目已经到了不可持续的地步，必然要求更高生产力技术的引入。
到21世纪10年代，基于CNN架构神经网络的日趋成熟，AI已能简单理解和认识视频中的客观实体，并能通过分类模型给视频分类，此时智能标签技术便应运而生。以阿里云视频云的智能标签技术为例，它能够给视频自动打出以下标签：
• 客观实体：名人/政治人物/敏感人物、地标、Logo
• 场景与动作事件
• 时间、地域、人物等关键词
• 视频类目信息
第二代视频检索技术是在第一代技术的基础上，对视觉、听觉的模态进行了自动分析，将其转化为文本数据，其总体架构仍然未变，仍是基于文本的检索。
第三代：基于大模型的自然语言视频检索
上述搜索依赖于关键字或标签进行内容索引和检索，但这类方法存在明显的限制，尤其是对于非文本内容，如：图片、视频，用有限的标签来描述它们的全面信息是非常困难的。这些标签可能既无法覆盖所有相关的概念，也无法表达内容的细致差异和深层含义。
随着AIGC和所谓的“通用人工智能（AGI）”崛起，尤以大语言模型（LLM）为代表的大模型全面应用为契机，第三代视频检索技术开始成熟。LLM内部包含着人类海量知识的表征，将LLM延展到音视频模态，我们即可实现对媒体数据的表征。
多模态表征大模型能够将文本、图片、音频、视频等内容转换成高维空间中的向量表示，也称为嵌入（embeddings）。这些嵌入可以捕捉到内容的语义信息，并将其映射到一个连续的向量空间内，使得语义上相似的内容在这个向量空间中彼此接近。
大模型检索技术支持自然语言搜索，用户可以用自己的话描述他们想要找的内容，而不是依赖于预先定义好的关键词或标签。通过对自然语言描述的理解，大模型可以将这些描述转换为相应的向量表示，并在高维空间中寻找最匹配的内容。
第三代检索技术的优势在于它的灵活性和表现力。用户不必再局限于有限的关键字，而可以用自己的语言进行更精确和细腻的描述。同时，由于大模型能够理解内容的深层意义，搜索结果通常更加相关和准确，增强了用户体验，并为获取和发现信息提供了更加强大的工具。
例如，一个用户想要找到一张描绘“一个穿着古代盔甲的战士在日落时分静立在山巅”的图片和视频。在传统的基于标签的搜索系统中，用户可能需要尝试各种组合的关键词，比如“战士”、“盔甲”、“日落”、“山巅”等。而在大模型的跨模态检索系统中，用户可以直接输入完整的描述，检索系统会理解其语义并返回匹配的图片和视频。
03 自然语言视频检索上线
阿里云视频云基于达摩院的多模态表征大模型，在点播和智能媒体服务中上线了自然语言视频检索。并结合已有的AI标签检索、人脸检索、图像相似度检索，形成了完整的多模检索解决方案。
自然语言视频检索演示：https://v.youku.com/v_show/id_XNjM2MzE5NTg5Ng==.html
我们当前实现的自然语言视频检索技术，支持性能参数：
• 最大支持10万小时规模的视频中召回相关片段
• 在10QPS搜索速度下RT
