视频搜索会成为新的趋势吗？

以前回到过类似一个问题，先说结论，就像其他答主说的一样，趋势非常明显。听说抖音的搜索UV占比已经超过30%了，虽然其中应该有不少用户是去看抖音热搜，类似微博热榜的行为逻辑，还不能和真正的搜索引擎相提并论。但从UV量级来看已经很夸张了。

其他方面大家讲了很多，和大家分享下视频搜索命令的更具体的产品和技术挑战。这两年因为工作的关系，我们自己的业务以直播为主，从直播中迭代出电商讲解短视频，从产品和技术上踩了不少坑。

首先，内容在哪里，搜索就在哪里，而内容视频化后，有两个值得重视的问题。

1. 大部分视频内容生态，都是围绕推荐场景，创作者都很少考虑搜索的特点，即结构化特别弱，即SEO远远不足。对于原先以图文内容物料类型为主的搜索技术提出了新的挑战。

   
   



2. 搜索场景中，用户侧获取信息的效率变的更重要了，而视频流式的获取信息方式是线性时间序列，反而低效。

   
   

举几个例子：

对于电商商品来讲，商品标题是非常重要的，下面两张图片一个是我们蘑菇街的商品图，一个是淘宝ifashion的。由于我们大部分的商品都是来自于直播之后的讲解视频，有很多商品的标题就非常简单，更详细的信息藏在的视频流里面。而商品标题对于搜索非常重要，就会对召回产生比较大的影响。这就导致用户搜一些搭配，明明有非常优质的讲解，但是经常搜不出来。

再看下抖音的搜索，举例抖音是因为大部分抖音的视频是没有封面的，而且泛娱乐、泛品类的搜索场景，视频封面能起到的作用非常有限。因此在产品设计上，只能尽快的让搜到的视频自动播放起来，就需要采用这种单列横条式的下拉设计，无法使用双列瀑布流（一屏四个视频动起来会让用户很懵逼）。

对于搜索算法，比如我们电商场景，天然适合多模态学习，用户在接受内容平台的教育后，搜索用词上也表现出更内容化的搜索倾向，比如我们top query中会有很多梨型身材怎么搭、野餐风等等，由于主播本身都是网红，非常熟悉用户的需求场景和网络用语，在讲解过程会大量的穿插着类似的内容，且表达非常口语化，让原先从标题、属性、tag中抽取词用户召回策略表现不好。

比如服装中的穿搭、适合什么场合穿，都必须能够有效的从视频中结构化出来，再对query侧做较好的用户理解，才能够比较好的满足用户体验。

总而言之，该场景非常适合多模态。实践中，一开始我们比较关注语音转文本。ASR技术比较成熟，虽然主播口语化比较严重，和网易那边合作做了几版修正，识别效果还不错。增加ASR TEXT后，召回明显扩大，相关性下降的厉害，主要原因是讲解过程中主播个人发挥比较随性。下一步增加了图片，由于视频流处理起来比较费资源，我们将视频取关键帧得到图片再处理，大概的方案架构如下。

多模态的实际调参过程比较痛苦，目前还远未达到预期的目标，但已经对搜索体验帮助很大。

除了技术上，产品本身也有很多值得创新的部分。商品视频化后，约等于详情页视频化，那么原先基于图文为主的视频化设计方案就不再使用。手机屏幕空间有限，做了各种尝试，目前主要留下了下图中的结构：

在搜索结果页，由于同质化的内容难以区分，很多用户应该有感觉，搜索结果页的第一条很多时候不如被推荐到的好。告诉用户这条视频符合搜索预期就变的比较重要，除了产品样式上的设计，针对视频做精华片段提取，然后做自动播放，也值得尝试。

总而言之，在实践的过程发现挑战很大。而我们的业务只是在垂直的电商领域，相信泛内容平台的搜索挑战更大。如果大家是youtube重度用户，应该有所体验它的搜索其实也做得一般，经常会有关注和推荐的内容质量很高，但是搜不到。

再一次，任重而道远！

如果觉得有用，就请分享到朋友圈吧！

对白的算法屋

一位本科创业赚数百万的清华小哥哥，BAT算法工程师。日常分享AI前沿算法、创业心得和人生感悟。偶尔逗比，一直正能量！ 关键词：机器学习、深度学习、推荐系统、自然语言处理

41篇原创内容

公众号

你好，我是对白，清华计算机硕士毕业，现大厂算法工程师，拿过8家大厂算法岗SSP offer（含特殊计划），薪资40+W-80+W不等。

本科独立创业五年，两家公司创始人，拿过三百多万元融资(已到账)，项目入选南京321高层次创业人才引进计划。创业做过无人机、机器人和互联网教育，保研清华后退居股东。

我每周至少更新三篇原创，分享人工智能前沿算法、创业心得和人生感悟。我正在努力实现人生中的第二个小目标，上方关注后可以加我微信交流****。