阿里云探访，新零售电商想要百尺竿头的一次技术尝试

移动互联网时代以来&＃xff0c;人工智能&＃xff08;AI&＃xff09;技术不断发展和完善&＃xff0c;已逐步从实验室走向实用&＃xff0c;不断展现出巨大的商业潜力。其中计算机视觉AI技术已成为发展最快应用最广的AI技术&＃xff0c;并开始在各行各业落地开花&＃xff0c;推动各行业不断升级&＃xff0c;逐步走向智能时代。例如&＃xff0c;在深度学习技术的推动下&＃xff0c;人脸识别已经落地到多个行业场景中&＃xff0c;比如刷脸支付&＃xff0c;安防监控等。电商行业也是视觉AI技术典型的应用场景&＃xff0c;如何提升用户的购物体验&＃xff0c;如何为用户快速匹配其最需要的商品&＃xff0c;如何帮助商家快速吸引用户的注意&＃xff0c;如何帮助平台降低运营成本。视觉AI技术在一个个具体问题中大展身手&＃xff0c;不断推动行业升级。本文将会通过解析AlibabaWood视频生产工具的算法来介绍视觉AI技术在新零售电商领域中的应用。

新零售视觉5G时代&＃xff0c;视频将逐步成为信息传播和分享的主要媒介&＃xff0c;视频内容必将成为展示商品的主要途径。通过调研发现&＃xff0c;电商&＃xff0c;社交&＃xff0c;直播等平台以及普通用户对视频内容进行创作需求强烈。在电商平台&＃xff0c;投放商品视频展示可以增加信息传播途径提升引流曝光&＃xff0c;使得商品展示更吸睛&＃xff0c;提升点击以及购买转化。针对同一商品&＃xff0c;是否投放视频展示对各关键指标影响非常大&＃xff0c;如下图所示。

图1 单一商品图像款对比视频款


但是&＃xff0c;制作营销视频的门槛并不低&＃xff0c;专业视频制作团队成本高&＃xff0c;周期长。这对于对于需要快速上线大量新品的头部品牌或者是大量的中小商家来说并不划算。短视频制作的门槛已经成为新零售电商的一个痛点。为了解决这一问题&＃xff0c;阿里云利用达摩院的视觉AI技术推出了AlibabaWOOD制作短视频制作工具&＃xff0c;任何人都可以通过AlibabaWOOD一键生成电商营销短视频。极大的提升了营销视频制作效率&＃xff0c;使得商家可以迅速提升店铺的视频覆盖率。

AlibabaWOOD介绍

AlibabaWOOD是阿里云为了提升电商营销视频制作效率和质量而推出的工具。传统的批量视频制作通常依赖于设计师提前制作的固定模板&＃xff0c;因此&＃xff0c;大批量生产的视频通常千篇一律&＃xff0c;缺乏感染力。为了解决这一问题&＃xff0c;AlibabaWOOD充分利用目前最先进的AI技术&＃xff0c;抛弃了死板的视频模板&＃xff0c;而是通过智能分析用户输入的音视频素材以及用户需求&＃xff0c;一键生成符合投放场景的营销短视频&＃xff0c;从分析、设计到最后的编码输出用时不超过一分钟&＃xff0c;远远超过人类制作视频的速度。并且&＃xff0c;得益于AI技术的应用&＃xff0c;AlibabaWOOD可以做到视频风格和内容千人千面&＃xff0c;无论是时尚风、科技风还是土味视频&＃xff0c;AlibabaWOOD都可以从容应对。下图展示了AlibabaWOOD智能生成视频的核心流程&＃xff0c;下一章节也会对其中的核心AI技术进行解析。

图2 AlibabaWOOD智能视频生成流程


AlibabaWOOD核心AI技术解析

素材解析能力

• 素材质量评估/理解

AlibabaWood利用最新的深度学习技术以及线上海量的电商图像视频数据&＃xff0c;自研了素材质量评估模型和素材内容理解模型&＃xff0c;质量评估模型可以快速准确的滤除不适合制作视频的图像视频素材&＃xff0c;保证输出视频的质量。而内容理解模型能够为智能编排模块提供全方位的素材标签&＃xff0c;方便为素材精确匹配智能特效&＃xff0c;如下图所示&＃xff1a;

图3 素材质量评估


• 故事线生成
作为智能编排核心技术&＃xff0c;故事线生成模型充分利用素材标签以及美学和吸引力评分&＃xff0c;结合影视行业规范等先验知识&＃xff0c;可以针对不同类型的图像视频素材推荐不同的素材排序故事线&＃xff0c;如下图所示。使得生成的视频运镜更加合理&＃xff0c;并更具吸引力和感染力。

图5 故事线生成示例


• 视频摘要
通过学习大量在线营销视频摘要模式&＃xff0c;AlibabaWood适配不同视频类别的视频剪辑手法&＃xff0c;能够对用户输入的视频素材进行镜头分割&＃xff0c;并根据投放场景选择最佳视频片段进行剪辑。

图6 视频摘要示例


智能特效

• 音画联动
视频节奏感可以提升观看视频的舒适性。通过智能分析音频节奏点和视频内容的视觉“节奏点”&＃xff0c;然后通过视频插帧技术实现视频播放速率的非线性变换&＃xff0c;从而实现音视频节奏点的完美匹配&＃xff0c;使得视频中的人物能够随音乐舞动&＃xff0c;极大的提升了视频内容的吸引力。

• 静转动
为了增强静态素材主体内容的吸引力&＃xff0c;AlibabaWood在自研图像分割能力的基础上推出静转动等智能特效&＃xff0c;这一能力可以自动识别模特展示图像&＃xff0c;然后对模特主体进行抠图&＃xff0c;再对前景和背景内容加入滑动变焦效果&＃xff0c;将静态图像转化为动态的视频内容&＃xff0c;使得内容展示更加生动&＃xff0c;并凸显主体信息。下一代静转动技术可以使得运镜效果更符合透视原理&＃xff0c;并让图像中模特的肢体真正动起来。

图8 图像分割示例


多镜头静转动.mp4

图9 静转动示例


• 转场等特效智能推荐
AlibabaWood联合设计师打造了可以根据素材内容自动匹配的转场动画特效体系。使得生成的视频动效更加丰富、更加个性化&＃xff0c;真正做到千人千面。

Alibabawood产品效果展示

淘宝商品1.mp4

617685864154 (1).mp4

打造自己的AlibabaWOOD&＃xff01;

阿里云视觉AI开发者创意应用赛向社会各界免费开放所有视觉AI技术接口&＃xff0c;邀请全社会的企业打造属于自己的AlibabaWood。开发者可以任意使用达摩院的技术打磨自己的产品&＃xff0c;或者将自己的产品在大赛中展出&＃xff0c;作为主办方&＃xff0c;阿里云将会为优秀的作品对接创业资源和孵化环境&＃xff0c;更有总计近百万的奖金和奖品等你来拿。