（一）VR播放器项目介绍和到目前为止的工作进展

        今年本人考上研究生&＃xff0c;全景VR视频流媒体播放器设计与实现是我的本科设计&＃xff0c;这个毕设我在考研后就呆在实验室琢磨一个月了&＃xff0c;没动代码&＃xff0c;然后放寒假&＃xff0c;现在开学一个月左右&＃xff0c;这一个月倒是开始着手改进代码&＃xff0c;没错&＃xff0c;你没听错&＃xff0c;改&＃xff0c;不是从头开始&＃xff0c;不是白手起家&＃xff0c;我不是什么大神&＃xff0c;VR又是这一两年这么新的东西&＃xff0c;虽然本科是计算机专业&＃xff0c;但感觉也没学到啥太多&＃xff0c;可能我大学四年太荒废了把&＃xff0c;可偏偏遇到对毕设很严格的导师&＃xff0c;不自己动手研究是不行的&＃xff0c;网上根本找到不到什么参考资料。改了一个月了&＃xff0c;想写写博客&＃xff0c;记录记录&＃xff0c;当作读书笔记把&＃xff0c;以后也好和人吹吹牛皮把。

        VR播放器是基于虚拟现实&＃xff08;VirtualReality VR&＃xff09;技术的播放器&＃xff0c;播放根据视频源文件&＃xff0c;可以播放2D平面及3D全影视频&＃xff0c;基本场景是观影者戴上显示头盔&＃xff08;如HTC Vive&＃xff09;&＃xff0c;在其中通过头部的转动可以看到全景视频的每个方向的图像。同时也能听到来自各个方向的声音&＃xff0c;声音也会随着头部的转动而发生变化。通过这种视频和声音与人的头部转动的配合&＃xff0c;来给人一种身临其境的感觉。360度全景视频是将多视角二维平面视频以360度全景呈现给观赏者的视频&＃xff0c;可达到身临其境再现场景的效果&＃xff0c;本课题需要基于OpenVR和HTC Vive设计和实现对VR视频流媒体高效播放器。

        1输入:全景视频的封装格式&＃xff08;mp4,avi等&＃xff09;或音视频的压缩格式&＃xff08;音&＃xff1a;acc,mp3等&＃xff0c;视&＃xff1a;h.264等&＃xff09;或者音视频的采样(PCM)/像素(RGB or YUV)数据,用ffmpeg实现。
        2映射贴图&＃xff1a;提取视频帧&＃xff0c;以opencv的Mat格式存储帧&＃xff0c;然后对每一帧进行天空盒六面映射。
        3音视频同步&＃xff1a;用ffmpeg实现。
        4显示&＃xff1a;用SDL&＃xff0c;openvr实现在HTC Vive眼镜显示。

        代码a.0&＃xff1a;实验室各位学长学姐的成果&＃xff0c;流程是输入一张全景图片&＃xff0c;生成六张天空盒的图片并且保存下来&＃xff0c;而且全景图在显示屏上显示六分之一&＃xff0c;然后根据上下左右按键可以实现移动视角&＃xff0c;显示屏显示的内容也会跟着移动。
        代码b.0:https://github.com/ValveSoftware/openvr/tree/master/samples/hellovr_opengl 这是一个github上openvr项目的一个样例&＃xff0c;拿过来并不能直接运行。
        代码b.1:实验室一个学长改进了下&＃xff0c;主要是增加了一个SetupRC&＃xff08;&＃xff09;初始化函数&＃xff0c;功能是读取六张天空盒图片&＃xff0c;然后贴图映射绑定啥的&＃xff0c;也删了一些东西&＃xff0c;然后就可以在VR眼镜上显示观看这六张天空盒组成的全景图。

        注&＃xff1a;我的毕设就是在这基础上改进的&＃xff0c;我并不觉得有啥丢人的&＃xff0c;我只是普通人&＃xff0c;我觉得在别人代码上改进也很难&＃xff1b;后面可以的话我会把这原始代码贴上来&＃xff0c;挺大的&＃xff0c;一个两千行的代码&＃xff0c;一个六百行的代码&＃xff0c;当初一个月没动手&＃xff0c;在琢磨&＃xff0c;就是一脸蒙蔽&＃xff0c;完全不懂如何下手这两个代码&＃xff0c;用的语言是C或C&＃43;&＃43;&＃xff0c;但里面基本都是一大坨各种库的函数&＃xff0c;也没有介绍&＃xff0c;反正就是当初看得心累。

1 购买HTC配件并且配置&＃xff1a;https://www.vive.com/cn/product/
            1.1硬件&＃xff1a;两个VIVE定位器&＃xff0c;两个VIVE手柄控制器&＃xff0c;一个头盔眼镜。
            1.2软件&＃xff1a;VIVE软件&＃xff0c;Steam VR

2 VS2017配库文件&＃xff1a;主要是opencv库盒cuda一起编译&＃xff08;用CMake)出一个opencv_cuda库&＃xff08;这一步其实挺麻烦的&＃xff0c;我当初本想把项目移植到我自己的笔记本电脑上&＃xff0c;编译配置过这些库特备麻烦&＃xff0c;后面由于显卡和VR定位器等硬性条件不能移植&＃xff0c;只能在实验室固定电脑上该代码&＃xff09;,以及opengl库&＃xff0c;ffmpeg库&＃xff0c;SDL库一起配置进去&＃xff0c;大部分库配置步骤都是include lib .dll PATH四个方面&＃xff0c;不懂可以自行百度。配完后创建一个项目添加如下代码测试是否报错&＃xff1a;
#include
#include
#include
#if defined( OSX )
#include
#include
#include
#define APIENTRY
#else
#include
#endif
#include
#include
#include
#include
#include "shared/lodepng.h"
#include "shared/Matrices.h"
#include "shared/pathtools.h"
#if defined(POSIX)
#include "unistd.h"
#endif
#ifndef _WIN32
#define APIENTRY
#endif
#ifndef _countof
#define _countof(x) (sizeof(x)/sizeof((x)[0]))
#endif
#include // OpenGL toolkit
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include

注&＃xff1a;这里我默认各位都大概对计算机方面有所了解&＃xff0c;就不具体介绍怎么配置的了。

1把代码a.0改成a.1,实现读取全景视频&＃xff0c;播放全景视频&＃xff0c;上下左右按键移动显示屏视角&＃xff0c;显示屏只有一个窗口&＃xff0c;不是双目窗口。

2把代码a.1改成a.2,主要是封装改进成一个映射贴图函数remap6(),主要功能是把输入一张图片&＃xff0c;输出六张天空盒图片。

3把代码b.1&＃43;a.2改成c.0&＃xff0c;实现读取全景视频,VR眼镜显示全景视频。

456...有待实现&＃xff1a;读取播放音频&＃xff0c;实现音视频同步&＃xff0c;调整播放速度&＃xff0c;增加暂停/播放等功能。

注&＃xff1a;后续会详细介绍1 2 3的实现。