C3D行为识别（一）：UCF101视频数据集预处理

行为识别&＃xff08;一&＃xff09;&＃xff1a;UCF101视频数据集预处理

1 数据集介绍

基于视频的行为识别常见的数据库有UCF101、HMDB-51、Something-Something V2、AVA v2.2、Kinetic-700等。其中UCF101的标记方式是针对一段视频做一个类别的标记&＃xff0c;AVA v2.2的标记共包含五个部分&＃xff0c;video_id&＃xff08;视频名称&＃xff09;、middle_Frame_timestam&＃xff08;关键帧位置&＃xff09;、person_box&＃xff08;视频中人物的边界框&＃xff09;、action_id&＃xff08;动作类别&＃xff09;、person_id&＃xff08;bbox中人物编号&＃xff09;。UCF101是分类的任务&＃xff0c;而AVA v2.2针对的是检测的任务&＃xff0c;更多对AVA v2.2数据集的详细解析可以点击这里。

1.1 UCF101

本文选用的行为识别数据集为UFC101。

UCF数据集包含两个压缩文件&＃xff0c;UCF101.rar和UCF101TrainTestSplits-RecognitionTask.zip&＃xff0c;前者将不同类别的视频存放于不同的文件夹下&＃xff0c;后者存放UCF101数据集的3种训练集与测试集划分方式以及标签文件。其中testlist01.txt和trainlist01.txt对应第一种划分方式。

&＃96;-- ucfTrainTestlist|-- classInd.txt|-- testlist01.txt|-- testlist02.txt|-- testlist03.txt|-- trainlist01.txt|-- trainlist02.txt&＃96;-- trainlist03.txt1 directory, 7 files


• 内含13320 个短视频
• 视频来源&＃xff1a;YouTube
• 视频类别&＃xff1a;101 种
• 主要包括这5大类动作 &＃xff1a;人和物体交互,只有肢体动作&＃xff0c;人与人交互&＃xff0c;玩音乐器材&＃xff0c;各类运动
• 分辨率&＃xff1a;320*240

2 UCF101预处理

2.1 划分train_set和test_set

目的&＃xff1a;将UCF101划分为以下存储结构方式&＃xff08;使用trainlist01.txt和testlist01.txt进行划分&＃xff09;

.
&＃96;-- dataset|-- test| |-- class1| | |-- 01.mp4| | |-- 02.mp4| | |-- 03.mp4| | &＃96;-- 04.mp4| |-- class2| | |-- 01.mp4| | |-- 02.mp4| | |-- 03.mp4| | &＃96;-- 04.mp4| |-- class3| | |-- 01.mp4| | |-- 02.mp4| | |-- 03.mp4| | &＃96;-- 04.mp4| &＃96;-- class4| |-- 01.mp4| |-- 02.mp4| |-- 03.mp4| &＃96;-- 04.mp4&＃96;-- train|-- class1| |-- 01.mp4| |-- 02.mp4| |-- 03.mp4| &＃96;-- 04.mp4|-- class2| |-- 01.mp4| |-- 02.mp4| |-- 03.mp4| &＃96;-- 04.mp4|-- class3| |-- 01.mp4| |-- 02.mp4| |-- 03.mp4| &＃96;-- 04.mp4&＃96;-- class4|-- 01.mp4|-- 02.mp4|-- 03.mp4&＃96;-- 04.mp4


使用到的工具为shutil&＃xff0c;环境为python&＃xff0c;工具pip安装命令为

pip install pytest-shutil


python程序如下&＃xff0c;程序的设计思想是先将testlist01中的文件移到“dataset/test/”路径下&＃xff0c;再将剩下的文件夹重命名为“train”后移到dataset目录下

import shutil
import ostest_src_path &＃61; "T:/Dataset/UCF101/UCF-101/"
test_dest_path &＃61; "T:/Dataset/UCF101/dataset/test/"
train_src_path &＃61; "T:Dataset/UCF101/UCF-101/"
train_src_path_rename &＃61; "T:/Dataset/UCF101/train"
train_dest_path &＃61; "T:/Dataset/UCF101/dataset/"
# move testlist
with open("./UCF101TrainTestSplits/testlist01.txt", encoding&＃61;&＃39;utf-8&＃39;) as f:test_video_paths &＃61; f.readlines()
test_video_paths &＃61; [c.strip() for c in test_video_paths] # 去掉换行符for test_video_path in test_video_paths:if not os.path.exists(os.path.join(test_dest_path, test_video_path[:-4])):os.makedirs(os.path.join(test_dest_path, test_video_path[:-4]))os.rmdir(os.path.join(test_dest_path, test_video_path[:-4]))shutil.move(os.path.join(test_src_path, test_video_path), os.path.join(test_dest_path, test_video_path))# move trainlist
os.rename(train_src_path, train_src_path_rename)
shutil.move(train_src_path_rename, train_dest_path)


2.2 将视频提取为图像

工具&＃xff1a;ffmpeg
ffmpeg下载地址&＃xff1a;https://ffmpeg.org/download.html

压缩ffmpeg-release-essentials.zip到指定目录&＃xff0c;进入bin目录&＃xff0c;里面有三个文件

ffmpeg.exe
ffplay.exe
ffprobe.exe

将这三个文件的路径放到conda创建的python环境中&＃xff0c;和pythonw.exe在同一个路径&＃xff0c;然后打开控制台激活这个python环境&＃xff0c;输入ffmpeg -h命令查看帮助

脚本&＃xff08;extract_frames.sh&＃xff09;&＃xff1a;

IN_DATA_DIR&＃61;"./dataset"
OUT_DATA_DIR&＃61;"./UCF101_frames"if [[ ! -d "${OUT_DATA_DIR}" ]]; thenecho "${OUT_DATA_DIR} doesn&＃39;t exist. Creating it.";mkdir -p ${OUT_DATA_DIR}
fifor dir1 in $(ls -A1 -U ${IN_DATA_DIR})
dofor dir2 in $(ls -A1 -U ${IN_DATA_DIR}/${dir1})dofor video in $(ls -A1 -U ${IN_DATA_DIR}/${dir1}/${dir2})dovideo_name&＃61;${video##*/}if [[ $video_name &＃61; *".webm" ]]; thenvideo_name&＃61;${video_name::-5}elsevideo_name&＃61;${video_name::-4}fiout_video_dir&＃61;${OUT_DATA_DIR}/${dir1}/${dir2}/${video_name}/mkdir -p "${out_video_dir}"out_name&＃61;"${out_video_dir}/${video_name}_%06d.jpg"ffmpeg -i "${IN_DATA_DIR}/${dir1}/${dir2}/${video}" "${out_name}"donedone
done


将脚本放在dataset同一级目录下&＃xff0c;然后在安装有ffmpeg的conda环境下bash执行

./extract_frames.sh