【视频分类】3DResNetsPyTorch复现

参考代码&＃xff1a;

https://github.com/kenshohara/3D-ResNets-PyTorch

0.环境

ubuntu16.04
python3.6
cuda9.0# pip install
torch&＃61;&＃61;1.1.0
joblib
pandas
h5py
torchvision# apt install
apt-get -y install ffmpeg

1.数据准备

1.1 下载数据

官网&＃xff1a;https://www.crcv.ucf.edu/data/UCF101.php,下面有两处是我们需要的。第一处是avi数据&＃xff0c;第二处是分训练集与测试集的。

UCF101视频分类数据集&＃xff1a;http://www.crcv.ucf.edu/datasets/human-actions/ucf101/UCF101.rar

新建data目录&＃xff0c;解压UCF101.rar文件到其中&＃xff1a;

apt-get install unrar
unrar x UCF101.rar

下载第二处数据https://www.crcv.ucf.edu/data/UCF101/UCF101TrainTestSplits-DetectionTask.zip。放到自己想放的地方&＃xff0c;我是放到data目录下。

1.2 视频生成图片

修改代码&＃xff08;参考此处https://github.com/kenshohara/3D-ResNets-PyTorch/issues/202&＃xff09;&＃xff1a;

# line 18
p &＃61; subprocess.run(ffprobe_cmd, capture_output&＃61;True)
# 改为
p &＃61; subprocess.run(ffprobe_cmd, stdout&＃61;PIPE, stderr&＃61;PIPE)

运行命令&＃xff0c;视频生成jpg文件&＃xff1a;

python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101eg&＃xff1a;
python -m util_scripts.generate_video_jpgs "/root/avi_video_dir_path" "/root/jpg_video_dir_path" dataset&＃61;"ucf101"


大概这个过程需要花1个小时以内。

1.3 生成json文件

python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path# eg:python -m util_scripts.ucf101_json "/root/data/ucfTrainTestlist" "/root/data/UCF101_jpg/" "/root/data/UCF101_json"


2.准备预训练模型

https://drive.google.com/drive/folders/1zvl89AgFAApbH0At-gMuZSeQB_LpNP-M

3.文件结构

dataUCF101_videosApplyEyeMakeup...YoYoUCF101_jpgApplyEyeMakeup...YoYoUCF101_jsonucf101_01.jsonUCF101_txtclassInd.txttestlist01.txttestlist02.txttestlist03.txttrainlist01.txttrainlist02.txttrainlist03.txtmodelsresnet-50-kinetics.pthresults

4.finetuning for mutil-gpu

此处遇到“RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cuda:1”问题&＃xff0c;已经尝试修改两天了&＃xff0c;暂缓一下。

下载好了多gpu训练的模型&＃xff0c;需要多gpu优化才行&＃xff0c;否则会报模型的参数名称不对应的问题。

修改代码&＃xff1a;

# model.py
# line 100pretrain &＃61; torch.load(pretrain_path, map_location&＃61;&＃39;cpu&＃39;)if torch.cuda.device_count() > 1:# 如果有多个GPU&＃xff0c;将模型并行化&＃xff0c;用DataParallel来操作。这个过程会将key值加一个"module. ***"。model &＃61; nn.DataParallel(model)model.load_state_dict(pretrain[&＃39;state_dict&＃39;])tmp_model &＃61; modelif model_name &＃61;&＃61; &＃39;densenet&＃39;:tmp_model.classifier &＃61; nn.Linear(tmp_model.classifier.in_features,n_finetune_classes)elif model_name !&＃61; &＃39;densenet&＃39; and torch.cuda.device_count() > 1:tmp_model.fc &＃61; nn.Linear(tmp_model.module.fc.in_features,n_finetune_classes)else:tmp_model.fc &＃61; nn.Linear(tmp_model.fc.in_features,n_finetune_classes)

如果指定gpu从0开始的话&＃xff0c;下面的"cuda:0"&＃xff1b;如果从1开始&＃xff0c;设置“cuda:1”。

# main.py
opt.device &＃61; torch.device(&＃39;cpu&＃39; if opt.no_cuda else &＃39;cuda&＃39;)# 指定为
opt.device &＃61; torch.device(&＃39;cpu&＃39; if opt.no_cuda else &＃39;cuda:0&＃39;)
# or
opt.device &＃61; torch.device(&＃39;cpu&＃39; if opt.no_cuda else &＃39;cuda:1&＃39;)


CUDA_VISIBLE_DEVICES&＃61;&＃39;0,1,2,3&＃39; python main.py --root_path ./data --video_path ucf101_jpg/ --annotation_path ucf101_json/ucf101_01.json \
--result_path results --dataset ucf101 --n_classes 101 --n_pretrain_classes 400 \
--pretrain_path models/resnet-50-kinetics.pth --ft_begin_module fc \
--model resnet --model_depth 50 --batch_size 128 --n_threads 4 --checkpoint 5

如果出现共享内存不足的话&＃xff0c;修改 --n_threads 1&＃xff0c;或者更小。如果还有问题的话&＃xff0c;参考我的另外一篇博客&＃xff0c;将对应代码添加到运行代码的前面。https://blog.csdn.net/qq_35975447/article/details/107287614

5.训练

python main.py --root_path ./data --video_path ucf101_jpg/ --annotation_path ucf101_json/ucf101_01.json \
--result_path results --dataset ucf101 --n_classes 101 --model resnet --model_depth 50 --batch_size 128 \
--n_threads 4 --checkpoint 5

如果出现共享内存不足的话&＃xff0c;修改 --n_threads 1&＃xff0c;或者更小。如果还有问题的话&＃xff0c;参考我的另外一篇博客&＃xff0c;将对应代码添加到运行代码的前面。https://blog.csdn.net/qq_35975447/article/details/107287614

终端显示结果&＃xff1a;

batch_size&＃61;32时&＃xff0c;大概需要7GB显存吧。