【进阶篇】命令行参数使用案例

导语

本周起将推送【使用指南—进阶篇】推文。在进阶篇&＃xff0c;我们将向您介绍PaddlePaddle的使用说明、开发标准、模型配置等内容。在使用进阶篇推文之前&＃xff0c;请参考安装与编译部分推文完成PaddlePaddle的安装

本周推文目录如下&＃xff1a;

周一&＃xff1a;【进阶篇】命令行参数细节描述

周二&＃xff1a;【进阶篇】命令行参数使用案例

周三&＃xff1a;【进阶篇】在不同的集群框架下完成分布式训练

周四&＃xff1a;【进阶篇】编译 PaddlePaddle 预测库

周五&＃xff1a;【进阶篇】C-API 使用流程

编写&＃xff5c;PaddlePaddle

排版&＃xff5c;wangp

 1 

本地训练

本地训练的实验&＃xff0c;诸如图像分类&＃xff0c;自然语言处理等&＃xff0c;通常都会使用下面这些命令行参数

paddle train \

  --use_gpu&＃61;1/0 \                       

#1:GPU,0:CPU(默认为1)

  --config&＃61;network_config \

  --save_dir&＃61;output \

  --trainer_count&＃61;COUNT \               

 #(默认为1)

  --test_period&＃61;M \                      

#(默认为0) 

  --num_passes&＃61;N \                     

  #(默认为100)

  --log_period&＃61;K \                       

#(默认为100)

  --dot_period&＃61;1000 \                   

 #(默认为1)

  #[--show_parameter_stats_period&＃61;100] \ 

#(默认为0)

  #[--saving_period_by_batches&＃61;200] \    

#(默认为0)

根据你的任务&＃xff0c;可以选择是否使用参数show_parameter_stats_period 和saving_period_by_batches

1) 将命令参数传给网络配置

config_args是一个很有用的参数&＃xff0c;用于将参数传递给网络配置&＃xff1a;

--config_args&＃61;generating&＃61;1,beam_size&＃61;5,

layer_num&＃61;10 \

get_config_arg可用于在网络配置中解析这些参数&＃xff0c;如下所示&＃xff1a;

generating &＃61; get_config_arg(&＃39;generating&＃39;, bool, False)

beam_size &＃61; get_config_arg(&＃39;beam_size&＃39;,int, 3)

layer_num &＃61; get_config_arg(&＃39;layer_num&＃39;, int, 8)

get_config_arg&＃xff1a;

get_config_arg(name, type, default_value)

---name: --config_args中指定的名字

---type: 值类型&＃xff0c;包括bool, int, str, float等

---default_value: 默认值

2) 使用模型初始化网络

增加如下参数&＃xff1a;

--init_model_path&＃61;model_path

--load_missing_parameter_strategy&＃61;rand

 2 

本地测试

方法一&＃xff1a;

paddle train --job&＃61;test \

             --use_gpu&＃61;1/0 \ 

             --config&＃61;network_config \

             --trainer_count&＃61;COUNT \ 

             --init_model_path&＃61;model_path \

---使用init_model_path指定测试的模型

---只能测试单个模型

方法二&＃xff1a;

paddle train --job&＃61;test \

             --use_gpu&＃61;1/0 \ 

             --config&＃61;network_config \

             --trainer_count&＃61;COUNT \ 

             --model_list&＃61;model.list \

---使用model_list指定测试的模型列表

---可以测试多个模型&＃xff0c;文件model.list如下所示&＃xff1a;

./alexnet_pass1

./alexnet_pass2

方法三&＃xff1a;

paddle train --job&＃61;test \

             --use_gpu&＃61;1/0 \

             --config&＃61;network_config \

             --trainer_count&＃61;COUNT \

             --save_dir&＃61;model \

             --test_pass&＃61;M \

             --num_passes&＃61;N \

这种方式必须使用Paddle存储的模型路径格式&＃xff0c;如&＃xff1a;model/pass-%5d。测试的模型包括从第M轮到第N-1轮存储的所有模型。例如&＃xff0c;M&＃61;12&＃xff0c;N&＃61;14这种写法将会测试模型model/pass-00012 和 model/pass-00013

 3 

稀疏训练

当输入是维度很高的稀疏数据时&＃xff0c;通常使用稀疏训练来加速计算过程。例如&＃xff0c;输入数据的字典维数是1百万&＃xff0c;但是每个样本仅包含几个词。在Paddle中&＃xff0c;稀疏矩阵的乘积应用于前向传播过程&＃xff0c;而稀疏更新在反向传播之后的权重更新时进行

1) 本地训练

用户需要在网络配置中指定sparse_update&＃61;True。请参照网络配置的文档了解更详细的信息

2) 集群训练

在集群上训练一个稀疏模型需要加上下面的参数。同时用户需要在网络配置中指定sparse_remote_update

&＃61;True。请参照网络配置的文档了解更详细的信息

--ports_num_for_sparse&＃61;1   

 #(默认为0)

 4 

parallel_nn

用户可以设置parallel_nn来混合使用GPU和CPU计算网络层的参数。也就是说&＃xff0c;你可以将网络配置成某些层使用GPU计算&＃xff0c;而其他层使用CPU计算。另一种方式是将网络层划分到不同的GPU上去计算&＃xff0c;这样可以减小GPU内存&＃xff0c;或者采用并行计算来加速某些层的更新

如果你想使用这些特性&＃xff0c;你需要在网络配置中指定设备的ID号(表示为deviceId)&＃xff0c;并且加上下面的命令行参数:

--parallel_nn&＃61;true

案例一&＃xff1a;GPU和CPU混合使用

请看下面的例子&＃xff1a;

#command line:

paddle train --use_gpu&＃61;true --parallel_nn&＃61;true trainer_count&＃61;COUNT

default_device(0)

fc1&＃61;fc_layer(...)

fc2&＃61;fc_layer(...)

fc3&＃61;fc_layer(...,layer_attr&＃61;ExtraAttr(device&＃61;-1))

default_device(0): 设置默认设备号为0。这意味着除了指定device&＃61;-1的层之外&＃xff0c;其他所有层都会使用GPU计算&＃xff0c;每层使用的GPU号依赖于参数trainer_count和gpu_id(默认为0)。在此&＃xff0c;fc1和fc2层在GPU上计算

device&＃61;-1: fc3层使用CPU计算

trainer_count:

---trainer_count&＃61;1: 如果未设置gpu_id&＃xff0c;那么fc1和fc2层将会使用第1个GPU来计算。否则使用gpu_id指定的GPU

---trainer_count>1: 在trainer_count个GPU上使用数据并行来计算某一层。例如&＃xff0c;trainer_count&＃61;2意味着0号和1号GPU将会使用数据并行来计算fc1和fc2层

案例二&＃xff1a;在不同设备上指定层

#command line:

paddle train --use_gpu&＃61;true --parallel_nn&＃61;true --trainer_count&＃61;COUNT

#network:

fc2&＃61;fc_layer(input&＃61;l1, layer_attr&＃61;ExtraAttr(device&＃61;0), ...)

fc3&＃61;fc_layer(input&＃61;l1, layer_attr&＃61;ExtraAttr(device&＃61;1), ...)

fc4&＃61;fc_layer(input&＃61;fc2, layer_attr&＃61;ExtraAttr(device&＃61;-1), ...)

在本例中&＃xff0c;我们假设一台机器上有4个GPU

trainer_count&＃61;1:

---使用0号GPU计算fc2层

---使用1号GPU计算fc3层

---使用CPU计算fc4层

trainer_count&＃61;2:

---使用0号和1号GPU计算fc2层。

---使用2号和3号GPU计算fc3层。

---使用CPU两线程计算fc4层。

trainer_count&＃61;4:

---运行失败&＃xff08;注意到我们已经假设机器上有4个GPU&＃xff09;&＃xff0c;因为参数allow_only_one_model_on_one_gpu默认设置为真

当device!&＃61;-1时设备ID号的分配&＃xff1a;

(deviceId &＃43; gpu_id &＃43; threadId * numLogicalDevices_) % numDevices_

deviceId:              在层中指定

gpu_id:                 默认为0

threadId:              线程ID号&＃xff0c;范围: 0,1,..., trainer_count-1

numDevices_:      机器的设备(GPU)数目

numLogicalDevices_:   min(max(deviceId &＃43; 1), numDevices_)

*原创贴&＃xff0c;版权所有&＃xff0c;未经许可&＃xff0c;禁止转载

*值班小Paddle&＃xff1a;wangp

*欢迎在留言区分享您的观点