推荐收藏，我最常用的三种Python传参方法

今天我们分享的主要目的就是通过在 Python 中使用命令行和配置文件来提高代码的效率。

我们以机器学习当中的调参过程来进行实践&＃xff0c;有三种方式可供选择。第一个选项是使用 argparse&＃xff0c;它是一个流行的 Python 模块&＃xff0c;专门用于命令行解析&＃xff1b;另一种方法是读取 JSON 文件&＃xff0c;我们可以在其中放置所有超参数&＃xff1b;第三种也是鲜为人知的方法是使用 YAML 文件&＃xff01;

好奇吗&＃xff0c;让我们开始吧&＃xff01;喜欢记得收藏、关注、点赞。

文末技术交流&＃xff0c;完整代码。

先决条件

在下面的代码中&＃xff0c;我将使用 Visual Studio Code&＃xff0c;这是一个非常高效的集成 Python 开发环境。这个工具的美妙之处在于它通过安装扩展支持每种编程语言&＃xff0c;集成终端并允许同时处理大量 Python 脚本和 Jupyter 笔记本

使用 argparse

就像上图所示&＃xff0c;我们有一个标准的结构来组织我们的小项目&＃xff1a;

• 包含我们数据集的名为 data 的文件夹

• train.py 文件

• 用于指定超参数的 options.py 文件

首先&＃xff0c;我们可以创建一个文件 train.py&＃xff0c;在其中我们有导入数据、在训练数据上训练模型并在测试集上对其进行评估的基本程序&＃xff1a;

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, mean_absolute_errorfrom options import train_optionsdf &＃61; pd.read_csv(&＃39;data\hour.csv&＃39;)
print(df.head())
opt &＃61; train_options()X&＃61;df.drop([&＃39;instant&＃39;,&＃39;dteday&＃39;,&＃39;atemp&＃39;,&＃39;casual&＃39;,&＃39;registered&＃39;,&＃39;cnt&＃39;],axis&＃61;1).values
y &＃61;df[&＃39;cnt&＃39;].values
X_train, X_test, y_train, y_test &＃61; train_test_split(X, y, test_size&＃61;0.2)if opt.normalize &＃61;&＃61; True:scaler &＃61; StandardScaler()X &＃61; scaler.fit_transform(X)rf &＃61; RandomForestRegressor(n_estimators&＃61;opt.n_estimators,max_features&＃61;opt.max_features,max_depth&＃61;opt.max_depth)
model &＃61; rf.fit(X_train,y_train)
y_pred &＃61; model.predict(X_test)
rmse &＃61; np.sqrt(mean_squared_error(y_pred, y_test))
mae &＃61; mean_absolute_error(y_pred, y_test)
print("rmse: ",rmse)
print("mae: ",mae)


在代码中&＃xff0c;我们还导入了包含在 options.py 文件中的 train_options 函数。后一个文件是一个 Python 文件&＃xff0c;我们可以从中更改 train.py 中考虑的超参数&＃xff1a;

import argparsedef train_options():parser &＃61; argparse.ArgumentParser()parser.add_argument("--normalize", default&＃61;True, type&＃61;bool, help&＃61;&＃39;maximum depth&＃39;)parser.add_argument("--n_estimators", default&＃61;100, type&＃61;int, help&＃61;&＃39;number of estimators&＃39;)parser.add_argument("--max_features", default&＃61;6, type&＃61;int, help&＃61;&＃39;maximum of features&＃39;,)parser.add_argument("--max_depth", default&＃61;5, type&＃61;int,help&＃61;&＃39;maximum depth&＃39;)opt &＃61; parser.parse_args()return opt


在这个例子中&＃xff0c;我们使用了 argparse 库&＃xff0c;它在解析命令行参数时非常流行。首先&＃xff0c;我们初始化解析器&＃xff0c;然后&＃xff0c;我们可以添加我们想要访问的参数。

这是运行代码的示例&＃xff1a;

python train.py


要更改超参数的默认值&＃xff0c;有两种方法。第一个选项是在 options.py 文件中设置不同的默认值。另一种选择是从命令行传递超参数值&＃xff1a;

python train.py --n_estimators 200


我们需要指定要更改的超参数的名称和相应的值。

python train.py --n_estimators 200 --max_depth 7


使用 JSON 文件

和前面一样&＃xff0c;我们可以保持类似的文件结构。在这种情况下&＃xff0c;我们将 options.py 文件替换为 JSON 文件。换句话说&＃xff0c;我们想在 JSON 文件中指定超参数的值并将它们传递给 train.py 文件。与 argparse 库相比&＃xff0c;JSON 文件可以是一种快速且直观的替代方案&＃xff0c;它利用键值对来存储数据。下面我们创建一个 options.json 文件&＃xff0c;其中包含我们稍后需要传递给其他代码的数据。

{
"normalize":true,
"n_estimators":100,
"max_features":6,
"max_depth":5
}


如上所见&＃xff0c;它与 Python 字典非常相似。但是与字典不同的是&＃xff0c;它包含文本/字符串格式的数据。此外&＃xff0c;还有一些语法略有不同的常见数据类型。例如&＃xff0c;布尔值是 false/true&＃xff0c;而 Python 识别 False/True。JSON 中其他可能的值是数组&＃xff0c;它们用方括号表示为 Python 列表。

在 Python 中使用 JSON 数据的美妙之处在于&＃xff0c;它可以通过 load 方法转换成 Python 字典&＃xff1a;

f &＃61; open("options.json", "rb")
parameters &＃61; json.load(f)


要访问特定项目&＃xff0c;我们只需要在方括号内引用它的键名&＃xff1a;

if parameters["normalize"] &＃61;&＃61; True:scaler &＃61; StandardScaler()X &＃61; scaler.fit_transform(X)
rf&＃61;RandomForestRegressor(n_estimators&＃61;parameters["n_estimators"],max_features&＃61;parameters["max_features"],max_depth&＃61;parameters["max_depth"],random_state&＃61;42)
model &＃61; rf.fit(X_train,y_train)
y_pred &＃61; model.predict(X_test)


使用 YAML 文件

最后一种选择是利用 YAML 的潜力。与 JSON 文件一样&＃xff0c;我们将 Python 代码中的 YAML 文件作为字典读取&＃xff0c;以访问超参数的值。YAML 是一种人类可读的数据表示语言&＃xff0c;其中层次结构使用双空格字符表示&＃xff0c;而不是像 JSON 文件中的括号。下面我们展示 options.yaml 文件将包含的内容&＃xff1a;

normalize: True
n_estimators: 100
max_features: 6
max_depth: 5


在 train.py 中&＃xff0c;我们打开 options.yaml 文件&＃xff0c;该文件将始终使用 load 方法转换为 Python 字典&＃xff0c;这一次是从 yaml 库中导入的&＃xff1a;

import yaml
f &＃61; open(&＃39;options.yaml&＃39;,&＃39;rb&＃39;)
parameters &＃61; yaml.load(f, Loader&＃61;yaml.FullLoader)


和前面一样&＃xff0c;我们可以使用字典所需的语法访问超参数的值。

最后的想法

配置文件的编译速度非常快&＃xff0c;而 argparse 则需要为我们要添加的每个参数编写一行代码。

所以我们应该根据自己的不同情况来选择最为合适的方式

例如&＃xff0c;如果我们需要为参数添加注释&＃xff0c;JSON 是不合适的&＃xff0c;因为它不允许注释&＃xff0c;而 YAML 和 argparse 可能非常适合。

好了&＃xff0c;这就是今天分享的全部内容&＃xff0c;喜欢就点个赞吧~

联系方式

目前开通了技术交流群&＃xff0c;群友已超过3000人&＃xff0c;添加时最好的备注方式为&＃xff1a;来源&＃43;兴趣方向&＃xff0c;方便找到志同道合的朋友&＃xff0c;资料获取也可以加入

方式1、添加微信号&＃xff1a;dkl88191&＃xff0c;备注&＃xff1a;来自CSDN
方式2、微信搜索公众号&＃xff1a;Python学习与数据挖掘&＃xff0c;后台回复&＃xff1a;加群