Python机器学习数据预处理：读取txt数据文件并切分为训练和测试数据集

背景信息

在使用Python进行机器学习时&＃xff0c;经常需要自己完成数据的预处理&＃xff0c;本节主要实现对txt文本数据的读取&＃xff0c;该文本满足如下要求&＃xff1a;

• 每行为一条样本数据&＃xff0c;包括特征值与标签&＃xff0c;标签在最后
• 样本数据的特征值之间以及标签之间使用,分割
• 文本末尾无空行&＃xff08;在人为编辑过程中很容易在末尾加入空行&＃xff0c;要检查并删除&＃xff09;

本文先给出实现代码&＃xff0c;最后以Iris数据集为例说明如何使用。

代码实现

# 引入所需包
import numpy as np
import random

#读取数据函数,输入为数据文件名和训练、测试切分比率&＃xff0c;返回为list类型的训练数据集和测试数据集
def loadData(fileName,ratio): trainingData&＃61;[]testData&＃61;[]with open(fileName) as txtData:lines&＃61;txtData.readlines()for line in lines:lineData&＃61;line.strip().split(&＃39;,&＃39;) #去除空白和逗号“,”if random.random()

#输入为list类型数据,分割为特征和标签两部分&＃xff0c;返回为np.narray类型的特征数组和标签数组
def splitData(dataSet): character&＃61;[]label&＃61;[]for i in range(len(dataSet)):character.append([float(tk) for tk in dataSet[i][:-1]])label.append(dataSet[i][-1])return np.array(character),np.array(label)


使用样例