python的小程序分析_Python学习：JData入门小程序解析(续)

接着上一篇文章&＃xff1a;

第二个.py文件是explore_data.py

它实现的功能很简单&＃xff0c;就是简单的处理NEW_USER_FILE&＃xff0c;他的内容如下&＃xff1a;

user_id 用户ID 脱敏

age 年龄段 -1表示未知

sex 性别 0表示男&＃xff0c;1表示女&＃xff0c;2表示保密

user_lv_cd 用户等级有顺序的级别枚举&＃xff0c;越高级别数字越大

user_reg_tm 用户注册日期粒度到天

可以看到"age"的内容是数字&＃43;中文的&＃xff0c;这样不便于处理&＃xff0c;explore_data.py的功能就是把"age"的内容进行映射&＃xff0c;其映射规则如下&＃xff1a;

def convert_age(age_str):

if age_str &＃61;&＃61; u&＃39;-1&＃39;:

return -1

elif age_str &＃61;&＃61; u&＃39;15岁以下&＃39;:

return 0

elif age_str &＃61;&＃61; u&＃39;16-25岁&＃39;:

return 1

elif age_str &＃61;&＃61; u&＃39;26-35岁&＃39;:

return 2

elif age_str &＃61;&＃61; u&＃39;36-45岁&＃39;:

return 3

elif age_str &＃61;&＃61; u&＃39;46-55岁&＃39;:

return 4

elif age_str &＃61;&＃61; u&＃39;56岁以上&＃39;:

return 5

else:

return -1

函数的调用方式如下&＃xff1a;

def tranform_user_age():

# Load data, header&＃61;0 means that the file has column names

df &＃61; pd.read_csv(USER_FILE, header&＃61;0, encoding&＃61;"gbk")

#对df[&＃39;age&＃39;]每一个元素都进行convert_age函数处理

df[&＃39;age&＃39;] &＃61; df[&＃39;age&＃39;].map(convert_age)

df[&＃39;user_reg_tm&＃39;] &＃61; pd.to_datetime(df[&＃39;user_reg_tm&＃39;])

min_date &＃61; min(df[&＃39;user_reg_tm&＃39;])

df[&＃39;user_reg_diff&＃39;] &＃61; [i for i in (df[&＃39;user_reg_tm&＃39;] - min_date).dt.days]

df.to_csv(NEW_USER_FILE, index&＃61;False)

可以看到在map()中调用了convert_age&＃xff0c;它会根据提供的函数对指定序列做映射。第一个参数 function 以参数序列中的每一个元素调用 function 函数&＃xff0c;返回包含每次 function 函数返回值的新列表。

最后得到的NEW_USER_FILE是这样的&＃xff1a;

第三个.py文件是create_user_table.py

它的功能和create_item_table.py的差不多&＃xff0c;create_item_table.py是对商品数据特征统计分析&＃xff0c;而create_user_table.py是对用户数据特征统计分析。

运行create_user_table.py的前提是先运行explore_data.py生成NEW_USER_FILE&＃xff0c;其过程与create_item_table.py很是相似&＃xff0c;这里就不再多说了&＃xff0c;merge_action_data()后生成的表的内容如下&＃xff1a;

然后同样让user_base与user_behavior进行左连接运算&＃xff0c;最后得到这样的一张表&＃xff1a;

接下来就可以进行数据清洗了和数据分析了

数据清洗&＃xff1a;

这一步骤作者的清洗策略只在data_cleaning.ipynb中有说明&＃xff0c;并没有写在data_cleaning.py中&＃xff0c;大家可以使用自己的清洗策略&＃xff0c;比如去除掉浏览数为0的僵尸用户什么的。

数据分析&＃xff1a;

作者介绍了一些分析的方法&＃xff1a;

周一到周日各天购买情况&＃xff1a;

def merge_weekday_action_data():

df_ac &＃61; []

df_ac.append(get_from_action_data(fname&＃61;ACTION_201602_FILE))

df_ac.append(get_from_action_data(fname&＃61;ACTION_201603_FILE))

df_ac.append(get_from_action_data(fname&＃61;ACTION_201603_EXTRA_FILE))

df_ac.append(get_from_action_data(fname&＃61;ACTION_201604_FILE))

df_ac &＃61; pd.concat(df_ac, ignore_index&＃61;True)

# data type

print(df_ac)

print(df_ac.dtypes)

# Monday &＃61; 0, Sunday &＃61; 6

df_ac[&＃39;time&＃39;] &＃61; pd.to_datetime(

df_ac[&＃39;time&＃39;]).apply(lambda x: x.weekday() &＃43; 1)

df_user &＃61; df_ac.groupby(&＃39;time&＃39;)[&＃39;user_id&＃39;].nunique()

# df_ac &＃61; pd.DataFrame({&＃39;weekday&＃39;: df_ac.index, &＃39;user_num&＃39;: df_ac.values})

df_user &＃61; df_user.to_frame().reset_index()

df_user.columns &＃61; [&＃39;weekday&＃39;, &＃39;user_num&＃39;]

print(df_user)

df_item &＃61; df_ac.groupby(&＃39;time&＃39;)[&＃39;sku_id&＃39;].nunique()

df_item &＃61; df_item.to_frame().reset_index()

df_item.columns &＃61; [&＃39;weekday&＃39;, &＃39;item_num&＃39;]

print(df_item)

df_ui &＃61; df_ac.groupby(&＃39;time&＃39;, as_index&＃61;False).size()

df_ui &＃61; df_ui.to_frame().reset_index()

df_ui.columns &＃61; [&＃39;weekday&＃39;, &＃39;user_item_num&＃39;]

print(df_ui)

bar_width &＃61; 0.2

# 透明度

opacity &＃61; 0.4

plt.bar(df_user[&＃39;weekday&＃39;], df_user[&＃39;user_num&＃39;], bar_width,

alpha&＃61;opacity, color&＃61;&＃39;c&＃39;, label&＃61;&＃39;user&＃39;)

plt.bar(df_item[&＃39;weekday&＃39;] &＃43; bar_width, df_item[&＃39;item_num&＃39;],

bar_width, alpha&＃61;opacity, color&＃61;&＃39;g&＃39;, label&＃61;&＃39;item&＃39;)

plt.bar(df_ui[&＃39;weekday&＃39;] &＃43; bar_width * 2, df_ui[&＃39;user_item_num&＃39;],

bar_width, alpha&＃61;opacity, color&＃61;&＃39;m&＃39;, label&＃61;&＃39;user_item&＃39;)

plt.xlabel(&＃39;weekday&＃39;)

plt.ylabel(&＃39;number&＃39;)

plt.title(&＃39;A Week Purchase Table&＃39;)

plt.xticks(df_user[&＃39;weekday&＃39;] &＃43; bar_width * 3 / 2., (1, 2, 3, 4, 5, 6, 7))

plt.tight_layout()

plt.legend(prop&＃61;{&＃39;size&＃39;: 9})

plt.show()

输出结果&＃xff1a;

可以看到一周用户购买数量分布相对比较均衡&＃xff0c;周六周日购买数相对较少&＃xff0c;可能是此时大家都去过周末玩了,而平时可以逛京东作为消遣。

也可以按月分析&＃xff1a;

def month_action_data_statistic():

# 二月

df_ac &＃61; get_from_action_data(fname&＃61;ACTION_201602_FILE)

df_ac[&＃39;time&＃39;] &＃61; pd.to_datetime(df_ac[&＃39;time&＃39;]).apply(lambda x: x.day)

df_user &＃61; df_ac.groupby(&＃39;time&＃39;)[&＃39;user_id&＃39;].nunique()

df_user &＃61; df_user.to_frame().reset_index()

df_user.columns &＃61; [&＃39;day&＃39;, &＃39;user_num&＃39;]

df_item &＃61; df_ac.groupby(&＃39;time&＃39;)[&＃39;sku_id&＃39;].nunique()

df_item &＃61; df_item.to_frame().reset_index()

df_item.columns &＃61; [&＃39;day&＃39;, &＃39;item_num&＃39;]

df_ui &＃61; df_ac.groupby(&＃39;time&＃39;, as_index&＃61;False).size()

df_ui &＃61; df_ui.to_frame().reset_index()

df_ui.columns &＃61; [&＃39;day&＃39;, &＃39;user_item_num&＃39;]

bar_width &＃61; 0.2

# 透明度

opacity &＃61; 0.4

# 天数

day_range &＃61; range(1, len(df_user[&＃39;day&＃39;]) &＃43; 1, 1)

# 设置图片大小

plt.figure(figsize&＃61;(14, 10))

plt.bar(df_user[&＃39;day&＃39;], df_user[&＃39;user_num&＃39;], bar_width,

alpha&＃61;opacity, color&＃61;&＃39;c&＃39;, label&＃61;&＃39;user&＃39;)

plt.bar(df_item[&＃39;day&＃39;] &＃43; bar_width, df_item[&＃39;item_num&＃39;],

bar_width, alpha&＃61;opacity, color&＃61;&＃39;g&＃39;, label&＃61;&＃39;item&＃39;)

plt.bar(df_ui[&＃39;day&＃39;] &＃43; bar_width * 2, df_ui[&＃39;user_item_num&＃39;],

bar_width, alpha&＃61;opacity, color&＃61;&＃39;m&＃39;, label&＃61;&＃39;user_item&＃39;)

plt.xlabel(&＃39;day&＃39;)

plt.ylabel(&＃39;number&＃39;)

plt.title(&＃39;February Purchase Table&＃39;)

plt.xticks(df_user[&＃39;day&＃39;] &＃43; bar_width * 3 / 2., day_range)

# plt.ylim(0, 80)

plt.tight_layout()

plt.legend(prop&＃61;{&＃39;size&＃39;: 9})

plt.show()

输出结果&＃xff1a;

分析: 从上面可以发现,在2月6号到2月10号之间是我们的农历新年,快递在这几天不上班,因而购物数量相对较少,在我们实际分析时, 可以暂时将这部分数据作为异常数据不去考虑,不加入我们的训练样本中.

查看特定用户对特定商品的活动轨迹&＃xff1a;

def spec_ui_action_data(fname, user_id, item_id, chunk_size&＃61;100000):

reader &＃61; pd.read_csv(fname, header&＃61;0, iterator&＃61;True)

chunks &＃61; []

loop &＃61; True

while loop:

try:

chunk &＃61; reader.get_chunk(chunk_size)[

["user_id", "sku_id", "type", "time"]]

chunks.append(chunk)

except StopIteration:

loop &＃61; False

print("Iteration is stopped")

df_ac &＃61; pd.concat(chunks, ignore_index&＃61;True)

df_ac &＃61; df_ac[(df_ac[&＃39;user_id&＃39;] &＃61;&＃61; user_id) & (df_ac[&＃39;sku_id&＃39;] &＃61;&＃61; item_id)]

return df_ac

def explore_user_item_via_time():

user_id &＃61; 230678

item_id &＃61; 112141

df_ac &＃61; []

df_ac.append(spec_ui_action_data(ACTION_201602_FILE, user_id, item_id))

df_ac.append(spec_ui_action_data(ACTION_201603_FILE, user_id, item_id))

df_ac.append(spec_ui_action_data(

ACTION_201603_EXTRA_FILE, user_id, item_id))

df_ac.append(spec_ui_action_data(ACTION_201604_FILE, user_id, item_id))

df_ac &＃61; pd.concat(df_ac, ignore_index&＃61;False)

print(df_ac.sort_values(by&＃61;&＃39;time&＃39;))

可以看到230678用户对112141商品有过如下行为&＃xff1a;

type

1.浏览&＃xff08;指浏览商品详情页&＃xff09;&＃xff1b;

2.加入购物车&＃xff1b;

3.购物车删除&＃xff1b;

4.下单&＃xff1b;

5.关注&＃xff1b;

6.点击

可以看到该用户对该商品从2016-03-25 16:17:27开始反复的点击、浏览&＃xff0c;并于2016-03-31 23:59:00下单购买该商品&＃xff0c;随后又对其进行了反复的点击、浏览。

以上都是本萌新的个人理解&＃xff0c;如有错误欢迎指出。