python相关知识的巩固《python与量化投资从基础到实战》的python基础部分

数据格式

字符串不可更改

列表中的元素可以修改&＃xff0c;元组【更安全】中的元素不可修改

集合&＃xff1a;1.进行集合操作【交集、差集、补集】2.消除重复元素

‘’’ ‘’&＃39;三引号可以换行输入输出

str&＃61;&＃39;&＃39;&＃39;fishcat fish&＃39;&＃39;&＃39;print(str)


python中数的类型&＃xff1a;整数型&＃xff08;int&＃xff09;长整型&＃xff08;long&＃xff09;浮点型&＃xff08;float&＃xff09;布尔型&＃xff08;bool&＃xff09;复数型&＃xff08;complex&＃xff09;

数据类&＃xff1a;列表list【可以是不同的类型】 元组tuple 集合set 字典dict

numpy

numpy的主要对象ndarray的数据类型&＃xff1a;整数型&＃xff08;np.int32&＃xff09;浮点型&＃xff08;np.float64&＃xff09;布尔型&＃xff08;bool&＃xff09;字符串&＃xff08;string&＃xff09; unicode(np.unicode__)

array【只允许储存相同的数据类型】

arr&＃61;np.array([&＃39;量&＃39;,&＃39;化&＃39;])
arr.dtype


dtype(&＃39;

pandas

pandas的数据对象&＃xff1a;series一维数组【只允许储存相同的数据类型】 dataframe二维的表格型数据结构 panel三维数组

df.describe()会统计出各列的计数、平均数、方差、最小值、最大值及quantile数值

df.info()会展示数据类型。行列数和DataFrame占用的内存

map函数映射一个字典&＃xff0c;可以实现根据已有的列建立新列。

df.drop_duplicates(subset&＃61;‘k1’,keep&＃61;‘first’)去重

df.drop([‘Unnamed:0’,axis&＃61;1])删除已有的列

df.rename(columns&＃61;{‘Unnamed:0’:‘id’])重命名某些列

df.loc第一个参数是行标签&＃xff0c;第二个参数是列标签

df.iloc第一个参数是行的位置&＃xff0c;第二个参数是列的位置

df.ix自动根据我们给出的索引类型判断是使用位置还是标签进行切片

pd.cut(a.closeprice,bins,lables)分组&＃xff0c;bins分组标准&＃xff0c;lables分组名称

agg apply 用于分组聚合

SciPy 插值 积分 优化 图像处理 特殊函数

OLS 回归分析

import statsmodels.api as sm

model&＃61;sm.OLS(y,x)

插值

import scipy.interpolate as spi

ipo&＃61;spi.splrep(X,Y,k&＃61;1) #线性插值 k样条拟合顺序

iy&＃61;spi.splev(x,ipo) #三次样条插值

正态性检验

statsmodel.api 中的qqplot通过QQ图检验

凸优化

import scipy.optimize as sco

opts&＃61;sco.minimize()

min_sharpe 夏普最大化

min_volatility 收益最大化

min_return 风险最小化

matplotlib 绘图的始祖&＃xff0c;适合绘制简单的统计图表。

import matplotlib.pyplot as plt

%matplotlib inline #更改字体以便正常显示中文

plt.rcParams[‘font.sans-serif’]&＃61;[‘SimHei’]#用来正常显示中文标签

plt.rcParams[‘axes.unicode_minus’]&＃61;False#用来正常显示负号

Seaborn 绘制美观的图表

import matplotlib as mpl
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
#更改字体以便正常显示中文

plt.rcParams[‘font.sans-serif’]&＃61;[‘SimHei’]#用来正常显示中文标签

plt.rcParams[‘axes.unicode_minus’]&＃61;False#用来正常显示负号

sns.set_style({“font.sans-serif”:[‘Microsoft YaHei’,‘SimHei’]})#显示中文

plt.figure(figsize&＃61;(12,8))
sns.set_context(&＃39;paper&＃39;)
plt.subplot(221)
plt.title(&＃39;paper&＃39;)
sinplot()
sns.set_context(&＃39;talk&＃39;)
plt.subplot(222)
sinplot()
plt.title(&＃39;talk&＃39;)
sns.set_context(&＃39;poster&＃39;)
plt.subplot(223)
sinplot()
plt.title(&＃39;poster&＃39;)
sns.set_context(&＃39;notebook&＃39;)
plt.subplot(224)
sinplot()
plt.title(&＃39;notebook&＃39;)


plt.figure(figsize&＃61;(12,8))
sns.set_palette(&＃39;muted&＃39;)
plt.subplot(221)
plt.title(&＃39;循环&＃39;)
sinplot()
sns.set_palette(&＃39;Blues_r&＃39;)
plt.subplot(222)
sinplot()
plt.title(&＃39;渐变&＃xff08;深-浅&＃xff09;&＃39;)
sns.set_palette(&＃39;Blues&＃39;)
plt.subplot(223)
sinplot()
plt.title(&＃39;渐变&＃xff08;浅-深&＃xff09;&＃39;)
sns.set_palette(&＃39;RdBu&＃39;)
plt.subplot(224)
sinplot()
plt.title(&＃39;混合&＃xff08;红-蓝&＃xff09;&＃39;)

Python可视化18|seborn-seaborn调色盘&＃xff08;六&＃xff09; - 知乎 (zhihu.com): https://zhuanlan.zhihu.com/p/180551053

Scikit-Learn 机器学习常用的第三方模块

机器学习的功能主要包括分类、回归、降维和聚类。

• 分类&＃xff1a;决策树Decision Trees 贝叶斯分类Naive Bayes 支持向量机Support Vector Machines
  随机森林random forest

• 回归:SVR Lasso

• 降维&＃xff1a;主成分分析PCA 主题模型LDA

• 聚类&＃xff1a;K-Means Gaussian

Scikit-Learn还包括特征提取、数据处理和模型评估三大模块

Scikit-Learn的模块列表

1. 关于数据集的模块有sklearn. datasets。
2. 关于特征预处理的模块有 sklearn. feture_extraction(特征抽取)、 sklearn.
   feature_selection(特征选择)、 sklearn. preprocessing(特征预处理)和 sklearn.
   random_projection(数据集合)。
3. 关于模型训练的模块有 sklearn. cluster 、 sklearn. cluster. bicluste 、
   sklearn. linear_model 、 sklearn. naive_bayes 、 sklearn.
   naural_network 、 sklearn. svm 和 sklearn. tree 。
4. 关于模型评估的模块有 sklearn. metrics 和 sklearn. cross_validation 。
5. 关于其他功能的模块有sklearn. covariance和sklearn. mixture等。

决策树

对训练集进行训练

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import sklearn
import re
from sklearn import cross_validation
import sklearn.tree as treedata&＃61;pd.read_excel(&＃39;loan.xlsx&＃39;)
target&＃61;data[&＃39;type&＃39;]
data.drop(&＃39;type&＃39;,axis&＃61;&＃39;columns&＃39;,inplace&＃61;True)
train_data,test_data,train_target,test_target&＃61;cross_validation.train_test_split(data,target,test_size&＃61;0.4,train_size&＃61;0.6,random_state&＃61;12345)
clf_1&＃61;tree.DecisionTreeClassifier(criterion&＃61;&＃39;entropy&＃39;)
clf_1.fit(train_data,train_target)
train_est&＃61;clf_1.predict(train_data)
train_est_p&＃61;clf_1.predict_proba(train_data)[:,1]


将模型应用于测试集

test_est&＃61;clf_1.predict(test_data)


将模型适用于新样本的能力称为 泛化能力
我们希望一个模型的训练误差和泛化误差都很低&＃xff0c;其中&＃xff0c;泛化误差低是我们首要考虑的因素&＃xff1a;

from sklearn import metrics
metrics.accuracy_score(test_target,test_est)


混淆矩阵&＃xff1a;

metrics.confusion_matrix(test_target,test_est)


决策树算法易于理解&＃xff0c;计算简单&＃xff0c;能够处理有缺失属性的样本及不相关的特征&＃xff0c;在短时间内可对较大的数据做出可行且效果良好的判断。存在问题&＃xff1a;忽略数据之间的相关性&＃xff0c;容易出现过拟合。

支持向量机

训练及预测

import sklearn.svm as svm
clf_2&＃61;svm.SVC()
clf_2.fit(train_data,train_target)
train_est&＃61;clf_2.predict(train_data)
test_est&＃61;clf_2.predict(test_data)


查看模型效果

from sklearn import metrics
metrics.accuracy_score(test_target,test_est)
metrics.confusion_matrix(test_target,test_est)


SUV算法具有较高的准确率&＃xff0c;可解决高维问题&＃xff0c;能够处理非线性特征的相互作用。但高维问题比较消耗内存&＃xff0c;调参也有一定难度&＃xff0c;对于非线性问题没有通用的解决方案&＃xff0c;有时很难找到合适的核函数。

朴素贝叶斯分类器

from sklearn.naive_bayes import GaussianNB
clf_3&＃61;GaussianNB()
clf_3.fit(train_data,train_target)
train_est&＃61;clf_3.predict(train_data)
test_est&＃61;clf_3.predict(test_data)from sklearn import metrics
metrics.accuracy_score(test_target,test_est)
metrics.confusion_matrix(test_target,test_est)


朴素贝叶斯算法有着坚实的数学基础及稳定的分类效率&＃xff0c;常用于文本分类&＃xff0c;在小规模数据上表现较好。存在缺点&＃xff1a;需要计算先验概率&＃xff0c;对数据的输入性比较敏感。

神经网络

from sklearn.neural_network import MLPClassifier
clf_4&＃61;MLPClassifier()
clf_4.fit(train_data,train_target)
train_est&＃61;clf_4.predict(train_data)
test_est&＃61;clf_4.predict(test_data)from sklearn import metrics
metrics.accuracy_score(test_target,test_est)
metrics.confusion_matrix(test_target,test_est)


人工神经网络具有分类准确性高&＃xff0c;可进行并行处理和分布式存储及学习能力强等众多优点&＃xff0c;同时能充分逼近复杂的非线性网络。但学习时间过长&＃xff0c;参数过多&＃xff0c;输出结果难以解释。

模型评价方法-metric模块

#accuracy_score分类准确率
metrics.accuracy_score(y_true,y_pred)#返回正确分类的比例
metrics.accuracy_score(y_true,y_pred,normalize&＃61;False)#返回正确分类的样本数
#confusion_matrix混淆矩阵
metrics.confusion_matrix(y_true,y_pred)
#对角线表示被正确分类的样本数&＃xff0c;其余位置均代表被错误分类的样本数
#roc_curve(ROC曲线)
metrics.roc_curve(y_true,y_score,pos_label&＃61;None)#y_score测试集属于正值样本的概率
#recall_score(召回率)
metrics.recall_score(y_true,y_pred)#提取正确的样本条数除以样本总信息条数


深度学习

卷积神经网络Convolutional neural networks,CNN
深度置信网络Deep Belief Bets,DBNs
[后续单独补充]

连接数据库

from sqlalchemy import create_engine
from sqlalchemy.ext.automap import automap_base
import pandas as pd
import numpy as np
engine&＃61;create_engine(&＃39;mysql://root:123&＃64;127.0.0.1:3306/test?charset&＃61;utf8&＃39;)
#root用户名 123密码 127.0.0.1:3306IP地址及端口号 test数据库名


#读取数据
pd.read_sql(&＃39;select * from data&＃39;,engine)#传入sql语句
pd.read_sql(&＃39;data&＃39;,engine)#直接传入表名
#存储数据
df&＃61;pd.DataFrame([[5,&＃39;apple&＃39;,22],[6,&＃39;orange&＃39;,23]],columns&＃61;[&＃39;ID&＃39;,&＃39;name&＃39;,&＃39;price&＃39;],index&＃61;range(2))
df.to_sql(&＃39;data&＃39;,engine,index&＃61;False,if_exists&＃61;&＃39;append&＃39;)
#if_exists &＃39;fail&＃39;:原表存在不执行 &＃39;append&＃39;:原表存在插入&＃xff0c;不存在新建插入 &＃39;replace&＃39;:原表存在清空重新插入
#to_sql十分便捷但有局限性&＃xff0c;只针对DataFrame存储&＃xff0c;不能应用于dict
df1&＃61;pd.DataFrame(np.arange(2000).reshape(1000,2),index&＃61;range(1000),columns&＃61;[&＃39;key&＃39;,&＃39;value&＃39;])
r&＃61;df1.to_dict(&＃39;records&＃39;)
df1.to_sql(&＃39;f_data&＃39;,engine,index&＃61;False,if_exists&＃61;&＃39;append&＃39;)
pd.read_sql(&＃39;f_data&＃39;,engine).tail()
#使用SQLALchemy的方法&＃xff0c;将数据实例化为SQLALchemy支持的类型
#ORM映射 Base.metadata.XXXX就是映射的类
Base&＃61;automap_base()
Base.prepare(engine,reflact&＃61;True)
f_data&＃61;Base.metadata.tables(&＃39;f_data&＃39;)
#再对实例化后的f_data执行insert&＃xff0c;也能快速、批量的插入数据。
engine.execute(f_data.insert(),r)
pd.read_sql(&＃39;f_data&＃39;,engine).tail()


后面是量化数据获取和策略的知识&＃xff0c;今天摸鱼还整不出来&＃xff0c;下次继续。