数据分析工具pythonmatlab_用Python做数据分析1|工具及学习资源

这段时间学了点Python的基础&＃xff0c;主要是往数据分析及可视化方面的应用&＃xff0c;希望以后能把它作为生产力工具。我不是计算机相关专业&＃xff0c;这些基本上是一点点查的&＃xff0c;现在大概小结下工具和学习资源&＃xff0c;算是入门总结吧。文章主要包括Anaconda&＃xff0c;jupyter notebook, spyder, VS code的基础使用。学习资源在最后。

1 MatLab, Python, R 对比

在数据处理和可视化方面&＃xff0c;MatLab&＃xff0c;Python和R语言应该是用得比较多的了吧。关于这三者的对比网上也到处都是&＃xff0c;感觉Scipy lecture notes里给的对比还比较客观。组里用的Matlab&＃xff0c;刚学了点Python&＃xff0c;R不是太清楚&＃xff0c;但是还是说说自己的看法吧。

Matlab我其实没学过&＃xff0c;就拿组里现成的脚本在用的。没学这个是因为”贵“——说实话有点后悔&＃xff0c;现在还是得用这个&＃xff0c;因为方便跟组里人交流。Matlab毕竟花了钱&＃xff0c;有专门一帮人做&＃xff0c;而且也产品也很成熟&＃xff0c;运行的速度也比较快。

Python和R都是免费的。Python本身是编程语言&＃xff0c;数据分析和可视化只是它的一个应用&＃xff0c;在科学界应该也算用的比较多的了。Python的社区非常大&＃xff0c;所以遇到问题查下基本都能解决。Python语言也还比较容易学&＃xff0c;相应的包也非常多&＃xff0c;不过有些包还不是很成熟。

R语言主要是用作数据分析和可视化的。R应该也还不太难学&＃xff0c;其主要是针对数据分析的&＃xff0c;可以说有相对比较专注的方向。R&＃xff0c;R studio&＃xff0c;再加上声名显赫的ggplot2作图包应该是很多人的组合。R的统计分析比现在的Python包也好很多。R的用户社区比Python小(但专业上更统一&＃xff1f;)。

2 Python的发行版本

Python现在有两种相对独立的版本&＃xff0c;2.x和3.x&＃xff0c;两者语言上有些许不同。现在来说&＃xff0c;2.x版虽然还在更新&＃xff0c;但正在逐步被3.x版替代。所以如果不是要使用一些较老的包&＃xff0c;可以直接上3.x。

Python也有很对发行版本。因为其是开源的&＃xff0c;不同版本对其做了不同的适应性修改。因为我主要是用做数据处理&＃xff0c;用的是相应的Anaconda的。当然&＃xff0c;直接安装官方发行版也可以。

Anaconda号称是最受欢迎的Python数据科学平台。安装后直接有python已经常用的数据科学包&＃xff0c;如numpy, matplotlib, pandas, scipy。对于非计算机相关专业的来说&＃xff0c;Anaconda提供的环境和包的管理功能算是必须的了&＃xff0c;特别是需要python 2.x和3.x同时使用的。R也能在Anaconda上用。

3 工具的使用

Anaconda安装后会有命令行的Anaconda Prompt和界面化的Anaconda Navigator。两者都可以用来对Anaconda进行管理&＃xff0c;不过命令行的prompt更加方便&＃xff0c;习惯后会喜欢上命令行的。软件安装后也会自动安装python和一些数据处理包在base环境里&＃xff0c;也包含Jupyter notebook, Spyder等的工具&＃xff0c;这就可以直接使用了(由于包含的包比较多&＃xff0c;安装包也就比较大&＃xff0c;可以使用miniconda来代替&＃xff0c;这就只有基础的功能&＃xff0c;包需要自己安装)。

不过如果想要创建新的环境&＃xff0c;比如要安装2.x版的python&＃xff0c;可以用命令(这里是windows平台的)&＃xff1a;

conda create -n yourenvname python&＃61;x.x

这会创建一个包含python x.x版新的虚拟环境&＃xff0c;位置在Anaconda安装文件下的envs文件夹下。然后激活这个环境用&＃xff1a;

conda activate yourenvname

激活后&＃xff0c;命令行前面括号里会显示环境的名称。往其中安装所需的包用命令&＃xff1a;

conda install packagename packagename

这可以一次安装多个&＃xff0c;conda会自动安装相应的依赖包。某些情况下conda没有相应的包&＃xff0c;也可以用pip来进行安装。退出环境用conda deactivate。

我在使用中需要指定环境的创建到另外一个磁盘分区上(U盘也行&＃xff0c;这样就可以在其他有Anaconda的电脑上用这个环境了)。先在需要安装的位置创建一个以环境名命名的文件夹&＃xff0c;然后就是同上面一样的命令&＃xff0c;但在环境名前加上位置&＃xff1a;

conda create -p path\to\env\envname python&＃61;x.x

Jupyter notebook

Jupyter notebook是一种基于Web 的文档&＃xff0c;能将文本、图像和代码全部组合到一个文档中&＃xff0c;我甚至看到nature报道其在数据科学里的应用。用它你可以边写代码&＃xff0c;运行结果&＃xff0c;边用markdown写分析等。而且现在它也可以支持R。

在Anaconda prompt命令行里输入jupyter notebook&＃xff0c;回车后就能打开它&＃xff0c;然会在浏览器里启动和使用。当然如果要启动某个虚拟环境里的jupyter notebook的话得先激活相应的环境。有时启动后想要换文件的位置&＃xff0c;但是在notebook里面不能换&＃xff0c;则需要指定notebook创建位置

jupyter notebook --notebook-dir&＃61;path\to\folder

在右上角就有New&＃xff0c;通过它可以创建一个新notebook&＃xff0c;或者文本文件、文件夹等。创建新notebook后&＃xff0c;就来到notebook的主界面。notebook的代码块(cell)主要有两种输入模式&＃xff1a;code和markdown。在命令状态下(按ESC后cell左侧为蓝色)可以通过快捷键Y或者M来转换模式code或markdown。按Enter回车后&＃xff0c;cell左侧为绿色&＃xff0c;就为输入状态了。帮助里可以找到Markdown的用法。

在code模式下的cell里输入了代码后&＃xff0c;按Ctrl &＃43; Enter就可以运行代码。在code模式下&＃xff0c;可以用help()来显示需要的函数帮助&＃xff0c;也可以直接在函数名前加问号? (英文输入)。Jupyter notebook也可以使用Ipython的魔法命令(Magic Commands)&＃xff0c;如&＃xff1a;

# 显示所有可用magic commands

%lsmagic

# 把matplotlib输出的图显示到notebook里

%matplotlib inline

# 运行外部.py代码文件

%run filename

# 从外部脚本文件中插入代码到当前cell

%load filename

Spyder

Spyder是一个集成的开发环境。好像只通过Anaconda安装。它模仿了Matlab的工作空间布局&＃xff0c;也可以转换到类似R studio的布局。(现在暂时还没用熟&＃xff0c;以后补充吧)

Visual Studio Code

VS code是微软开发的一款免费的兼容多种语言的开发工具&＃xff0c;用户也非常多。像我一般只需要将写好的脚本稍作修改运行的&＃xff0c;使用这个会非常方便。用VS code需要在里面安装python扩展&＃xff0c;安装后&＃xff0c;reload程序就会找到系统路径里的python以使用。另一个扩展code runner也是非常推荐安装的&＃xff0c;用它能快速的运行代码。linter可以设置成pylint。方法: Ctrl &＃43; Shift &＃43; P&＃xff0c;键入Python: Select Linter (选择linter)&＃xff0c;然后选择pylint就行。

4 学习资源&＃xff1a;

网上有非常丰富的Python教程、分享和讨论组。可以用Scipy Lecture Notes 开始&＃xff0c;里面有python的入门&＃xff0c;以及numpy&＃xff0c;pandas&＃xff0c;matplotlib等数据处理所需包的教材。这个也有网友翻译的中文版。

numpy&＃xff0c;pandas&＃xff0c;matplotlib都有其自己的入门教程。入门后&＃xff0c;我感觉阅读相应的文档(doc)就差不多了。我现在就是通过阅读numpy&＃xff0c;pandas&＃xff0c;matplotlib来边用边学的。先通过包的API来大概看这个包有什么功能&＃xff0c;大概有个印象&＃xff0c;需要的时候再搜索下到相应的doc和示例来看。

Stack Overflow 是一个很大的社区&＃xff0c;刚学的可以在里面找到绝大部分问题的答案。Numerical Programming with Python 是一个用python做数据处理的在线课程&＃xff0c;也可以通过这个学习。当然遇到问题搜索引擎基本上能就能解决了。