开发笔记:数据分析介绍及软件使用

数据分析介绍

以前使用的语言是R语言来进行数据分析的，BI（商业智能部），现在有了Python语言，其语法简洁，写的代码量非常少，现在有转向Python的趋势。

数据的来源

公司足够大，那每天产生的数据（nginx日志数据），就足够我们分析使用（10TB）；

买数据，天眼查（50W个公司的数据）。

之后，通过对数据的删除，修改，替换等方式保证数据的准确性，再使用图表的方式展示。

常见数据分析库

numpy
pandas
matplotlib # 画图

在企业里面，数据分析师不使用ipython写代码，都使用jupyter，jupyter的核心也是基于ipython；

编写代码的工具

anaconda是一个软件包，内部有一个jupyternotebook，在使用jupyter时，其内核嵌套的解释器ipython也会加载到内存当中。

ipython和Python的区别：

在cmd启动这两个编辑器，不难发现其区别：

? ipython有关键字高亮，而且通过table键还可以有提示。

ipython的安装方式

pip3 install ipython

jupyter notebook的安装

第一种方式（不推荐使用）：

pip3 install jupyter
启动方式：jupyter notebook

第二种方式（推荐）：

anaconda是一个软件，这个软件包含了非常多（100多个）的数据分析包，也包含jupyternotebook。

jupyter notebook的用法

文件默认以.ipynb结尾，这个结尾的文件用pycharm无法打开，但我们可以通过jupyter将其下载成其他文件的格式。

jupyter 快捷键总结

Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，颜色变成蓝色，键盘输入运行程序命令；这时的单元框线是灰色。
命令模式 (按键 Esc 开启)快捷键：
Enter : 转入编辑模式
Shift-Enter : 运行本单元，选中下个单元
Ctrl-Enter : 运行本单元
Alt-Enter : 运行本单元，在其下插入新单元
Y : 单元转入代码状态
M :单元转入markdown状态
R : 单元转入raw状态
设定 1 级标题
设定 2 级标题
设定 3 级标题
设定 4 级标题
设定 5 级标题
设定 6 级标题
Up : 选中上方单元
K : 选中上方单元
Down : 选中下方单元
J : 选中下方单元
Shift-K : 扩大选中上方单元
Shift-J : 扩大选中下方单元
A : 在上方插入新单元
B : 在下方插入新单元
X : 剪切选中的单元
C : 复制选中的单元
Shift-V : 粘贴到上方单元
V : 粘贴到下方单元
Z : 恢复删除的最后一个单元
D,D : 删除选中的单元
Shift-M : 合并选中的单元
Ctrl-S : 文件存盘
S : 文件存盘
L : 转换行号
O : 转换输出
Shift-O : 转换输出滚动
Esc : 关闭页面
Q : 关闭页面
H : 显示快捷键帮助
I,I : 中断Notebook内核
0,0 : 重启Notebook内核
Shift : 忽略
Shift-Space : 向上滚动
Space : 向下滚动
编辑模式 ( Enter 键启动)下快捷键
Tab : 代码补全或缩进
Shift-Tab : 提示
Ctrl-] : 缩进
Ctrl-[ : 解除缩进
Ctrl-A : 全选
Ctrl-Z : 复原
Ctrl-Shift-Z : 再做
Ctrl-Y : 再做
Ctrl-Home : 跳到单元开头
Ctrl-Up : 跳到单元开头
Ctrl-End : 跳到单元末尾
Ctrl-Down : 跳到单元末尾
Ctrl-Left : 跳到左边一个字首
Ctrl-Right : 跳到右边一个字首
Ctrl-Backspace : 删除前面一个字
Ctrl-Delete : 删除后面一个字
Esc : 进入命令模式
Ctrl-M : 进入命令模式
Shift-Enter : 运行本单元，选中下一单元
Ctrl-Enter : 运行本单元
Alt-Enter : 运行本单元，在下面插入一单元
Ctrl-Shift-- : 分割单元
Ctrl-Shift-Subtract : 分割单元
Ctrl-S : 文件存盘
Shift : 忽略
Up : 光标上移或转入上一单元
Down :光标下移或转入下一单元