python从云端服务器读数据_如何在云端服务器运行JupyterNotebook？

垫场演出：如何在ipython Notebook里运行R？(一行命令搞定版)从去年开始，我抛弃了mathmatica,eviews,matlab之类的商业统计和数学软件，开始拥抱开源数据分析。这一方面是因为工作需要，想掌握一门更通用的编程语言，一方面也因为和所有中国的分析师一样，我用的是盗版的eviews和matlab，因此是完全没有客户支持。为了解决日常问题而花的研究文档和stackoverflow上的工作量，并不比用开源软件更少。而开源的好处是，实在查不到解决方案了，至少我还可以去看源代码，虽然看不看得懂可以再讨论，但 I‘d like to have the option。

大家都知道开源数据分析的两大利器，IPython 和 R。一般来说，IPython从Python发展而来，更倾向于科学计算。互联网数据分析更喜欢用。而R是统计学家发展出的一门语言，在金融、经济和社会科学领域应用更广泛。我更喜欢R的数据解构和与数学相关的syntax，在读完R的入门教程之后，很多时候我都不需要去查文档，猜都能猜到我想用的一些函数名称(lag(),diff())。另一方面，我也喜欢Ipython Notebook的交互方式，在富文本的展示效果和使用体验上，R markdown简直就是个不成熟的玩具，更何况Python还是个更成熟的通用编程语言，除了数据以外，几乎可以和这个世界的一切协议进行通信。之前，我一直是在用Rstudio调试R代码，用Anaconda的IPython Notebook或者spyder调试Python代码，有必要的话再通过Rpy2之类的接口综合起来。

但是8月底，收到了Anaconda的一封邮件：Ipython Notebook升级到4.0，改名Jupyter。而且，可以开始用conda管理R的程序包了，Anaconda正式支持R！下载安装Anaconda，然后一条命令：

conda create -n my-r-env -c r r-essentials

就可以创建R的虚拟环境，安装由Anaconda维护的R发行版本r-essentials 然后在ipython Notebook里面用R的语法调试、运行R程序！Windows,Linux,OS X全都可用！how cool is that！再见啦，rpy2。

正场：如何在云端运行Jupyter Notebook?

成功在ipython里面创建了R的环境之后，我又想尝试之前的一个想法了，部署一个云端的计算服务器。传统行业还没有进入大数据时代，数据量相对较小，绝大部分运算任务都是在我的笔记本上解决。但因为开始用Python了，也开始自己写爬虫、甚至想做自己的云端数据可视化方案(否则怎么向非码农的领导展示花了这么多时间的研究成果？代码？)。当然，rstudio拥有rstudio server版本，也可以在云端运行。但我觉得ipython的界面是一个更漂亮的前端页面，支持markdown功能，可以写入很多注释文档，以便非码农使用。另一方面，ipython支持bokeh,一个html5的数据可视化方案。

google了一阵之后发现，目前网上所有在云端安装ipython notebook的方案都是基于ipython 2.x的。而在ipython3.0之后，原有的配置方法已经不可用，只好自己去研究文档。经过几个小时的试错，终于在云端开始跑起了。

以下是主要步骤，前提是，拥有一个虚拟机，并且有ssh账号登陆。没有的同学可以自己在阿里云之类的服务商处申请，个人推荐”1元免费试用“1个月的微软云。一般这些主机服务商都会提供一个基本的教程，因此从设置主机直到创建账号，ssh登陆都应该不是什么问题。

接下来，下载miniconda，一个科学计算环境管理软件，Anaconda的最小发型版本(假设运行的是64位Linux 虚拟机)：

wget "https://repo.continuum.io/miniconda/Miniconda-latest-Linux-x86_64.sh"

然后安装：

sudo bash Miniconda-latest-Linux-x86_64.sh

然后通过miniconda的环境管理软件，conda安装必要被ipython和ipython-notebook.

conda install ipython

conda install ipython-notebook

接下来，我们需要创建一个名为nbserver的配置。

ipython profile create nbserver

这将创建一个文件夹，其中包含一些原始的配置文件。我们跳转到这个文件夹进行一些配置

cd ~/.ipython/profile_nbserver/

由于ipython Notebook要求https连接，因此我们需要创建一个ssl证书。

openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

命令执行后根据提示输入信息就好，当然，这个证书并未获得认证，因此用chrome之类的浏览器访问的时候会得到一些错误信息，这个问题我们一会儿说。接下来我们创建一个密文的密码。

python -c "import IPython;print IPython.lib.passwd()"

运行之后进入一个创建密码hash值的小程序，根据提示输入你想用的安全口令：

Enter password:

Verify password:

sha1:b86e933199ad:a02e9592e59723da722.. #这是我的密码的hash值，后段被删除，你的密码得到的结果应该不同

然后开始编辑配置文件，通过vi编辑文件的命令如下：

vi ipython_notebook_config.py

这个文件可能不存在，那么通过vi创建一个，配置文件的内容如下：

c = get_config()

# 所有matplotlib的图像都通过iline的方式显示

c.IPKernelApp.pylab = &＃39;inline&＃39;

# 这一行指向我们刚刚创建的ssl证书

c.NotebookApp.certfile = u&＃39;/home/azureuser/.ipython/profile_nbserver/mycert.pem&＃39;

# 给出刚刚创建的密码的哈希值

c.NotebookApp.password = u&＃39;sha1:b86e933199ad:a02e9592e5 etc... &＃39;

c.NotebookApp.ip = &＃39;*&＃39;

# 给出运行的端口，ipython默认为8888

c.NotebookApp.port = 8888

# 禁止在运行ipython的同时弹出浏览器

c.NotebookApp.open_browser = False

编辑完成以后按两次shift+z 保存退出

配置完毕以后就可以运行ipython Notebook的服务端了：

jupyter notebook --cOnfig=/home/azureuser/.ipython/profile_nbserver/ipython_notebook_config.py #给出你刚才创建的nbserver路径，这里为微软azure云默认的情况

当然，微软云还需要配置一下服务器端的endpoint，将云主机的https端口(443)指向内部的8888端口。

在你的浏览器地址栏输入：

https://www.youappdomain.com

这时候会遇到https提示根证书并非认证证书，不用管这个提示继续进入，voila，你的ipython Notebook server架好啦！

输入你刚才创建的密码，就可以开始像在本地一样使用了。

附注：这是我的第一篇技术博客，之前遇到各种技术问题就在网上搜，stackoverflow、quora和知乎的热心人们分享的技术经验都给了我很大的帮助。因为几乎从来没遇到过别人没有解决过的问题，一直没想到要写技术分享的博客，直到这次配置Jupyter Notebook。这好像是中英文世界里第一个在云端配置Jupyter Notebook 4.0的教程，同时也是第一个在中文世界里传播r-essential这个好消息的博客文章。 let me know what you think.