全栈数据，主要技术点

生命之源

0. 缘起

本文仅仅只是列出一些知识点，拟做为内部技术分享的点，只是对『全栈数据』技术点有一个概要性的了解。

列出的点，99%都是自己的经验，或接触、或了解、或实战的内容。

本文对你不一定有多大的技术提升，因为很多点都需要扩展开来介绍，才更有意思。

如果有想法，请提更多的意见。

1. 平台技术

1. 分布式计算平台 (Hadoop)

• Google的论文：hdfs与map-reduce
• Yahoo实现的开源版本
• 三大平台：Cloudera/Hortonworks/DataStax

1. 深度学习平台（GPU）

• Nvidia: 显卡
• Linux环境
• cuda环境
• intel-mkl
• cudnn

重点：环境搭建，部分做数据分析的人，可能会卡在环境的搭建上，主要需要Linux技能。

2. 全栈基础

1. SQL技术
2. Linux及Shell, vim/find/grep/sed/awk/git
3. 统计、概率基础
4. 编程能力（以工程为导向）
5. 大数据框架
6. 数据处理&算法
7. 笔记与文档（markdown）

重点：全面的熟悉数据科学中的知识点。

3. 分布式技术

1. hadoop（hdfs&mr）
2. Hive(sql)
3. Spark(rdd,df,sql)
4. Sqoop
5. Hbase/Cassandra
6. 采集与消息队列：Flume/Kafka/Storm
7. 全文索引(solr, elasticsearch)

重点：熟悉处理海量数据的常用工具，存储与分析，每个工具的适用场景

4. 数据库技术

1. MySQL
2. Postgresql
3. MongoDB
4. Redis

重点：数据库是数据分析中最常用的依托，熟悉SQL语句，以及如果使用Python来进行数据处理。

5. 语言技术

1. SQL语句（常用join语句）
2. python
   python2与python3的问题
   库：numpy, pandas, scikit-learn，nltk, pyltp, pyspark、anaconda
3. R
   学术界，快速建模
4. Scala、java

重点：学习语言，是自动化处理数据和建模的必备工具，SQL必备，Python与R至少需要熟悉一种。要工程应用，Python是必备。

6. 数据挖掘

1. 数据采集：rsync, api, MQ, 爬虫(scrapy)
2. 数据清洗：SQL，Linux，py，R
3. 特征工程：特征选择，特征变换
4. 算法建模：各种框架与算法
5. 模型评估：precision,recall,f1，mse
6. 应用与可视化

重点：了解数据处理的一些常用方法，理解特征工程的方法，熟悉主流挖掘算法的基本过程，会调用相应的库来建模，理解算法评估的常用指标。

7. 机器学习

1. 聚类、分类、回归
   kmeans, knn, logistic regression, linear regression， navie bayes, 决策树、随机森林、神经网络、Xgboost

2. 自然语言处理
   CRF、分词、实体识别、语义分析，word2vec，深度学习(cnn,rnn)

3. 个性推荐，用户画像

4. 深度学习
   应用（非结构化）：图片，语音，视频，自然语言处理
   算法：auto encoder, cnn, rnn, lstm
   框架：tf/keras/mxnet/caffe/pytorch

5. 遗传算法：优化，ga, gp

重点：理解主流算法的应用场景及其主要参数，熟悉自然语言处理中一些基本的方法，理解深度学习的主要思想，熟悉一、两个深度学习框架，能使用迁移学习做一些图片分类的任务。

8. Web与可视化

1. Excel, matplotlib, seaborn
2. Django/Flask,JS/Html5/css3（Web开发）
3. superset(druid, mysql, postgresql, 简单易用的数据可视化界面)
4. zeppelin（支持分布式环境的Web笔记）
5. beakernotebook(ipython、jupyter，支持多种语言的Web笔记)
6. Orange3（图形化的Web挖掘工具）
7. airflow（Data pipeline监控）
8. DataScienceStudio（基于Web的数据分析、建模工具）

重点：数据可视化工具，数据可视化挖掘工具，交互式笔记工具，事半功倍的工具，数据分析入门的好工具，个人珍藏收集。

9. Spark全栈

1. RDD/DataFrame
2. ML/MLLib
3. SQL
4. Streaming
5. GraphX（PageRank）
6. spark/pyspark/sparkR

重点：当今世界最流行、不可多得的、分布式的，全栈数据处理、分析、挖掘环境。

10. H2O框架

1. h2o-flow（基于Web的自动化建模环境）
2. 算法（drf, gbdt, word2vec，glrm）
3. sparkling water（结合Spark的优势）
4. deepwater（深度学习环境）
5. steam（建模与部署一体化）

重点：如生命离不开水一般，简单、优雅的数据挖掘、深度学习环境。高效的算法执行速度，高精度的算法产出。

关注微信公众号『全栈数据』，回复：qzsjzsd，获取pdf版本下载地址与密码。

全栈数据 公众号