数据挖掘&＃xff0c;从字面上理解&＃xff0c;就是在数据中找到有用的东西&＃xff0c;哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了&＃xff0c;比如电商数据&＃xff0c;如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等&＃xff0c;进一步&＃xff0c;可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像&＃xff0c;就相当于用这些挖掘出来的属性来刻画一个人&＃xff0c;这些还是最简单的东西&＃xff0c;更深层次的比如预测&＃xff08;股票预测&＃xff09;&＃xff0c;但是比较难。
说到数据挖掘。往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。很多年前说人工智能AI&＃xff08;比如产生式系统、专家系统等&＃xff0c;好像现在提得比较少了&＃xff09;&＃xff0c;90年代AI到了瓶颈阶段&＃xff0c;机器学习是一个突破口&＃xff0c;现在机器学习又遇到了瓶颈阶段&＃xff0c;深度学习又是一个突破口&＃xff08;其实神经网络出来了很久&＃xff0c;但是为什么中间一段时间沉寂了&＃xff0c;在70年代左右出现了低潮&＃xff08;根据评论修改&＃xff09;&＃xff0c;我归结是两点&＃xff0c;第一神经网络就像一个黑夹子一样&＃xff0c;很多东西不透明&＃xff0c;模型的解释性不强&＃xff0c;以及当时没办法处理非线性分类问题&＃xff08;后面多层感知器便可以对非线性问题进行拟合&＃xff0c;如解决XOR问题&＃xff09;&＃xff0c;参数过多&＃xff0c;训练复杂&＃xff0c;容易出错&＃xff0c;容易过拟合&＃xff0c;无法保证全局最优&＃xff0c;加上很多问题无法用数学方法证明&＃xff08;个人理解&＃xff09;等等&＃xff0c;科学家和工程师还是有区别的&＃xff0c;科学家都想把一个问题归结为数学问题&＃xff0c;然后证明出来&＃xff0c;他们就会认为是有意义的&＃xff0c;数学上证明其有效往往比做千百个实验说明其有效要好些吧&＃xff0c;工程师往往更在乎效果与结果&＃xff09;&＃xff0c;直到后来出现了BP算法。第二&＃xff0c;得益于现在的大规模计算工具&＃xff0c;能够处理PB级别的数据了。总之现在人工智能还远没达到人类的水平&＃xff0c;最后结果会怎样&＃xff0c;这个暂时不设想。
目前正处于大数据时代&＃xff0c;很多企业拥有巨大的数据&＃xff0c;比如阿里拥有消费数据、百度拥有搜索数据&＃xff0c;腾讯拥有社交数据&＃xff0c;消费数据与搜索数据都可以直接变现形成商业模式&＃xff0c;而社交数据暂时还无法直接变现&＃xff0c;至少企鹅现在还在探寻中&＃xff0c;举个例子&＃xff0c;你的朋友圈&＃xff0c;qq空间到处是广告&＃xff0c;你是不是很讨厌&＃xff0c;差评&＃xff0c;呵呵。数据有了&＃xff0c;还有个重要的方面&＃xff0c;处理数据的能力&＃xff0c;也就是数据处理工具&＃xff0c;能够处理这么大的数据量&＃xff0c;二者不可或缺&＃xff0c;缺一谈什么大数据都是耍流氓。
对于数据挖掘工程师&＃xff1a;
首先你数学知识肯定要扎实吧&＃xff0c;统计与概率论是最基本&＃xff08;也有人说现在的机器学习是统计学习&＃xff0c;确实有道理&＃xff09;、微分与积分肯定要知道、数学公式要看的懂吧&＃xff0c;进阶阶段最优化&＃xff0c;随机过程等。建议去看看机器学习十大算法与一些深度学习的东西&＃xff0c;多看大牛的博客。
对于语言&＃xff0c;搞科研知道matlab就永不怕了&＃xff0c;但是对于工程师嘛&＃xff0c;肯定要知道写代码吧&＃xff0c;不懂写代码的工程师都是扯淡&＃xff0c;不要写代码的数据挖掘与机器学习&＃xff0c;那是研究员&＃xff0c;懂得一门高级语言与一门脚本语言就差不多了&＃xff08;如JAVA或C&＃43;&＃43;&＃xff0c;Python或R&＃xff0c;个人推荐Java与Python&＃xff0c;因为像Hadoop、Spark、Hive、MPI之类的都对Java提供了很方便的接口&＃xff0c;Python写脚本很爽&＃xff09;&＃xff0c;还需要懂得Linux、Shell、SQL&＃xff0c;这都是个人意见&＃xff0c;至少在阿里&＃xff0c;用java&＃43;sql&＃43;python&＃43;shell&＃xff0c;阿里有个很牛逼的东西叫做ODPS&＃xff0c;现在叫MaxCoupute&＃xff0c;可以去阿里云官网查查相关资料。
对于你所说的excel、SAS、SPSS&＃xff0c;数据分析人员专用&＃xff0c;因为工程师嘛&＃xff0c;编程语言还是必须的。对于是否需要学习hadoop、hive之类的&＃xff0c;个人意见是只要知道用&＃xff0c;然后怎么用&＃xff0c;怎么在上面实现一些算法&＃xff0c;怎么去优化自己写的程序就差不多了&＃xff0c;它们只是工具&＃xff0c;而且更新得很快&＃xff0c;就说hadoop吧&＃xff0c;我还没完全搞明白&＃xff0c;就逐渐被spark取代了&＃xff0c;记住&＃xff0c;这些只是工具而已。推荐个加深你数据挖掘功力的东西weka&＃xff08;单机版的&＃xff09;与mahout&＃xff08;分布式的&＃xff0c;有基于hadoop与spark&＃xff09;&＃xff0c;都是开源的。
对于工作是否需要设计新算法&＃xff0c;我觉得在企业还是没有要求这么高&＃xff0c;除非你觉得自己很牛逼&＃xff0c;想向google看齐&＃xff0c;但是设计一个好的算法并能解决实际问题的算法&＃xff0c;不是一朝一夕的&＃xff0c;个人观点&＃xff0c;很多算法可以想出来&＃xff0c;最大的问题就是怎样去证明其正确&＃xff0c;其有效。想到企业中去&＃xff0c;多看看google与ms工程性的文章&＃xff0c;想研究就多看看学术大牛的文章&＃xff0c;比如ICML&＃xff0c;IJCAI&＃xff0c;KDD&＃xff0c;NIPS&＃xff0c;CVPR等。大部分工作是&＃xff0c;将已有的机器学习与数据挖掘算法应用到具体的实践中&＃xff0c;根据业务场景与数据特点对算法进行改造或者调整等。
最后举个例子&＃xff0c;你在淘宝上买一件衣服&＃xff0c;系统怎样向你推荐你感兴趣的并且和这件衣服搭配的裤子或者饰品&＃xff0c;这就是数据挖掘工程师的一方面工作。
对于数据挖掘与机器学习&＃xff0c;也不是小小的几百字能说清楚的&＃xff0c;所以再补充一些想从事机器学习与数据挖掘的需要学习的知识点&＃xff1a;
常用的数据挖掘&知识(点)
Basis(基础)&＃xff1a;
MSE(MeanSquare Error 均方误差)&＃xff0c;LMS(Least MeanSquare 最小均方)&＃xff0c;LSM(Least Square Methods 最小二乘法)&＃xff0c;MLE(Maximum LikelihoodEstimation最大似然估计)&＃xff0c;QP(QuadraticProgramming 二次规划)&＃xff0c; CP(ConditionalProbability条件概率)&＃xff0c;JP(Joint Probability 联合概率)&＃xff0c;MP(Marginal Probability边缘概率)&＃xff0c;Bayesian Formula(贝叶斯公式)&＃xff0c;L1 /L2Regularization(L1/L2正则&＃xff0c;以及更多的&＃xff0c;现在比较火的L2.5正则等)&＃xff0c;GD(Gradient Descent 梯度下降)&＃xff0c;SGD(Stochastic GradientDescent 随机梯度下降)&＃xff0c;Eigenvalue(特征值)&＃xff0c;Eigenvector(特征向量)&＃xff0c;QR-decomposition(QR分解)&＃xff0c;Quantile (分位数)&＃xff0c;Covariance(协方差矩阵)。
Common Distribution(常见分布)&＃xff1a;
Discrete Distribution(离散型分布)&＃xff1a;Bernoulli Distribution/Binomial(贝努利分步/二项分布)&＃xff0c;Negative BinomialDistribution(负二项分布)&＃xff0c;Multinomial Distribution(多式分布)&＃xff0c;Geometric Distribution(几何分布)&＃xff0c;Hypergeometric Distribution(超几何分布)&＃xff0c;Poisson Distribution (泊松分布)
ContinuousDistribution (连续型分布)&＃xff1a;Uniform Distribution(均匀分布)&＃xff0c;Normal Distribution/GaussianDistribution(正态分布/高斯分布)&＃xff0c;Exponential Distribution(指数分布)&＃xff0c;Lognormal Distribution(对数正态分布)&＃xff0c;Gamma Distribution(Gamma分布)&＃xff0c;Beta Distribution(Beta分布)&＃xff0c;Dirichlet Distribution(狄利克雷分布)&＃xff0c;Rayleigh Distribution(瑞利分布)&＃xff0c;Cauchy Distribution(柯西分布)&＃xff0c;Weibull Distribution (韦伯分布)
Three Sampling Distribution(三大抽样分布)&＃xff1a;Chi-square Distribution(卡方分布)&＃xff0c;t-distribution(t-distribution)&＃xff0c;F-distribution(F-分布)
Data Pre-processing(数据预处理)&＃xff1a;
MissingValue Imputation(缺失值填充)&＃xff0c;Discretization(离散化)&＃xff0c;Mapping(映射)&＃xff0c;Normalization(归一化/标准化)。
Sampling(采样)&＃xff1a;
SimpleRandom Sampling(简单随机采样)&＃xff0c;Offline Sampling(离线等可能K采样)&＃xff0c;Online Sampling(在线等可能K采样)&＃xff0c;Ratio-based Sampling(等比例随机采样)&＃xff0c;Acceptance-rejection Sampling(接受-拒绝采样)&＃xff0c;Importance Sampling(重要性采样)&＃xff0c;MCMC(Markov Chain MonteCarlo 马尔科夫蒙特卡罗采样算法&＃xff1a;Metropolis-Hasting& Gibbs)。
Clustering(聚类)&＃xff1a;
K-Means&＃xff0c;K-Mediods&＃xff0c;二分K-Means&＃xff0c;FK-Means&＃xff0c;Canopy&＃xff0c;Spectral-KMeans(谱聚类)&＃xff0c;GMM-EM(混合高斯模型-期望最大化算法解决)&＃xff0c;K-Pototypes&＃xff0c;CLARANS(基于划分)&＃xff0c;BIRCH(基于层次)&＃xff0c;CURE(基于层次)&＃xff0c;DBSCAN(基于密度)&＃xff0c;CLIQUE(基于密度和基于网格)&＃xff0c;2014年Science上的密度聚类算法等
Clustering EffectivenessEvaluation(聚类效果评估)&＃xff1a;
Purity(纯度)&＃xff0c;RI(Rand Index&＃xff0c;芮氏指标)&＃xff0c;ARI(Adjusted Rand Index&＃xff0c;调整的芮氏指标)&＃xff0c;NMI(NormalizedMutual Information&＃xff0c;规范化互信息)&＃xff0c;F-meaure(F测量)等。
Classification&Regression(分类&回归)&＃xff1a;
LR(LinearRegression 线性回归)&＃xff0c;LR(Logistic Regression逻辑回归)&＃xff0c;SR(SoftmaxRegression 多分类逻辑回归)&＃xff0c;GLM(Generalized LinearModel 广义线性模型)&＃xff0c;RR(Ridge Regression 岭回归/L2正则最小二乘回归)&＃xff0c;LASSO(Least AbsoluteShrinkage and Selectionator Operator L1正则最小二乘回归)&＃xff0c; RF(随机森林)&＃xff0c;DT(Decision Tree决策树)&＃xff0c;GBDT(Gradient BoostingDecision Tree 梯度下降决策树)&＃xff0c;CART(Classification AndRegression Tree 分类回归树)&＃xff0c;KNN(K-Nearest Neighbor K近邻)&＃xff0c;SVM(Support Vector Machine&＃xff0c;支持向量机&＃xff0c;包括SVC&＃xff08;分类&＃xff09;&SVR&＃xff08;回归&＃xff09;)&＃xff0c;KF(Kernel Function 核函数Polynomial KernelFunction 多项式核函数、Guassian Kernel Function 高斯核函数/Radial Basis Function RBF径向基函数、String Kernel Function 字符串核函数)、 NB(Naive Bayes 朴素贝叶斯)&＃xff0c;BN(BayesianNetwork/Bayesian Belief Network/Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)&＃xff0c;LDA(Linear DiscriminantAnalysis/Fisher Linear Discriminant 线性判别分析/Fisher线性判别)&＃xff0c;EL(Ensemble Learning集成学习Boosting&＃xff0c;Bagging&＃xff0c;Stacking)&＃xff0c;AdaBoost(AdaptiveBoosting 自适应增强)&＃xff0c;MEM(Maximum Entropy Model最大熵模型)
Classification EffectivenessEvaluation(分类效果评估)&＃xff1a;
ConfusionMatrix(混淆矩阵)&＃xff0c;Precision(精确度)&＃xff0c;Recall(召回率)&＃xff0c;Accuracy(准确率)&＃xff0c;F-score(F得分)&＃xff0c;ROC Curve(ROC曲线)&＃xff0c;AUC(AUC面积)&＃xff0c;Lift Curve(Lift曲线) &＃xff0c;KS Curve(KS曲线)。
PGM(ProbabilisticGraphical Models概率图模型)&＃xff1a;
BN(BayesianNetwork/Bayesian Belief Network/ Belief Network 贝叶斯网络/贝叶斯信度网络/信念网络)&＃xff0c;MC(Markov Chain 马尔科夫链)&＃xff0c;HMM(Hidden MarkovModel 马尔科夫模型)&＃xff0c;MEMM(Maximum EntropyMarkov Model 最大熵马尔科夫模型)&＃xff0c;CRF(Conditional RandomField 条件随机场)&＃xff0c;MRF(Markov RandomField 马尔科夫随机场)。
NN(Neural Network神经网络)&＃xff1a;
ANN(ArtificialNeural Network 人工神经网络)&＃xff0c;BP(Error Back Propagation 误差反向传播)&＃xff0c;HN&＃xff08;Hopfield Network&＃xff09;&＃xff0c;
RNN(Recurrent Neural Network&＃xff0c;循环神经网络&＃xff09;&＃xff0c;SRN&＃xff08;Simple Recurrent Network&＃xff0c;简单的循环神经网络&＃xff09;&＃xff0c;ESN&＃xff08;Echo State Network&＃xff0c;回声状态网络&＃xff09;&＃xff0c;LSTM&＃xff08;Long Short Term Memory 长短记忆神经网络&＃xff09;&＃xff0c;CW-RNN&＃xff08;Clockwork
Recurrent Neural Network&＃xff0c;时钟驱动循环神经网络&＃xff0c;2014ICML&＃xff09;等。
Deep Learning(深度学习)&＃xff1a;
Auto-encoder(自动编码器)&＃xff0c;SAE(Stacked Auto-encoders堆叠自动编码器&＃xff1a;Sparse Auto-encoders稀疏自动编码器、Denoising Auto-encoders去噪自动编码器、ContractiveAuto-encoders 收缩自动编码器)&＃xff0c;RBM(Restricted BoltzmannMachine 受限玻尔兹曼机)&＃xff0c;DBN(Deep BeliefNetwork 深度信念网络)&＃xff0c;CNN(Convolutional NeuralNetwork 卷积神经网络)&＃xff0c;Word2Vec(词向量学习模型)。
Dimensionality Reduction(降维)&＃xff1a;
LDA(LinearDiscriminant Analysis/Fisher Linear Discriminant 线性判别分析/Fish线性判别)&＃xff0c;PCA(Principal ComponentAnalysis 主成分分析)&＃xff0c;ICA(Independent ComponentAnalysis 独立成分分析)&＃xff0c;SVD(Singular ValueDecomposition 奇异值分解)&＃xff0c;FA(Factor Analysis 因子分析法)。
Text Mining(文本挖掘)&＃xff1a;
VSM(Vector SpaceModel向量空间模型)&＃xff0c;Word2Vec(词向量学习模型)&＃xff0c;TF(Term Frequency词频)&＃xff0c;TF-IDF(TermFrequency-Inverse Document Frequency 词频-逆向文档频率)&＃xff0c;MI(Mutual Information 互信息)&＃xff0c;ECE(Expected CrossEntropy 期望交叉熵)&＃xff0c;QEMI(二次信息熵)&＃xff0c;IG(Information Gain 信息增益)&＃xff0c;IGR(InformationGain Ratio 信息增益率)&＃xff0c;Gini(基尼系数)&＃xff0c;x2 Statistic(x2统计量)&＃xff0c;TEW(Text EvidenceWeight文本证据权)&＃xff0c;OR(OddsRatio 优势率)&＃xff0c;N-Gram Model&＃xff0c;LSA(LatentSemantic Analysis 潜在语义分析)&＃xff0c;PLSA(ProbabilisticLatent Semantic Analysis 基于概率的潜在语义分析)&＃xff0c;LDA(Latent DirichletAllocation 潜在狄利克雷模型)&＃xff0c;SLM(StatisticalLanguage Model&＃xff0c;统计语言模型)&＃xff0c;NPLM(NeuralProbabilistic Language Model&＃xff0c;神经概率语言模型)&＃xff0c;CBOW(Continuous Bag of Words Model&＃xff0c;连续词袋模型)&＃xff0c;Skip-gram(Skip-gramModel)等。
Association Mining(关联挖掘)&＃xff1a;
Apriori&＃xff0c;FP-growth(FrequencyPattern Tree Growth 频繁模式树生长算法)&＃xff0c;AprioriAll&＃xff0c;Spade。
Recommendation Engine(推荐引擎)&＃xff1a;
DBR(Demographic-basedRecommendation 基于人口统计学的推荐)&＃xff0c;CBR(Context-based Recommendation 基于内容的推荐)&＃xff0c;CF(Collaborative Filtering协同过滤)&＃xff0c;UCF(User-based CollaborativeFiltering Recommendation 基于用户的协同过滤推荐)&＃xff0c;ICF(Item-based CollaborativeFiltering Recommendation 基于项目的协同过滤推荐)。
SimilarityMeasure&Distance Measure(相似性与距离度量)&＃xff1a;
EuclideanDistance(欧式距离)&＃xff0c;Manhattan Distance(曼哈顿距离)&＃xff0c;Chebyshev Distance(切比雪夫距离)&＃xff0c;Minkowski Distance(闵可夫斯基距离)&＃xff0c;Standardized EuclideanDistance(标准化欧氏距离)&＃xff0c;Mahalanobis Distance(马氏距离)&＃xff0c;Cos(Cosine 余弦)&＃xff0c;Hamming Distance/EditDistance(汉明距离/编辑距离)&＃xff0c;Jaccard Distance(杰卡德距离)&＃xff0c;Correlation CoefficientDistance(相关系数距离)&＃xff0c;Information Entropy(信息熵)&＃xff0c;KL(Kullback-LeiblerDivergence KL散度/Relative Entropy 相对熵)。
Optimization(最优化)&＃xff1a;
Non-constrained Optimization(无约束优化)&＃xff1a;Cyclic Variable Methods(变量轮换法)&＃xff0c;Pattern Search Methods(模式搜索法)&＃xff0c;Variable Simplex Methods(可变单纯形法)&＃xff0c;Gradient Descent Methods(梯度下降法)&＃xff0c;Newton Methods(牛顿法)&＃xff0c;Quasi-Newton Methods(拟牛顿法)&＃xff0c;Conjugate GradientMethods(共轭梯度法)。
ConstrainedOptimization(有约束优化)&＃xff1a;Approximation ProgrammingMethods(近似规划法)&＃xff0c;Feasible DirectionMethods(可行方向法)&＃xff0c;Penalty Function Methods(罚函数法)&＃xff0c;Multiplier Methods(乘子法)。
HeuristicAlgorithm(启发式算法)&＃xff0c;SA(Simulated Annealing&＃xff0c;模拟退火算法)&＃xff0c;GA(genetic algorithm遗传算法)
Feature Selection(特征选择)&＃xff1a;
MutualInformation(互信息)&＃xff0c;Document Frequence(文档频率)&＃xff0c;Information Gain(信息增益)&＃xff0c;Chi-squared Test(卡方检验)&＃xff0c;Gini(基尼系数)。
Outlier Detection(异常点检测)&＃xff1a;
Statistic-based(基于统计)&＃xff0c;Distance-based(基于距离)&＃xff0c;Density-based(基于密度)&＃xff0c;Clustering-based(基于聚类)。
Learning to Rank(基于学习的排序)&＃xff1a;
Pointwise&＃xff1a;McRank&＃xff1b;
Pairwise&＃xff1a;RankingSVM&＃xff0c;RankNet&＃xff0c;Frank&＃xff0c;RankBoost&＃xff1b;
Listwise&＃xff1a;AdaRank&＃xff0c;SoftRank&＃xff0c;LamdaMART&＃xff1b;
Tool(工具)&＃xff1a;
MPI&＃xff0c;生态圈&＃xff0c;&＃xff0c;BSP&＃xff0c;Weka&＃xff0c;Mahout&＃xff0c;Scikit-learn&＃xff0c;PyBrain…
京公网安备 11010802041100号