大数据开发工程师到底是干嘛的？日常做什么呢？

最近后台收到很多私信&＃xff0c;内容大都差不多&＃xff0c;总结下来就是&＃xff1a;

目前在学习大数据专业&＃xff0c;想提前了解一下大数据开发工程师的工作职责是怎么的&＃xff1f;需要提前准备些什么&＃xff1f;大数据分了哪些岗位&＃xff1f;

笔者已从事数据开发工作三年有余&＃xff0c;结合自己的工作经历和几位同行的经验来聊聊这几个问题。希望可以帮到你。

1、什么是大数据&＃xff1f;

大数据的几个明显的特点&＃xff1a;

• 海量的数据
• 数据多样性
• 数据增速快

以上特点带来了数据的存储和计算问题&＃xff0c;大数据技术的出现就是为了解决上述问题的。

接着往下看&＃xff0c;下图 1-1 展示了数据端到端的流程&＃xff0c;从左到右依次为&＃xff1a;数据产生、数据采集和传输、数据存储&＃xff0c;处理、数据应用。

为了解决这个过程中大数据场景遇到的问题&＃xff0c;我们可以使用哪些技术呢&＃xff1f;

数据采集和传输&＃xff1a;Sqoop、Flume、DataX、Canal 等。
数据存储&＃xff1a;HDFS、HBase、ES、ClickHouse、Kafka等。
数据计算&＃xff1a;MapReduce、Spark、Flink 、Hive、Presto 等。

如果你现在还不了解这些技术&＃xff1f;不要紧&＃xff0c;先有个大概的印象就好。技术不断在进步&＃xff0c;先理解技术产生的背景&＃xff0c;比技术本身更重要。

2、大数据开发工程师的分类 & 职责

简单总结如下&＃xff0c;公司越大&＃xff0c;岗位分得越细。

看了上面大数据细分的岗位&＃xff0c;不难发现&＃xff0c;这是一个比较庞大的生态&＃xff0c;不是一两句话就能概括的&＃xff0c;下面我尽可能的还原每个岗位的工作职责。

数据运维工程师

① 协调机器资源&＃xff0c;采购、缩减、预算等等。

② 集群组件的维护、升级。

③ 处理集群和用户的各种问题…

④ 如果公司采购了阿里/网易这样的数据平台&＃xff0c;就会很省心。

数据平台开发工程师

① 开发面向数据开发使用的工具&＃xff0c;比如元数据系统、数据质量、数据采集、数据计算平台、任务调度平等。自研或者基于开源的项目进行二次开发。

② 开发面向产品和数据分析师的工具&＃xff1a;数据报表平台、数据分析平台、数据查询平台(AdHoc)等。

③ 需要熟悉 Web 后端开发语言&＃xff0c;比如 Java/Go等&＃xff0c;熟悉大数据开源组件&＃xff0c;可以进行二次开发等。

数据仓库工程师

① 离线数仓的开发&＃xff0c;比如数仓建模、数据清洗。

② 实时数仓&＃xff1a;实时指标的开发&＃xff0c;使用Spark Streaing 、Flink。

③ 主要是写 SQL(离线、实时开发平台)、需要理解业务&＃xff0c;开发业务报表。

④ 需要业务能力&＃xff0c;根据业务数据进行建模。

数据测试工程师

① 一般公司没有这个岗位&＃xff0c;大概率又开发工程师进行自测。

② 测试数仓开发的指标逻辑、数据的准确性。

③ 测试业务埋点上报的准确性等。

数据分析师

不同的公司也有些不同的叫法&＃xff1a;比如阿里的BI&＃xff0c;美团的商分

① 临时取数&＃xff1a;比如大型活动&＃xff0c;某一次运营活动等数据查询分析。

② 日报、周报、月报、季报、年报、报表等等。

③ 专题分析&＃xff0c;比如用户画像分析、ROI分析、风控分析、指标体系的搭建等

④ 市场分析&＃xff0c;比如要做竞品分析、渠道分析、行业分析等等。

⑤ 编写数据分析报告。

数据挖掘师

① 用户基础研究&＃xff0c;用户生命周期刻画&＃xff08;进入、成长、成熟、衰退、流失&＃xff09;、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等。

② 个性化推荐算法&＃xff1a;基于协同过滤&＃xff08;USERBASE/ITEMBASE&＃xff09;的推荐&＃xff0c;基于内容推荐&＃xff0c;基于关联规则Apriot算法推荐&＃xff0c;基于热门地区、季节、商品、人群的推荐等。

③ 风控模型&＃xff1a;恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型&＃xff1b;电商领域&＃xff08;炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型&＃xff09;&＃xff1b;金融领域&＃xff08;欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等&＃xff09;。

④ 文本挖掘、语义识别、图像识别&＃xff0c;等等。

算法工程师

① 语音、图像、自然语言处理、深度学习等机器学习算法开发及优化。

② 挖掘并推进算法在业务中应用&＃xff1a;比如美团外卖的配送算法、滴滴打车的派单算法。

③ 推荐系统、用户画像。

数据产品经理

① 协助公司各业务⽅向⼤数据应⽤产品调研、规划、执⾏。

② 数据产品的开发项目管理工作&＃xff0c;确保项目按照需求如期完成。

3、总结

以上大数据的岗位的职责&＃xff0c;也只是冰山一角&＃xff0c;每一家公司独一岗位的分类和职责也不太一样。但是实现数据价值的目标是一致的。

看到好多人都在说大数据工程师是 SQL Boy&＃xff0c;也有自嘲&＃xff0c;算法工程师自嘲为算命工程师&＃xff0c;哈哈&＃xff0c;简直不能再形象了。

大数据学习指南 专注于大数据技术分享与交流。