热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

和涤生大数据的故事

1自我介绍大家好,我是泰罗奥特曼,毕业于东北的一所不知名一本大学,学校在一个小城市里面,最热闹的地方是一个四层楼的商城&#

1自我介绍

大家好,我是泰罗奥特曼,毕业于东北的一所不知名一本大学,学校在一个小城市里面,最热闹的地方是一个四层楼的商城,专业是信息管理与信息系统,由于是调剂的,所以我也不知道这个专业是干什么,未来要找一份什么样的工作,就带着这样的一份迷茫,随波逐流混完了四年。

2 疫情篇

大四的时候,看见别人都在考研,于是我也选择考研,然后一站落榜,落榜之后,刚好疫情在家关了四个月,投了几份简历也石沉大海,于是又想了一个法子逃避就业——二战,于是就开始了二战生涯,由于是在家学的,旁边就是电脑,电脑旁边就是床,所以不出意外的失败了,时间来到了二一年三月份,这时的我已经在家呆了一年多了,期间还去考了教资,事业单位,公务员,一连串的失败让我眼睛里逐渐没有了光彩。

我在焦虑我以后要靠什么来养活自己,后来我想起来了大学学的Java,毕竟毕业设计还是一个JavaWeb的项目,于是就开始了海投简历的生涯,就在我忐忑不安的时候,有一家公司约我面试,我一路战战兢兢的面过了,久违的成功让我的眼睛里逐渐恢复了一丝光彩,在谈薪资的时候,HR说能给到五千,我很开心,因为大学一个月生活费就一千五,这可是三倍还多啊,然后就来到了杭州入职了。

3 杭州篇

来到杭州之后,入职我还是很担心,因为编程知识仅限于毕业做的那个JavaWeb项目,但是进公司之后,发现每天的工作都是写SQL,那时第一次看见拉链表,我还惊叹拉链表的巧妙,虽然大学学的是MySQL但是写DB2的SQL也没太大的压力,后来顺利的过了试用期,过上了写写存储过程,和业务聊聊天,和项目经理扯扯犊子的日子。

4 相遇篇

和涤生大数据相遇是在21年的年底,我一个人在宾馆住了一个多月了,甚是无聊,期间想继续学习JAVA的内容,为以后跳槽做准备,但是因为工作中用不到JAVA,所以也没什么动力,想起来就学一点,不想学就打游戏了,游戏也不想打就躺床上了。

有一天晚上刷B站的时候,刷到了光哥的科普视频,

​了解到了大数据这个行业,以及大数据开发这个岗位,转念一想,这个工作不就能和我目前这个工作无缝衔接了吗,我的写SQL大法可以派上用场了,然后立马很快啪就加了光哥的微信,光哥很快的就同意了好友申请,看了一下我的基本信息,然后和我语音聊了一下,首先就是肯定我可以转到大数据的事实,然后就结合我现在的工作状况,以及技能点的掌握情况,给我规划了学习的任务,然后我就开始了我的大数据学习之旅。


5 相结篇

在规划学习的时候,我说我有JAVA基础的,但是光哥还是让我把多线程,反射这些知识补一补,事实证明光哥是对的,在学习这些的时候我还是很懵的,后来进入到了linux的学习,我开始心浮气躁了盲目自大起来了,觉得视频太慢了,linux这么简单,那我不是上手就会,然后就不看视频了直接撸文档,撸文档的速度确实很快,但是忘记的也确实快,学完下一章,上一章的知识已经忘光了,但是我那时依旧沉浸在自己进度飞快的喜悦中,在后来hadoop的学习中,我也这么干,后来光哥发现了,我怎么没找他解锁视频我就学完了,我坦白了我说我是只看文档的,然后光哥就给我说这样是不行的,


我也意识到了自己的错误,脑子里确实没留下多少知识,这种进度飞快也只是骗骗自己罢了,然后就开始按部就班的学习,不再追求进度,一步一个脚印的学习。

不光是学习上的问题,生活上的问题光哥也很照顾我,有一次和项目经理吵架了,当时就想提离职回家,然后就和光哥说了,光哥也是在宽慰我,鼓励我,让我坚持坚持不要离职。

开始看视频之后,被树哥的魅力所吸引,讲的hadoop真的是深入浅出,看到了MapReduce,以及shuffle的过程图,我都惊叹这个图画的可真好,然后重点是这图前后还能连起来无缝衔接,树哥真是大佬,在学完之后的测试卷的讲解上树哥也很负责的讲解了我的疑惑和我的错题,后来学习到了后来又学到了hive,scala,spark,安哥和小明哥讲的也超棒,深入浅出,不懂的话还能找老师们提问,另外安哥的嗓音也很好听,普通话很标准,靠着对嗓音的喜爱以及对大数据的热爱,以及班主任每周的监督,我学完了Spark和Scala。而且涤生大数据里面的课程答辩课程周会,大咖分享的特色内容是非常不错的,通过周会进行进度总结,督促;通过课程答辩阶段性检验课程学习效果;通过大咖分享了解企业最前沿内容,干货满满。

时间来到了七月份,光哥发给我一份招聘信息,和我说这个简直就是给你量身定制的啊,但是我开始犹豫了,因为我还没有做过项目,甚至连数仓建模都没有学,我很慌,然后第一次我拒绝了,我觉得我没准备好。

之后过了半个月,我脑子里总是惦记这个招聘信息,我总想去试一试,但是害怕失败又总是让我退缩。但是在一个午后,我趁着我脑子还没反应过来,我啪的一下就给光哥发了一句光哥我想试试,然后光哥就开始给我搞简历,让我把数仓建模的知识突击补一补,然后简历光哥反复给我把关,然后开始了面试辅导,给我把简历上面的点都讲了一遍,然后让我把不理解的都说出来,他给我讲,还有树哥安哥小明哥都在帮助我,可能是察觉到了我的紧张,光哥还不断的鼓励我。

然后就踏上了面试之旅,第一面,面的很糟糕,我和光哥说我要凉了,光哥说没事,就当是长长见识,我也就当长长见识了,然而很意外的就过了,开始了二面,二面那个面试官居然是个总监,我干过的活他都干过,简历上写的绩效系统,oracle,db2,数仓迁移到大数据,他都干过,他好像也识破了我的简历。但是没有刁难我,就问问我的未来的目标这种问题,然后就结束了,面试完我又和光哥说我感觉我要完蛋了,简历被识破了,这次肯定完蛋了,光哥还是说没事,就当长长见识,然后我也就当长长见识,然后就通知我面试通过了,然后最后一面就很水,随便聊一聊就过去了,然后就顺利的入职了现在这家公司,工资翻了两倍多。


在入职之后,光哥也时不时的问我工作的情况,工作中有不懂的问老师们,老师们也会不吝赐教。

最后感谢光哥树哥安哥小明哥班主任,感谢涤生大数据,让我走上了大数据之路。



推荐阅读
  • 字节跳动深圳研发中心安全业务团队正在火热招募人才! ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
  • hadoop3.1.2 first programdefault wordcount (Mac)
    hadoop3.1.2安装完成后的第一个实操示例程 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • 在Linux系统中,原本已安装了多个版本的Python 2,并且还安装了Anaconda,其中包含了Python 3。本文详细介绍了如何通过配置环境变量,使系统默认使用指定版本的Python,以便在不同版本之间轻松切换。此外,文章还提供了具体的实践步骤和注意事项,帮助用户高效地管理和使用不同版本的Python环境。 ... [详细]
  • 在Python 3环境中,当无法连接互联网时,可以通过下载离线模块包来实现模块的安装。具体步骤包括:首先从PyPI网站下载所需的模块包,然后将其传输到目标环境,并使用`pip install`命令进行本地安装。此方法不仅适用于单个模块,还支持依赖项的批量安装,确保开发环境的完整性和一致性。 ... [详细]
  • 阿里云大数据计算服务MaxCompute (原名 ODPS)
     MaxCompute是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute做了哪些工作,这些工作背后的原因是什 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记
    本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记,包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件,其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]
  • Maven构建Hadoop,
    Maven构建Hadoop工程阅读目录序Maven安装构建示例下载系列索引 序  上一篇,我们编写了第一个MapReduce,并且成功的运行了Job,Hadoop1.x是通过ant ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
author-avatar
ayuanliang
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有