前言
前段时间有幸接触到Apache Carbondata,试用过程中发现了一个小小的问题,并且又很快的定位到了问题。然后在社区群里反映了下,负责人问愿不愿意提个JIRA,PR,然后我在没有任何开源项目PR过的情况下竟然欣然答应了。(可能跟ZB心有关吧o(╥﹏╥)o)然后来说说这段美妙而又酸爽的经历吧【学习到了很多】!
简介
CarbonData是首个由中国公司发起并捐献给Apache基金会的开源项目,于2017年4月正式成为Apache***项目,由华为开源并支持Hadoop的高性能列式存储文件格式,其目的是提供一种统一的数据存储方案,以一份数据同时支持大数据分析的多种应用场景,All In One,并通过多级索引、字典编码、列式存储等特性提升 I/O 扫描和计算性能,实现百亿数据级秒级响应。目前最新版是1.5.1,集成了spark 2.1.0,2.2.1,2.3.2和Hadoop2.7.2,如果是其它版本,则需要自己编译源码!
问题
先抛出来试用过程中出现的问题。carbondata版本:1.5.0,spark 2.3.2 模式:本地 spark-shell
例子:http://carbondata.apache.org/quick-start-guide.html
问题描述:
上面是提交JIRA的时候提交的bug再现流程,总的就是在创建 carbondata 的时候,getOrCreateCarbonSession方法默认有两个参数 storePath(存储table数据) metaStorePath(t存储able元数据),不传的话会默认创建,但可能好多人第一次使用的时候不清楚,然后会根据quick start 传一个空字符串,造成的结果就是每一步都显示成功,但最终carbondata表结果查询却是空。通过查看源码,在carbondata\integration\spark2模块中发现 getOrCreateCarbonSession 方法的storePath,metaStorePath参数都只是简单的 null 的判断,所以造成了本地创建storePath存储在空字符串中,导致最终查询不出来结果。
解决方案:
使用 StringUtils.isNotBlank 替代原来的简单 null 判断。
流程
1) 首先注册Apache JIRA 账号(没有的话),注意在这一定要描述清楚你的问题的是什么,属于什么类型(优先级不一样) 例子:https://issues.apache.org/jira/projects/CARBONDATA/issues/CARBONDATA-3119?filter=allopenissues
2)fork ,https://github.com/apache/carbondata。
3)a. git config:
$ git config --global user.email "xxxxx@163.com" --输入自己的git邮箱
$ git config --global user.name "xxxxx" --输入自己的git name
b. git clone
$ git clone https://github.com/apache/carbondata.git --把源码下载到自己置顶的本地目录
c.
git remote add XXXX https://github.com/XXXX/carbondata.git --跟fork下来的carbondata git仓库关联起来
d.
git fetch --all
git checkout -b master --直接使用master分支(当然也可以创建自己的分支)
e.
git add 修改的文件
git commit -m "本次commit说明"
git rebase -i 分支名字 -- 这个命令是用来修改 已提交的 commit 的说明的。就是开源项目都有自己严格的规范,不合格需要重新提交commit说明
f:
git push 远程主机名 分支名 --提交到远程仓库 本地分支名和远程分支名一致
当然远程提交之前确保测试用例是通过的,然后就可以直接在fork下来的仓库中 点击 Pull request了,一般这的说明都会有严格的模板例子,所以不要擅自改格式。提交了PR之后,就注意邮件消息等回复,需要修改或者不规范的地方需要回工,知道最终被merge。然后恭喜你就成为一名Apache carbondata 的contributors之一了。 那么楼主我自己很荣幸也是拿到了奖励的华为 小天鹅 蓝牙音箱,最主要的是荣誉感满满(虽然是小小的一次修改,但毕竟是第一次嘛,第一次还是很值得留念的博友们)
项目编译过程中遇到的问题:
1)在windows编译的的时候 maven 命令:
clean -DskipTests -Pbuild-with-format -Pspark-2.3 -Pwindows install
2)首先需要本地安装 thrift 0.93,并配置环境变量。 根据 thrift --version查看是否安装成功
3)import scala 包是有分组和组内排序的,注释也有严格的格式。 不然编译的时候会报 代码style不对,编译通不过的。
Apache carbondata官方网站: http://carbondata.apache.org/