Presto：高效即席查询引擎的深度解析与应用

一、Presto架构

二、优缺点

优点

• 1、Presto采用内存到内存的方式&＃xff0c;相对于Mapreduce查询&＃xff08;容错机制&＃xff0c;为了保障准确性&＃xff0c;中间写入磁盘&＃xff09;&＃xff0c;减少了中间写入磁盘&＃xff0c;从磁盘读取数据的方式。计算更快
• 2、减少阶段间的等待时间&＃xff0c;Mapreduce不支持DAG&＃xff0c;maptask未完成&＃xff0c;不能执行reduce&＃xff0c;Presto采取管道式传输的方式&＃xff0c;边清理内存&＃xff0c;边计算。
• 3、可以连接多个数据源&＃xff0c;比如同时查询hive和mysql的数据再合并

缺点

• 1、需要较大的内存
• 2、关联查询会变慢

三、安装

• 0&＃xff09;官网地址
  https://prestodb.github.io/

• 1&＃xff09;下载地址
  https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz

• 2&＃xff09;将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下&＃xff0c;并解压到/opt/module目录

tar -zxvf presto-server-0.196.tar.gz -C /opt/module/


• 3&＃xff09;修改名称为presto,方便查看

mv presto-server-0.196/ presto


• 4&＃xff09;进入到/opt/module/presto目录&＃xff0c;并创建存储数据文件夹,并创建存储配置文件文件夹

mkdir data etc


• 5&＃xff09;在presto/etc目录下添加jvm.config配置文件

vim jvm.config


-server
-Xmx16G
-XX:&＃43;UseG1GC
-XX:G1HeapRegionSize&＃61;32M
-XX:&＃43;UseGCOverheadLimit
-XX:&＃43;ExplicitGCInvokesConcurrent
-XX:&＃43;HeapDumpOnOutOfMemoryError
-XX:&＃43;ExitOnOutOfMemoryError


• 6&＃xff09;Presto可以支持多个数据源catalog&＃xff0c;这里我们配置支持Hive的数据源&＃xff0c;配置一个Hive的catalog

mkdir catalog
vim hive.properties ## 添加如下内容
connector.name&＃61;hive-hadoop2
#在hive中&＃xff0c;有metastore的服务&＃xff0c;主要为第三方提供读取元数据的信息
#presto通过使用hive提供的metastore提供的服务来读取元数据
#获取元数据需要url&＃xff0c;driver驱动&＃xff0c;class&＃xff0c;username&＃xff0c;password
hive.metastore.uri&＃61;thrift://hadoop102:9083


• 7&＃xff09;将hadoop102上的presto同步到hadoop103、hadoop104
• 8&＃xff09;分发之后&＃xff0c;分别进入hadoop102、hadoop103、hadoop104三台主机的/opt/module/presto/etc的路径。配置node属性&＃xff0c;node id每个节点都不一样。

[kele&＃64;hadoop102 etc]$vim node.properties
node.environment&＃61;production
node.id&＃61;ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir&＃61;/opt/module/presto/data[kele&＃64;hadoop103 etc]$vim node.properties
node.environment&＃61;production
node.id&＃61;ffffffff-ffff-ffff-ffff-fffffffffffa
node.data-dir&＃61;/opt/module/presto/data[kele&＃64;hadoop104 etc]$vim node.properties
node.environment&＃61;production
node.id&＃61;ffffffff-ffff-ffff-ffff-fffffffffffb
node.data-dir&＃61;/opt/module/presto/data


• 9&＃xff09;Presto是由一个coordinator节点和多个worker节点组成。
  配置方式

• 10&＃xff09;hadoop102上配置coordinator节点
  进入 etc/config.properties

添加内容如下
coordinator&＃61;true
node-scheduler.include-coordinator&＃61;false
http-server.http.port&＃61;8881
query.max-memory&＃61;50GB
discovery-server.enabled&＃61;true
discovery.uri&＃61;http://hadoop102:8881


&＃xff08;2&＃xff09;hadoop103、hadoop104上配置worker节点,进入 etc/config.properties

添加内容如下
coordinator&＃61;false
http-server.http.port&＃61;8881
query.max-memory&＃61;50GB
discovery.uri&＃61;http://hadoop102:8881


• 11&＃xff09;在hadoop102的/opt/module/hive目录下&＃xff0c;启动Hive Metastore&＃xff0c;用kele角色&＃xff0c;后台启动

[kele&＃64;hadoop102 hive]$
nohup bin/hive --service metastore >/dev/null 2>&1 &


• 12&＃xff09;分别在hadoop102、hadoop103、hadoop104上启动Presto Server

&＃xff08;1&＃xff09;如果前台启动Presto&＃xff0c;控制台显示日志

[kele&＃64;hadoop102 presto]$ bin/launcher run
[kele&＃64;hadoop103 presto]$ bin/launcher run
[kele&＃64;hadoop104 presto]$ bin/launcher run


&＃xff08;2&＃xff09;如果后台启动Presto

[kele&＃64;hadoop102 presto]$ bin/launcher start
[kele&＃64;hadoop103 presto]$ bin/launcher start
[kele&＃64;hadoop104 presto]$ bin/launcher start


• 13&＃xff09;日志查看路径

/opt/module/presto/data/var/log


Client安装

• 1、使用jar包启动客户端

java -jar presto-cli.jar --server hadoop102:8881 --catalog hive --schema default


启动

注意&＃xff1a;

1、Presto不支持读取Text &＃43; Lzo的方式&＃xff0c;


2、如果需要以lzo的方式读取数据&＃xff0c;需要添加hadoop-lzo的jar包到presto的hive-hadoop2的目录下

cp /opt/module/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/presto/plugin/hive-hadoop2/


四、界面

使用presto连接jdbc&＃xff0c;适用于dberver使用即席查询时连接

jdbc连接jar包已上传

注意&＃xff1a;Presto使用的是Presto支持的SQL语法和函数&＃xff01;