python通过jdbc连接hive_Python3环境通过JDBC访问非Kerberos环境的Hive

1.文档编写目的

在前面Fayson介绍了在Python2的环境下《如何使用Python Impyla客户端连接Hive和Impala》&＃xff0c;本篇文章Fayson主要介绍在Python3的环境下使用Impyla访问非Kerberos环境下的Hive以及将获取到的结果集转换为Pandas的DataFrame。

内容概述

1.前置环境准备及说明

2.Python3示例代码及运行

3.总结

测试环境

1.CM5.14.3和CDH5.14.2

2.Redhat7.4

3.Python 3.6.5

4.集群未启用Kerberos

2.前置环境准备及说明

在使用Impyla访问Hive前&＃xff0c;需要安装Python的依赖包&＃xff0c;具体需要安装的依赖包列表如下&＃xff1a;

six

bit_array

impyla

thrift

thrift_sasl&＃61;&＃61;0.2.0

1.Python3的安装目录/opt/cloudera/anaconda3

2.升级Python的pip版本

[root&＃64;cdh02 ~]# /opt/cloudera/anaconda3/bin/pip install --upgrade pip

(可左右滑动)

3.使用Python3的pip安装上述的依赖包

/opt/cloudera/anaconda3/bin/pip install six

/opt/cloudera/anaconda3/bin/pip install bit_array

/opt/cloudera/anaconda3/bin/pip install thrift

/opt/cloudera/anaconda3/bin/pip install thrift_sasl&＃61;&＃61;0.2.0

/opt/cloudera/anaconda3/bin/pip install impyla

(可左右滑动)

3.Python3访问Hive示例代码

from impala.dbapi import connect

from impala.util import as_pandas

conn &＃61; connect(host&＃61;&＃39;cdh01.fayson.com&＃39;,port&＃61;10000,database&＃61;&＃39;default&＃39;,user&＃61;&＃39;hive&＃39;,auth_mechanism&＃61;&＃39;PLAIN&＃39;)

print(conn)

cursor &＃61; conn.cursor()

cursor.execute(&＃39;show databases&＃39;)

results &＃61; cursor.fetchall()

print(results)

cursor.execute(&＃39;select * from ods_user limit 10&＃39;)

df &＃61; as_pandas(cursor)

print(df)

(可左右滑动)

4.示例运行

在服务上使用如下命令运行Python代码

[root&＃64;cdh02 python_code]# /opt/cloudera/anaconda3/bin/python impyla_hive.py

(可左右滑动)

5.总结

1.使用Impyla访问Hive&＃xff0c;需要安装impyla及其相应的依赖包(如&＃xff1a;six、bit_array、thrift、thrift_sasl)。

2.使用Impyla访问非Kerberos环境下的Hive是&＃xff0c;在connect方法中需要添加auth_mechanism和user两个参数&＃xff0c;否则会报“No protocol version header”异常。

3.在安装依赖包访问Hive时遇到错误“AttributeError: &＃39;TSocket&＃39; object has no attribute&＃39;isOpen&＃39;”&＃xff0c;由于thrift_sasl版本问题&＃xff0c;将thrif_salsl版本改为0.2.0即可&＃xff0c;详细异常如下&＃xff1a;

[root&＃64;cdh02 python_code]# /opt/cloudera/anaconda3/bin/python impaly_hive.py

Traceback (most recent call last):

File "impaly_hive.py", line 2, in 

conn &＃61; connect(host&＃61;&＃39;cdh01.fayson.com&＃39;,port&＃61;10000,database&＃61;&＃39;default&＃39;,user&＃61;&＃39;hive&＃39;,auth_mechanism&＃61;&＃39;PLAIN&＃39;)

File "/opt/cloudera/anaconda3/lib/python3.6/site-packages/impala/dbapi.py", line 147, in connect

auth_mechanism&＃61;auth_mechanism)

File "/opt/cloudera/anaconda3/lib/python3.6/site-packages/impala/hiveserver2.py", line 758, in connect

transport.open()

File "/opt/cloudera/anaconda3/lib/python3.6/site-packages/thrift_sasl/__init__.py", line 67, in open

if not self._trans.isOpen():

AttributeError: &＃39;TSocket&＃39; object has no attribute &＃39;isOpen&＃39;

(可左右滑动)

提示&＃xff1a;代码块部分可以左右滑动查看噢

为天地立心&＃xff0c;为生民立命&＃xff0c;为往圣继绝学&＃xff0c;为万世开太平。

温馨提示&＃xff1a;要看高清无码套图&＃xff0c;请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操&＃xff0c;第一时间&＃xff0c;分享更多Hadoop干货&＃xff0c;欢迎转发和分享。

原创文章&＃xff0c;欢迎转载&＃xff0c;转载请注明&＃xff1a;转载自微信公众号Hadoop实操