热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

05配置数据库的远程连接创建hive数据库的时候要选择latin1

1.解压hive的tar包2.配置环境变量sourceetcprofile3.cprootDownloadsapache-hive-1.2.0-binlibrootDownload

 

1.解压hive的tar包
2.配置环境变量 source /etc/profile
3. cp /root/Downloads/apache-hive-1.2.0-bin/lib
/root/Downloads/hadoop-2.6.5/share/hadoop/yarn/lib
3 hive
4.可以 show databases; show tables; create database 数据库名;
create table 表名;
(tinyint smallint int bigint string float double array struct map timestamp)
desc 表名;show create table 表名;
5 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 切分的类 在使用这个hdfs中文件的
时候进行切分 一定是在查询数据的时候切分 所以是懒加载
org.apache.hadoop.mapred.TextInputFormat 在取hdfs数据的时候,我们其实是将mr提交完毕
以后用mapper进行数据读取 读取的时候用到
org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
在mr任务执行的时候,读取完毕的数据要输入到一个文件中,输出的时候只要value,不要key
hdfs://linux01:9000/user/hive/warehouse/student
指向一个hdfs文件夹目录 目录中的所有数据都是这个表的数据

***默认情况下在我们没有设置这个数据库连接时,那么存储的位置就在当前的目录
默认用的derby数据库
***如果换了一个启动目录,对应的数据就不存在了
6 rpm -qa | grep mysql
rpm -e --nodeps mysql
7 安装 rpm -ivh MySQL-server-5.5.47-1.linux2.6.x86_64.rpm
rpm -ivh MySQL-client-5.5.47-1.linux2.6.x86_64.rpm
8 service mysql start
mysql_secure_installation
9 service mysql restart
10 mysql -uroot -p123456(ps aux |grep mysq* kill pid)
11 scp 客户端 安装
12 grant all privileges on *.* to root@"%" identified by "123456";
flush privileges;
13 service mysql restart
14 mysql -uroot -p123456 -h linux02
15 create user wzw;
16 set password for wzw=password("123456")
17 update user set Grant_priv="Y" where user="root"
18 grant select on 1807A.student to wzw;

1. /$HIVE_HOME/conf
将hive-default.xml.template 重命名 hive-site.xml


javax.jdo.option.ConnectionURL
jdbc:mysql://linux02:3306/hive?characterEncoding=UTF-8


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
123456


2 将mysql的驱动jar包添加到hive的lib目录下
3.配置数据库的远程连接,创建hive数据库的时候 swedish
create database hive character set "latin1";
4 hive
在hive中的所有的数据都存在hdfs中,一个表对应的一个文件夹
/user/hive/warehouse是hive存放文件的基础目录,默认不变
直接指向这个目录,这个是根目录
创建的数据库会在这个目录中存在一个xxx.db的文件夹
create table student2() loaction "hdfs://linux01:9000/student2"
5 在mapreduced-site.xml local

 

 

 

 

 

4.5Hive配置文件
进入配置文件目录:
# >cd /home/bigdata/hive/conf将hive-default.xml.template文件拷贝并重命名成hive-site.xml:
# >mv hive-default.xml.template hive-site.xml清空文件中之间的内容并加入下列内容:
javax.jdo.option.ConnectionURLjdbc:mysql://slave1.com:3306/hive?characterEncoding=UTF-8

javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserNameroot

javax.jdo.option.ConnectionPasswordroot
将mysql的驱动jar包添加到hive的lib目录下

 

 

 

 

转:https://www.cnblogs.com/JBLi/p/10824342.html



推荐阅读
  • 本文介绍了在使用Laravel和sqlsrv连接到SQL Server 2016时,如何在插入查询中使用输出子句,并返回所需的值。同时讨论了使用CreatedOn字段返回最近创建的行的解决方法以及使用Eloquent模型创建后,值正确插入数据库但没有返回uniqueidentifier字段的问题。最后给出了一个示例代码。 ... [详细]
  • IhaveconfiguredanactionforaremotenotificationwhenitarrivestomyiOsapp.Iwanttwodiff ... [详细]
  • 本文介绍了如何在给定的有序字符序列中插入新字符,并保持序列的有序性。通过示例代码演示了插入过程,以及插入后的字符序列。 ... [详细]
  • C# 7.0 新特性:基于Tuple的“多”返回值方法
    本文介绍了C# 7.0中基于Tuple的“多”返回值方法的使用。通过对C# 6.0及更早版本的做法进行回顾,提出了问题:如何使一个方法可返回多个返回值。然后详细介绍了C# 7.0中使用Tuple的写法,并给出了示例代码。最后,总结了该新特性的优点。 ... [详细]
  • 个人学习使用:谨慎参考1Client类importcom.thoughtworks.gauge.Step;importcom.thoughtworks.gauge.T ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • Go GUIlxn/walk 学习3.菜单栏和工具栏的具体实现
    本文介绍了使用Go语言的GUI库lxn/walk实现菜单栏和工具栏的具体方法,包括消息窗口的产生、文件放置动作响应和提示框的应用。部分代码来自上一篇博客和lxn/walk官方示例。文章提供了学习GUI开发的实际案例和代码示例。 ... [详细]
  • Imtryingtofigureoutawaytogeneratetorrentfilesfromabucket,usingtheAWSSDKforGo.我正 ... [详细]
  • PDO MySQL
    PDOMySQL如果文章有成千上万篇,该怎样保存?数据保存有多种方式,比如单机文件、单机数据库(SQLite)、网络数据库(MySQL、MariaDB)等等。根据项目来选择,做We ... [详细]
  • 解决.net项目中未注册“microsoft.ACE.oledb.12.0”提供程序的方法
    在开发.net项目中,通过microsoft.ACE.oledb读取excel文件信息时,报错“未在本地计算机上注册“microsoft.ACE.oledb.12.0”提供程序”。本文提供了解决这个问题的方法,包括错误描述和代码示例。通过注册提供程序和修改连接字符串,可以成功读取excel文件信息。 ... [详细]
  • 本文介绍了一种轻巧方便的工具——集算器,通过使用集算器可以将文本日志变成结构化数据,然后可以使用SQL式查询。集算器利用集算语言的优点,将日志内容结构化为数据表结构,SPL支持直接对结构化的文件进行SQL查询,不再需要安装配置第三方数据库软件。本文还详细介绍了具体的实施过程。 ... [详细]
  • 实现一个通讯录系统,可添加、删除、修改、查找、显示、清空、排序通讯录信息
    本文介绍了如何实现一个通讯录系统,该系统可以实现添加、删除、修改、查找、显示、清空、排序通讯录信息的功能。通过定义结构体LINK和PEOPLE来存储通讯录信息,使用相关函数来实现各项功能。详细介绍了每个功能的实现方法。 ... [详细]
  • 本文介绍了在实现了System.Collections.Generic.IDictionary接口的泛型字典类中如何使用foreach循环来枚举字典中的键值对。同时还讨论了非泛型字典类和泛型字典类在foreach循环中使用的不同类型,以及使用KeyValuePair类型在foreach循环中枚举泛型字典类的优势。阅读本文可以帮助您更好地理解泛型字典类的使用和性能优化。 ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • 工作用可能会用到会话分组:Message是消息实体对象,里面有toId和fromId指明接收方ID和发送方Id,通过组合形式“12-22-”为map的key其中Mess ... [详细]
author-avatar
24吴梦琦_581
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有