当前位置: 开发笔记 > 编程语言 > 正文

docker启动_Docker启动Hadoop、Hive并调试

作者：曹彩节 | 来源：互联网 | 2023-09-09 15:26

GitHub地址:https:github.comtkannghadoop-docker一、使用说明启动Hadoop集群：.start-all.sh2.启动Hive:

GitHub地址: https://github.com/tkanng/hadoop-docker

一、使用说明

启动Hadoop集群&＃xff1a;

./start-all.sh

2. 启动Hive:

./start-hive.sh

停止Hadoop集群与Hive:

./stop-all.sh

二、调试Hive

初始化Hive并打开调试模式

docker exec -it hive bashcd $HIVE_HOME && bin/schematool -dbType derby -initSchema# 指定8000端口作为调试端口(**容器内端口**)&＃xff0c;默认将8000端口映射到宿主机的10000端口。 cd $HIVE_HOME && bin/hive --debug:port&＃61;8000 -hiveconf hive.root.logger&＃61;DEBUG,console

如下图:

IDEA远程调试Hive 默认情况下&＃xff0c;Hive容器的8000端口映射到了宿主机的10000端口&＃xff08;可以在start-hive.sh中修改&＃xff09;。IDEA进行远程调试时&＃xff0c;指定号宿主机IP:10000端口即可。 IDEA调试配置图&＃xff1a;

IDEA调试示意图&＃xff1a;

三、编译其他版本

编译其他版本的Hadoop和Hive&＃xff0c;只需修改Dockerfile与Dockerfile.hive&＃xff0c;或者在编译时指定--build-arg参数即可&＃xff0c;如&＃xff1a;

docker build -f Dockerfile --build-arg HADOOP_VERSION&＃61;2.9.5 -t tkanng/hadoop:2.9.5 .

推荐阅读

int
javascript分页类支持页码格式

前端时间因为项目需要，要对一个产品下所有的附属图片进行分页显示，没考虑ajax一张张请求，所以干脆一次性全部把图片out，然 ... [详细]

蜡笔小新 2024-11-12 14:58:57
int
Docker 环境下 MySQL 双主同步配置指南

本文介绍了如何在 Docker 环境中配置 MySQL 的双主同步，包括目录结构的创建、配置文件的编写、容器的创建与设置以及最终的验证步骤。 ... [详细]

蜡笔小新 2024-11-14 17:21:23
int
为什么多数程序员难以成为架构师？

探讨80%的程序员为何难以晋升为架构师，涉及技术深度、经验积累和综合能力等方面。本文将详细解析Tomcat的配置和服务组件，帮助读者理解其内部机制。 ... [详细]

蜡笔小新 2024-11-14 03:39:46
copy
CentOS 7 中配置开机自动挂载 NFS 的解决方案

本文详细介绍了在 CentOS 7 系统中配置 fstab 文件以实现开机自动挂载 NFS 共享目录的方法，并解决了常见的配置失败问题。 ... [详细]

蜡笔小新 2024-11-13 12:05:24
copy
解决Only fullscreen opaque activities can request orientation错误的方法

本文介绍了在使用PictureSelectorLight第三方框架时遇到的Only fullscreen opaque activities can request orientation错误，并提供了一种有效的解决方案。 ... [详细]

蜡笔小新 2024-11-13 09:46:25
install
Docker 中创建 CentOS 容器并安装 MySQL 进行本地连接

本文详细介绍了如何在 Docker 中创建 CentOS 容器，并在容器中安装 MySQL 以实现本地连接。文章内容包括镜像拉取、容器创建、MySQL 安装与配置等步骤。 ... [详细]

蜡笔小新 2024-11-12 10:27:52
int
PTArchiver工作原理详解与应用分析

PTArchiver工作原理及其应用分析本文详细解析了PTArchiver的工作机制，探讨了其在数据归档和管理中的应用。PTArchiver通过高效的压缩算法和灵活的存储策略，实现了对大规模数据的高效管理和长期保存。文章还介绍了其在企业级数据备份、历史数据迁移等场景中的实际应用案例，为用户提供了实用的操作建议和技术支持。 ... [详细]

蜡笔小新 2024-11-11 13:40:49
int
Cookie学习小结

Cookie学习小结 ... [详细]

蜡笔小新 2024-11-14 16:26:25
utf-8
一个Tomcat配置多个端口

一、Tomcat安装后本身提供了一个server，端口配置默认是8080，对应目录为：..\Tomcat8.0\webapps二、Tomcat8.0配置多个端口，其实也就是给T ... [详细]

蜡笔小新 2024-11-14 11:23:53
int
JUC（三）：深入解析AQS

本文详细介绍了Java并发工具包中的核心类AQS（AbstractQueuedSynchronizer），包括其基本概念、数据结构、源码分析及核心方法的实现。 ... [详细]

蜡笔小新 2024-11-13 15:40:34
int
深入理解ASCII、ANSI、GB2312、UNICODE及UTF-8、UTF-16编码

本文回顾了作者初次接触Unicode编码时的经历，并详细探讨了ASCII、ANSI、GB2312、UNICODE以及UTF-8和UTF-16编码的区别和应用场景。通过实例分析，帮助读者更好地理解和使用这些编码。 ... [详细]

蜡笔小新 2024-11-13 07:33:27
int
Python 使用 DOM 和 SAX 解析 XML 的应用实例

本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件，并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]

蜡笔小新 2024-11-12 16:10:39
int
dockercompose搭建多主多从RocketMQ集群

1.创建目录mkdir-phomerocketmqnamesvr1data&&mkdir-phomerocketmqnamesvr1log&&mkdir-phomerocketm ... [详细]

蜡笔小新 2024-11-12 15:50:43
int
CentOS 7 中 iptables 过滤表实例与 NAT 表应用详解

在 CentOS 7 系统中，iptables 的过滤表和 NAT 表具有重要的应用价值。本文通过具体实例详细介绍了如何配置 iptables 的过滤表，包括编写脚本文件 `/usr/local/sbin/iptables.sh`，并使用 `iptables -F` 清空现有规则。此外，还深入探讨了 NAT 表的配置方法，帮助读者更好地理解和应用这些网络防火墙技术。 ... [详细]

蜡笔小新 2024-11-11 18:33:22
audio
如何将TS文件转换为M3U8直播流：HLS与M3U8格式详解

在视频传输领域，MP4虽然常见，但在直播场景中直接使用MP4格式存在诸多问题。例如，MP4文件的头部信息（如ftyp、moov）较大，导致初始加载时间较长，影响用户体验。相比之下，HLS（HTTP Live Streaming）协议及其M3U8格式更具优势。HLS通过将视频切分成多个小片段，并生成一个M3U8播放列表文件，实现低延迟和高稳定性。本文详细介绍了如何将TS文件转换为M3U8直播流，包括技术原理和具体操作步骤，帮助读者更好地理解和应用这一技术。 ... [详细]

蜡笔小新 2024-11-11 12:12:04