phphadoop库,hadoop本地库说明

问题导读1.hadoop本地库支持哪些平台&＃xff1f;2.本地库是否有32&＃xff0c;64之分&＃xff1f;3.hadoop通过什么工具来检测本地库是否加载正确&＃xff1f;4.如何加载本地库&＃xff1f;包含哪些步骤&＃xff1f;5.本地库在什么情况下不需要使用DistibutedCache&＃xff1f;

概述这个指南描述了hadoop本地库&＃xff0c;包括关于共享本地库的小讨论。注意&＃xff1a;取决于你的环境&＃xff0c;这个词 “native libraries”涉及所有的*.so’&＃xff0c;你需要编译&＃xff1b;这个词 “native compression”涉及所有的*.so’的你需要编译指定与压缩相关的。当前&＃xff0c;尽管如此&＃xff0c;这个文档仅限于hadoop本地库 (libhadoop.so).文档为libhdfs库(libhdfs.so)点这here.hadoop本地库处于性能考虑和非可用性 Java 实现&＃xff0c;Hadoop的具有某些部件的本地实现&＃xff0c;这些组件单独是可用的。动态链接库调用本地原生Hadoop库。 在 *nix(如&＃xff1a;Linux&＃xff0c;unix) 平台上本地库名字为 libhadoop.so.用法相当容易使用hadoop本地库&＃xff1a;1.查看组件2.查看支持平台3.下载一个构建好的hadoop发布版本或则自己构建本地库。无论是自己下载还是自己构建(编译)&＃xff0c;本地的名字是相同的&＃xff1a; libhadoop.so4.安装压缩编解码开发包(> > zlib-1.2&＃xff0c;gzip-1.2)&＃xff1a;如果你下载本地库&＃xff0c;安装一个或则多个开发包&＃xff0c;无论压缩编解码你想用于部署。如果你想编译本地库&＃xff0c;它是强制性安装了开发包。5.检查运行时日志文件组件本地库包含各种组件&＃xff1a;Compression Codecs (bzip2, lz4, snappy, zlib)

Native IO utilities for HDFS Short-Circuit Local Reads and Centralized Cache Management in HDFS

CRC32 校验实现支持平台hadoop本地库仅支持在*nix平台上&＃xff0c;不支持 Cygwin和Mac OS X 平台.hadoop本地库主要用在GNU/Linus平台&＃xff0c;已测试RHEL4/Fedora

Ubuntu

Gentoo上面hadoop 32/64位本地库与相应的32/64 位 jvm工作下载hadoop预构建 32-位 i386-Linux本地库作为hadoop分布式一部分是有效的&＃xff0c;位于e lib/native目录。你可以下载从hadoop Common Releases.一定要安装zlib和/或gzip 开发包构建hadoop本地库是用ANSI C编写&＃xff0c;并使用GNU自动工具链 (autoconf, autoheader, automake, autoscan, libtool)构建。这意味着他可以直接使用工具链 (autoconf, autoheader, automake, autoscan, libtool)在任何平台上构建(查看支持平台)在平台上包需要安装&＃xff1a;C compiler (e.g. GNU C Compiler)

GNU Autools Chain: autoconf, automake, libtool

zlib-development package (stable version >&＃61; 1.2.0)

openssl-development package(e.g. libssl-dev)一旦你安装必备包使用标准的Hadoop的pom.xml文件&＃xff0c;通过本地库标识构建hadoop本地库

[Bash shell] 纯文本查看 

1$ mvn package -Pdist,native -DskipTests -Dtar你可以查看新构建的库在

[Bash shell] 纯文本查看 

1$ hadoop-dist/target/hadoop-2.7.1/lib/native请注意以下几点&＃xff1a;1.它强制安装 zlib 和 gzip 开发包在目标平台&＃xff0c;构建hadoop本地库。尽管如此&＃xff0c;如果你想安装部署使用一个codec包&＃xff0c;也是足够的。2.为了构建和部署hadoop本地库&＃xff0c;使用正确的zlib 32/64位 库是需要的 ,在目标平台上依赖32/64 位 jvm&＃xff0c;运行时bin/hadoop脚本确保hadoop本地库通过系统属性-Djava.library.path&＃61;在库路径。在运行时&＃xff0c;检查hadoop MapReduce任务日志文件1.如果所有的事情准备好&＃xff0c;然后调试util.NativeCodeLoader &＃xff0c;尝试加载自定义构建本地库。。。 INFO util.NativeCodeLoader - Loaded the native-hadoop library

2.如果产生错误&＃xff0c;然后&＃xff1a;INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable检查NativeLibraryChecker是一个工具用来检测本地库是否加载正确&＃xff0c;你可以启动nativelibrarychecker如下&＃xff1a;

[Bash shell] 纯文本查看 

1

2

3

4

5

6

7

8

9$ hadoop checknative -a

14/12/06 01:30:45 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version

14/12/06 01:30:45 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

Native library checking:

hadoop: true /home/ozawa/hadoop/lib/native/libhadoop.so.1.0.0

zlib:   true /lib/x86_64-linux-gnu/libz.so.1

snappy: true /usr/lib/libsnappy.so.1

lz4:    true revision:99

bzip2:  false本地共享库你可以加载任何本地共享库使用DistributedCache&＃xff0c;分发和符号链接库文件这个例子展示了如何分发共享本地库mylib.so,和从mapreduc任务加载的。1.首先复制库到hdfs:bin/hadoop fs -copyFromLocal mylib.so.1 /libraries/mylib.so.12.job启动程序应该包含下面&＃xff1a;

[Bash shell] 纯文本查看 

1

2DistributedCache.createSymlink(conf);

DistributedCache.addCacheFile("hdfs://host:port/libraries/mylib.so. 1#mylib.so", conf);3.MapReduce 任务应该包含&＃xff1a;

[Bash shell] 纯文本查看 

1System.loadLibrary("mylib.so");注意&＃xff1a;如果你下载或则构建了hadoop本地库&＃xff0c;不需要使用DistibutedCache使库提供给mapreduce任务版本&＃xff1a;2.7.1