热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

hadoopcore默认配置文件(core-default.xml)参数解析(二)

1filesystem属性fs.default.name默认值为“file:”。默认文件系统的名称。不设置,则使用本地文件系统。hdfs:namenode:9090

1 file system属性

fs.default.name

    默认值为“file:///”。默认文件系统的名称。不设置,则使用本地文件系统。hdfs://namenode:9090

fs.trash.interval

   默认0。垃圾检查点时间间隔。单位:分钟。如果为0,该特性会失效。

fs.file.impl

    org.apache.hadoop.fs.LocalFileSystem。针对file的文件系统实现。

fs.hdfs.impl

     org.apache.hadoop.hdfs.DistributedFileSystem。针对hdfs的文件系统实现。

fs.s3.impl

    org.apache.hadoop.fs.s3.S3FileSystem。amazon的分布式文件系统S3

fs.s3n.impl

    org.apache.hadoop.fs.s3native.NativeS3FileSystem。amazon

fs.kfs.impl

    org.apache.hadoop.fs.kfs.KosmosFileSystem。KFS是一个对GFS的C++实现

fs.hftp.impl

    org.apache.hadoop.hdfs.HftpFileSystem。基于HTTP协议访问文件系统的协议的实现。

fs.hsftp.impl

    org.apache.hadoop.hdfs.HsftpFileSystem。为HftpFileSystem的子类。基于HTTPS访问文件系统的实现。

 fs.ftp.impl

    org.apache.hadoop.fs.ftp.FTPFileSystem。实现了FTP协议的文件系统

fs.ramfs.impl

    org.apache.hadoop.fs.InMemoryFileSystem。内存文件系统的实现

fs.har.impl

    org.apache.hadoop.fs.HarFileSystem。Hadoop archives格式  文件系统

fs.har.impl.disable.cache

    默认为true。不缓存'har'文件系统实例。

fs.checkpoint.dir

    默认值为${hadoop.tmp.dir}/dfs/namesecondary。

fs.checkpoint.edits.dir

    secondary namenode检查点存放编辑日志的目录。

fs.checkpoint.period

    检查点执行周期。默认为3600秒

fs.checkpoint.size

    编辑日志的大小。单位:字节。默认为67108864

fs.s3.block.size

    写数据到s3文件系统时,文件块的大小。默认为67108864字节

fs.s3.buffer.dir

    默认值:${hadoop.tmp.dir}/s3。在发送到s3之前,s3系统应该存放到本地文件系统的哪个地方

fs.s3.maxRetries

    在发送失败信号到应用程序之前,尝试读或写的最大次数。默认为4次

fs.s3.sleepTimeSeconds

    每个s3重试之间sleep时间。默认为10。单位:秒

local.cache.size

    保存缓存最大大小。默认为10737418240个字节,即10G

io.seqfile.compress.blocksize

    在块压缩序列文件中,块最小尺寸。默认为1000000

io.seqfile.lazydecompress

    默认为true。只有在块压缩序列文件必要时被压缩

io.seqfile.sorter.recordlimit

    在序列文件件排序中,溢写时,在内存中保存记录的最大数。默认为1000000

io.mapfile.bloom.size

    暂无

io.mapfile.bloom.error.rate

    暂无

hadoop.util.hash.type

    Hash的默认实现。当前可以取两个值murmur和jenkins。分别对应MurmurHash和JenkinsHash


推荐阅读
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • 对于开源的东东,尤其是刚出来不久,我认为最好的学习方式就是能够看源代码和doc,測试它的样例为了方便查看源代码,关联导入源代 ... [详细]
  •        在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:       1、CentOS6.7下安装JDK,地址:http:b ... [详细]
  • VScode格式化文档换行或不换行的设置方法
    本文介绍了在VScode中设置格式化文档换行或不换行的方法,包括使用插件和修改settings.json文件的内容。详细步骤为:找到settings.json文件,将其中的代码替换为指定的代码。 ... [详细]
  • eclipse学习(第三章:ssh中的Hibernate)——11.Hibernate的缓存(2级缓存,get和load)
    本文介绍了eclipse学习中的第三章内容,主要讲解了ssh中的Hibernate的缓存,包括2级缓存和get方法、load方法的区别。文章还涉及了项目实践和相关知识点的讲解。 ... [详细]
  •     这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • Hive的数据表创建数据文件inner_table.dat创建表hive>createtableinner_table(keystri ... [详细]
  • Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
  • IP双栈环境下网络应用迁移
    IPv4向IPv6迁移有多种途径,在选择具体的迁移方式时,当前环境中运行的应用是否支持IPv6是重要的考量因素之一,同时在编写新的应用时,需要考虑新编写的应用不仅可以适应当前主流的IPv4环境, ... [详细]
  • MapReduce 切片机制源码分析
     总体来说大概有以下2个大的步骤1.连接集群(yarnrunner或者是localjobrunner)2.submitter.submitJobInternal()在该方法中会创建 ... [详细]
  • ***Createdbyjiachenpanon161118.**合法uri*exportfunctionvalidateURL(textval){consturlregex^( ... [详细]
  • 网络安全是一个非常重要的课题,基本上你运行的服务后台越多,你就可能打开更多的安全漏洞.如果配置的恰当的话,Linux本身是非常安全可靠的,假使在Linux系统中有某个安全缺陷,由于Linu ... [详细]
  • 请教ODBC与数据库连接的问题
      请教各位,我在windows2000server下利用internet信息服务架构了FTP,其中属性设置中有一项“启用日志记录“,在“活动日志格式“中我选了“ODBC日志“,在属性中设置好了 ... [详细]
  • SVN 功能说明(简版)
    Subversion(SVN)是什么?SVN是一种版本管理系统,是开源软件的基石。即使在沟通充分的情况下,多人维护同一份源代码的一定也会 ... [详细]
author-avatar
zongnaxxl240
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有