作者:zongnaxxl240 | 来源:互联网 | 2023-07-07 17:40
1filesystem属性fs.default.name默认值为“file:”。默认文件系统的名称。不设置,则使用本地文件系统。hdfs:namenode:9090
1 file system属性
fs.default.name
默认值为“file:///”。默认文件系统的名称。不设置,则使用本地文件系统。hdfs://namenode:9090
fs.trash.interval
默认0。垃圾检查点时间间隔。单位:分钟。如果为0,该特性会失效。
fs.file.impl
org.apache.hadoop.fs.LocalFileSystem。针对file的文件系统实现。
fs.hdfs.impl
org.apache.hadoop.hdfs.DistributedFileSystem。针对hdfs的文件系统实现。
fs.s3.impl
org.apache.hadoop.fs.s3.S3FileSystem。amazon的分布式文件系统S3
fs.s3n.impl
org.apache.hadoop.fs.s3native.NativeS3FileSystem。amazon
fs.kfs.impl
org.apache.hadoop.fs.kfs.KosmosFileSystem。KFS是一个对GFS的C++实现
fs.hftp.impl
org.apache.hadoop.hdfs.HftpFileSystem。基于HTTP协议访问文件系统的协议的实现。
fs.hsftp.impl
org.apache.hadoop.hdfs.HsftpFileSystem。为HftpFileSystem的子类。基于HTTPS访问文件系统的实现。
fs.ftp.impl
org.apache.hadoop.fs.ftp.FTPFileSystem。实现了FTP协议的文件系统
fs.ramfs.impl
org.apache.hadoop.fs.InMemoryFileSystem。内存文件系统的实现
fs.har.impl
org.apache.hadoop.fs.HarFileSystem。Hadoop archives格式 文件系统
fs.har.impl.disable.cache
默认为true。不缓存'har'文件系统实例。
fs.checkpoint.dir
默认值为${hadoop.tmp.dir}/dfs/namesecondary。
fs.checkpoint.edits.dir
secondary namenode检查点存放编辑日志的目录。
fs.checkpoint.period
检查点执行周期。默认为3600秒
fs.checkpoint.size
编辑日志的大小。单位:字节。默认为67108864
fs.s3.block.size
写数据到s3文件系统时,文件块的大小。默认为67108864字节
fs.s3.buffer.dir
默认值:${hadoop.tmp.dir}/s3。在发送到s3之前,s3系统应该存放到本地文件系统的哪个地方
fs.s3.maxRetries
在发送失败信号到应用程序之前,尝试读或写的最大次数。默认为4次
fs.s3.sleepTimeSeconds
每个s3重试之间sleep时间。默认为10。单位:秒
local.cache.size
保存缓存最大大小。默认为10737418240个字节,即10G
io.seqfile.compress.blocksize
在块压缩序列文件中,块最小尺寸。默认为1000000
io.seqfile.lazydecompress
默认为true。只有在块压缩序列文件必要时被压缩
io.seqfile.sorter.recordlimit
在序列文件件排序中,溢写时,在内存中保存记录的最大数。默认为1000000
io.mapfile.bloom.size
暂无
io.mapfile.bloom.error.rate
暂无
hadoop.util.hash.type
Hash的默认实现。当前可以取两个值murmur和jenkins。分别对应MurmurHash和JenkinsHash