HdfsEditslogFsImageSecondaryNN与NN工作机制

• 记录客户端对hdfs的修改log。
• 当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。注意：写Edits首先写入内存缓冲区，当触发刷盘机制时，将内存中的Edits数据刷入Edits文件。
• 记录在edits文件中的每个操作都是一个独立的事务，每个事务有相应的操作码，唯一的事务ID以及操作对应的数据信息等。事务ID是由namenode统一管理的，采用递增的方式，为每个操作赋予唯一的事务ID。最后一次操作的事务ID还会被写入到文件（seen_txid），namenode重启后会读取这些信息，并在最后一次事务ID上继续递增。
• 每个edits文件的文件名都有固定的格式，其中当前正在写的文件名格式为edits_inprogress_TXID，TXID为该文件中记录的第一个操作的事务ID；已经写完成的editlog文件名为 edits_StartTXID_EndTXID，StartTXID为该文件中记录的第一个操作的事务ID，EndTXID为该文件中记录的最后一个操作的事务ID。

Edits文件内容

//每条记录是一条操作


-63

OP_START_LOG_SEGMENT

129



OP_ADD

130
0
16407


/hello7.txt
2
1512943607866
1512943607866
134217728
DFSClient_NONMAPREDUCE_-1544295051_1
192.168.1.5
true



atguigu
supergroup
420

908eafd4-9aec-4288-96f1-e8011d181561
0



OP_ALLOCATE_BLOCK_ID

131
1073741839



OP_SET_GENSTAMP_V2

132
1016



OP_ADD_BLOCK

133


/hello7.txt

1073741839
0
1016


-2



OP_CLOSE

134
0
0


/hello7.txt
2
1512943608761
1512943607866
134217728


false

1073741839
25
1016




atguigu
supergroup
420






Checkpoint process

When the NameNode starts up, or a checkpoint is triggered by a configurable threshold,:

• it reads the FsImage and EditLog from disk
• it applies all the transactions from the EditLog to the in-memory representation of the FsImage
• it flushes out this new version into a new FsImage on disk.
• It truncates the old EditLog because its transactions have been applied to the persistent FsImage.

A checkpoint can be triggered:

• at a given time interval (dfs.namenode.checkpoint.period) expressed in seconds,
• or after a given number of filesystem transactions have accumulated (dfs.namenode.checkpoint.txns).

If both of these properties are set, the first threshold to be reached triggers a checkpoint.

From the config file:


dfs.namenode.checkpoint.period
21600



dfs.namenode.checkpoint.txns
1000000



NN和Secondary NN机制