Lucene源代码剖析四索引文件结构(3)

文件

包含的项

数目

类型

版本

描述

FieldsInfo(.fnm)

FieldsCount

1

VInt

FieldName

FieldsCount

String

FieldBits

FieldsCount

Byte

最低阶的bit位（low-order bit）值为1表示是被索引的Fields，0表示非索引的Fields。

第二个最低阶的bit位（second lowest-order bit）值为1表示该Field有term向量存储（term vectors stored），0表示该field没有term向量。

>=1.9

如果第三个最低阶的bit位（third lowest-order bit）设置（0×04），term的位置（term positions）将和term向量一起被存储（stored with term vectors）。

>=1.9

如果第四个最低阶的bit位（fourth lowest-order bit）设置（0×08），term的偏移（term offsets）将和term向量一起被存储（stored with term vectors）。

>=1.9

如果第五个最低阶的bit位（fifth lowest-order bit）设置（0×10），norms将对索引的field忽略掉（norms are omitted for the indexed field）。

>=1.9

如果第六个最低阶的bit位（sixth lowest-order bit）设置（0×20），payloads将为索引的field存储（payloads are stored for the indexed field）。

文件

包含的项

父项

数目

类型

版本

描述

Fields Index(.fdx) 对每个文档来说，存储指向它的fields数据的指针（pointer）

FieldValuesPosition

SegSize

UInt64

用于找详细文档（a particular document）的所有fields的field数据文件中的位置（position），因为它包含的（contains）是固定长度的数据（fixed-length data），这个文件可以很容易地进行随机访问（randomly accessed）。

文档n的field数据的位置是在该文件中n*8的位置中（UInt64类型）。

Fields Data（.fdt）这个文件存储每个文档的field数据

DocFieldData

SegSize

FieldCount

DocFieldData

1

VInt

FieldNum

DocFieldData

FieldCount

VInt

Bits

DocFieldData

FieldCount

Byte

<=1.4

只有最低阶的bit位（low-order bits of Bits）被使用，值为1表示tokenized field（分解过的field），0表示non-tokenized field。

Byte

>=1.9

最低阶的bit位表示tokenized field

>=1.9

第二个bit（second bit）用于表示该field存储binary数据。

>=1.9

第三个bit（third bit）表示该field的压缩选项被开启（field with compression enabled），如果压缩选项开启，采用的压缩算法（algorithm）是ZLIB

Value

DocFieldData

FieldCount

String

<=1.4

String | BinaryValue

>=1.9

依赖于Bits的值

BinaryValue

>=1.9

ValueSize,^ValueSize

ValueSize

Value

1

VInt

>=1.9

版本

包含的项

数目

类型

描述

全部版本

TIVersion

1

UInt32

记录该文件的版本，1.4版本中为-2

TermCount

1

UInt64

IndexInterval

1

UInt32

SkipInterval

1

UInt32

MaxSkipLevels

1

UInt32

TermInfos

1

TermInfo…

TermInfos->TermInfo

TermCount

TermInfo

TermInfo->Term

TermCount

Term

Term->PrefixLength

TermCount

VInt

Term文本的前缀可以共享，该项的值表示根据前一个term的文本来初始化的字符串前缀长度，前一个term必须已经预设成后缀文本以便构成该term的文本。比如，如果前一个term为“bone”，而当前term为“boy”，则该PrefixLength值为2，suffix值为“y”

Term->Suffix

TermCount

String

如上

Term->FieldNum

TermCount

VInt

用来确定term的field，它们存储在.fdt文件中。

TermInfo->DocFreq

TermCount

VInt

包含该term的文档数目

TermInfo->FreqDelta

TermCount

VInt

用来确定包含在.frq文件中该term的TermFreqs的位置。特别指出，它是该term的数据在文件中位置与前一个term的位置的差值，当为第一个term时，该值为0

TermInfo->ProxDelta

TermCount

VInt

用来确定包含在.prx文件中该term的TermPositions的位置。特别指出，它是该term的数据在文件中的位置与前一个term的位置地差值，当为第一个term时，该值为0。如果fields的omitTF设置为true，该值也为0，因为prox信息没有被存储。

TermInfo->SkipDelta

TermCount

VInt

用来确定包含在.frq文件中该term的SkipData的位置。特别指出，它是TermFreqs之后即SkipData开始的字节数目，换句话说，它是TermFreq的长度。SkipDelta只有在DocFreq不比SkipInteval小的情况下才会存储。

版本

包含的项

数目

类型

描述

全部版本

TIVersion

1

UInt32

同tis

IndexTermCount

1

UInt64

同tis

IndexInterval

1

UInt32

同tis

SkipInterval

1

UInt32

是TermDocs存储在skip表中的分数（fraction），用来加速（accelerable）TermDocs.skipTo(int)的调用。在更小的索引中获得更大的结果值（larger values result），将获得更高的速度，但却更小开销？（fewer accelerable cases while smaller values result in bigger indexes, less acceleration (in case of a small value for MaxSkipLevels)

MaxSkipLevels

1

UInt32

是.frq文件中为每一个term存储的skip levels的最大数目，A low value results in smaller indexes but less acceleration, a larger value results in slighly larger indexes but greater acceleration.参见.frq文件格式中关于skip levels的详细介绍。

TermIndices

IndexTermCount

TermIndice

同tis

TermIndice->TermInfo

IndexTermCount

TermInfo

同tis

TermIndice->IndexDelta

IndexTermCount

VLong

用来确定该Term的TermInfo在.tis文件中的位置，特别指出，它是该term的数据的位置与前一个term位置的差值。