Hardcommits,softcommitsandtransactionlogs

“Hard commits are about durability, soft commits are about visibility“

 Transaction Logs

首先介绍下solrcloud的index流程。

1&＃xff09;update请求发送给任意节点&＃xff08;NodeA&＃xff09;。

2&＃xff09;若该节点不是leader&＃xff0c;将请求转发给leader。

3&＃xff09;leader将请求转发给所有副本节点&＃xff08;同一分片&＃xff09;。

后面就是执行结果的响应&＃xff08;response&＃xff09;&＃xff0c;所有副本节点反馈给leader&＃xff0c;leader再反馈给原接收到请求的节点&＃xff08;NodeA&＃xff09;。

当所有leader都反馈给NodeA&＃xff08;执行update完毕&＃xff09;&＃xff0c;NodeA再反馈给“客户端”。在这时候&＃xff0c;所有的更新操作被刷到tlog中。

如果JVM挂了&＃xff0c;这些操作任然会被写入磁盘&＃xff0c;如果操作系统挂了&＃xff0c;就会丢掉这些操作日志。

如果JVM重启&＃xff0c;那么solr会从tlog中进行数据恢复。

注意&＃xff1a;

1&＃xff09;hard commit时产生一个新的tlog文件&＃xff0c;如果被关闭的tlog中包含的documents超过100&＃xff0c;则会删除最老的一个tlog文件。

e.g.

So consider if you are indexing in batches of 25 documents and hard committing after each one (not that you should commit that often, but just saying). You should have 5 tlogs at any given time. the oldest four (closed) contain 25 documents each, totaling 100 plus the current tlog file. When the current tlog is closed, the oldest tlog will be deleted, and a new one opened.

2&＃xff09;如果一直没有hard commit&＃xff0c;那么这个tlog文件可能会很大&＃xff08;一直没有close&＃xff09;。当solr重启的时候可能会造成较大的性能消耗。

Soft commit

Soft commit让searcher对更新可见&＃xff0c;但是会导致“top level caches”失效&＃xff08;filterCache、queryResultCache等&＃xff09;&＃xff0c;包括FieldValueCache失效&＃xff0c;那么facet请求需要等待cache完成刷新。

如果频繁的soft commit会导致“top level caches”很少被命中&＃xff0c;导致性能问题。

不过“segment level caches”并不会失效&＃xff0c;例如function queries、sorting caches等。

Soft commit到底做了些什么&＃xff1f;

1&＃xff09;tlog会持续被写入&＃xff0c;并不会重新创建。

2&＃xff09;searcher对更新可见。

3&＃xff09;一些cache会被重新加载&＃xff08;top level caches&＃xff09;

虽然soft commit比hard commit更轻量&＃xff0c;但是TANSTAAFL&＃xff0c;There Ain&＃39;t No Such Thing As A Free Lunch. Soft commit支持nrt&＃xff0c;不过也需要额外的开销&＃xff0c;这取决于你系统对nrt的忍耐度。

Hard commit

Hard commit到底做了什么&＃xff1f;

1&＃xff09;创建新的tlog&＃xff0c;如果超过100个documtns&＃xff0c;那么就会删除老的tlog文件。

2&＃xff09;创建新的segment&＃xff0c;并flush到磁盘。

3&＃xff09;segment合并有可能会被触发。

Hard commit还有一个选项&＃xff1a;openSearcher。

openSearcher&＃61;true

Searchers会被重新打开&＃xff0c;并且所有caches会失效&＃xff0c;执行自动预热。只有这样才能对更新可见。

openSearcher&＃61;false

更新不可见。

简单的总结&＃xff1a;

SoftCommit&＃xff1a;更新可见&＃xff0c;缓存失效&＃xff0c;不会写入磁盘&＃xff0c;追加tlog。

HardCommit&＃xff1a;更新不可见&＃xff0c;写入磁盘&＃xff0c;新建tlog。

https://lucidworks.com/blog/understanding-transaction-logs-softcommit-and-commit-in-sorlcloud/