artis索引体系梳理与分析

artis索引体系梳理与分析

一 artis技术体系梳理

artis目前主要使用场景是内存量级的存储&＃xff0c;即数据文件可以完全存放在内存当中。

1.1 内核

1、支持关联表
artis最大的特点是支持关联表的数据结构。其中每个表在逻辑和存储上是完全独立的&＃xff0c;可以独立建立倒排。同时内核天然支持表间关联检索。
2、mmap加载 &＃43; tmpfs加速
artis采用mmap的方式打开索引文件。由于mmap加载的数据在第一次访问时才执行从磁盘到内存的置换&＃xff0c;导致服务启动时存在性能毛刺。因此&＃xff0c;引入了tmpfs的解决方法&＃xff0c;将索引文件直接存放在内存中&＃xff0c;加快加载速度。
3、数据分片
artis中采用了数据分片这样做的目的主要是加快全量/实时更新的并发度。

1.2 组件

1、DAL
DAL组件封装了多种检索、过滤、计算&＃xff08;广告打分&＃xff09;的算子与接口
2、业务插件
在实时更新中支持业务插件对数据进行定制化的改写。