【ElasticSearch】搜索引擎的技术体系

1、搜索引擎技术体系
&＃xff08;1&＃xff09;数据获取步骤
1&＃xff09;从外网抓取数据&＃xff0c;如运用网页爬虫将网页信息获取到&＃xff1b;
2&＃xff09;与内部数据库中的信息进行同步&＃xff0c;并将更新后的信息存储到数据库中&＃xff1b;
3&＃xff09;对获取到的网页进行分析&＃xff0c;对其中的关键字进行筛选&＃xff1b;
4&＃xff09;生成搜索的索引文件&＃xff0c;对筛选出来的关键字进行索引存储&＃xff0c;以便用户通过关键字搜索网页。
&＃xff08;2&＃xff09;排序算法
1&＃xff09;不同的排序算法呈现不同的搜索效果。
2&＃xff09;可以运用推荐算法进行个性化的订制、推荐等。
&＃xff08;3&＃xff09;离线计算系统
1&＃xff09;Hadoop系统架构
HDFS分布式文件系统存储文件&＃xff0c;HBase数据库存储数据&＃xff0c;YARN用于执行job的操作系统平台。
2&＃xff09;离线计算系统的处理流程

1. 从内网、外网或云存储中抓取数据&＃xff1b;
2. 将数据全量或者增量地导入HBase&＃xff0c;实现数据的实时同步&＃xff1b;
3. 经过复杂的离线处理过程&＃xff08;包括job的业务逻辑处理、多表关联&＃xff08;join&＃xff09;、字段合并等&＃xff09;&＃xff1b;
4. 达到秒级的处理速度。