热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

关于lucene:活动预告‖基于Lucene实现万亿级多维检索与实时分析的实践之路

Lucene是业界最罕用的搜素引擎,咱们所熟知的solr和elasticsearch都是基于Lucene所实现。然而随着数据体量的一直减少,当处于万亿数据的场景之下,所有的惯例操作都会面临海量数据带来的微小压力,如何在保留Lucene高效的全文检索能力的状况下应答万亿数据的挑战,同时突破大数据技术栈各组件性能繁多,适配简单的问题。

— QCon寰球软件开发大会(北京) —

Lucene是业界最罕用的搜素引擎,咱们所熟知的solr和elasticsearch都是基于Lucene所实现。然而随着数据体量的一直减少,当处于万亿数据的场景之下,所有的惯例操作都会面临海量数据带来的微小压力,如何在保留Lucene高效的全文检索能力的状况下应答万亿数据的挑战,同时突破大数据技术栈各组件性能繁多,适配简单的问题。针对于此,咱们将会在本次QCon寰球软件开发大会上分享咱们这些年在实现基于Lucene的万亿数据挑战中所遇到的问题和解决方案。

01 讲师介绍

郑其华 录信数软 技术总监

原FNST(富士通南大)资深工程师,富士通零碎监督中间件产品项目经理,10年以上软件开发与保护教训

富士通中间件Lifecycle Management和Job Management认证专家

曾负责华为RTOS(实时嵌入式操作系统)的保护,对Linux内核、零碎监督等方面有丰盛教训

中汽研《2020汽车企业数字化研讨会》受邀演讲嘉宾

02 内容预报

万亿数据的挑战与实现

万亿挑战之一:数据存储

如何解决读写不平衡问题,让磁盘盲目分工,实现主动平衡?

如何解决数据安全问题,防止磁盘损坏、误删失落对于生产的影响?

如何解决数据存储老本过高,适度依赖于SSD盘的硬件困局?

万亿挑战之二,检索性能

如何实现在万亿数据的全文检索中的秒级响应?

万亿挑战之三,多维统计

如何升高IO耗费,实现百万条数据霎时导出?

万亿挑战之四,区域检索

如何晋升地理位置检索能力,晋升地理位置检索的精确性?

万亿挑战之五,计算框架

如何晋升Spark性能从而大幅提高零碎的响应工夫?

5月29日,咱们北京见!


推荐阅读
  • 本书《.NET Core 2.* 开发者指南》是面向开发者的全面学习与实践手册,涵盖了从基础到高级的各个层面。书中详细解析了 .NET Core 的核心概念,包括如何创建 .NET Core 网站,并通过视频教程直观展示操作过程。此外,还深入探讨了 Startup 类的作用、项目目录结构的组织方式以及如何在应用中使用静态文件等内容。对于希望深入了解 .NET Core 架构和开发技巧的开发者来说,本书提供了丰富的实践案例和详尽的技术指导。 ... [详细]
  • 本文档提供了详细的MySQL安装步骤,包括解压安装文件、选择安装类型、配置MySQL服务以及设置管理员密码等关键环节,帮助用户顺利完成MySQL的安装。 ... [详细]
  • 拖拉切割直线 ... [详细]
  • VS Code 中 .vscode 文件夹配置详解
    本文介绍了 VS Code 中 .vscode 文件夹下的配置文件及其作用,包括常用的预定义变量和三个关键配置文件:launch.json、tasks.json 和 c_cpp_properties.json。 ... [详细]
  • 本文探讨了 Boost 库中的 Program Options 组件,这是一个强大的工具,用于解析命令行参数和配置文件。文章介绍了如何正确设置和使用该组件,包括处理复杂选项和负数值的方法。 ... [详细]
  • 探讨Linux系统中PCI设备的I/O地址与内存映射的区别及其实现方式。 ... [详细]
  • 最新进展:作为最接近官方声明的信息源,本文吸引了大量关注。若需获取最新动态,请访问:lkhill.com/ccie-version-5-update ... [详细]
  • 本文详细介绍了HDFS的基础知识及其数据读写机制。首先,文章阐述了HDFS的架构,包括其核心组件及其角色和功能。特别地,对NameNode进行了深入解析,指出其主要负责在内存中存储元数据、目录结构以及文件块的映射关系,并通过持久化方案确保数据的可靠性和高可用性。此外,还探讨了DataNode的角色及其在数据存储和读取过程中的关键作用。 ... [详细]
  • 利用Jenkins与SonarQube集成实现高效代码质量检测与优化
    本文探讨了通过在 Jenkins 多分支流水线中集成 SonarQube,实现高效且自动化的代码质量检测与优化方法。该方案不仅提高了开发团队的代码审查效率,还确保了软件项目的持续高质量交付。 ... [详细]
  • java电商,java电商项目面试题
    本文目录一览:1、为什么很多商家选择Java商城系统? ... [详细]
  • 中文分词器elasticsearchanalysisik下载及安装教程
    注意:elasticsearch-analysis-ik的版本最好与elasticsearch版本一致1,下载Releasesmedclelasti ... [详细]
  • 「驭龙」开源主机入侵检测系统了解一下
    「驭龙」开源主机入侵检测系统了解一下 ... [详细]
  • Spring cloud微服务架构前后端分离博客系统,Vue+boot源码分享 ... [详细]
  • ***获取ES连接类**@author陈康*@description*@create20190815**@Component("Elasticsearch ... [详细]
  • Elasticsearch简单使用系列安装
    2019独角兽企业重金招聘Python工程师标准1.elasticsearch支持的操作系统和JVM版本https:www.elastic.cosupportmatrix2. ... [详细]
author-avatar
Lucifer叨
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有