热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

(转)开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引

Github,Soundcloud,FogCreek,***,Foursquare,等公司通过elasticsearch提供搜索或大规模日志分析可视化等

Github, Soundcloud, FogCreek, ***, Foursquare,等公司通过elasticsearch提供搜索或大规模日志分析可视化等服务。博主近4个月搜索数以百计的内容,甄选了以下有用的中英文slides以及blogs或相关的学习网站分享出来, 内容包括分布式索引与搜索服务Elasticsearch, logstash,数据可视化服务Kibana的学习资源,可以极大减少入门ELK的时间成本:

 

1.ELK整体介绍(Elasticsearch + Logstash + Kibana)

    (必看) Using elasticsearch, logstash & kibana to create realtime dashboards
        https://speakerdeck.com/elasticsearch/using-elasticsearch-logstash-and-kibana-to-create-realtime-dashboards
        Elasticsearch官方的slide

    (必看) Collect & visualize your logs with Logstash, Elasticsearch & Redis
        http://michael.bouvy.net/blog/en/2013/11/19/collect-visualize-your-logs-logstash-elasticsearch-redis-kibana/
        对搭建ELK平台的具体操作做了详细介绍。

    (必看)2014 SCALE12X-Introduction to Elasticsearch, Logstash and Kibana
        https://speakerdeck.com/elasticsearch/scale-12x-introduction-to-elasticsearch-logstash-and-kibana
        Elasticsearch的说明占50%,logstash的说明占40%,Kibana的说明占10%

    使用logstash+elasticsearch+kibana快速搭建日志平台
        http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html

    Kibana+Logstash+Elasticsearch 日志查询系统
        http://enable.blog.51cto.com/747951/1049411

    Log Analytics Using Elasticsearch-Logstash-Kibana(Part 1)
        http://blog.nugrahais.me/blog/2013/12/23/log-analytics-using-elasticsearch-logstash-kibana-part-1/

    Using ElasticSearch and Logstash to Serve Billions of Searchable Events for Customers
        http://www.elasticsearch.org/blog/using-elasticsearch-and-logstash-to-serve-billions-of-searchable-events-for-customers/
        使用ELK的一个案例介绍

    一个很简洁,很简洁的ELK介绍 (2014年9月16日更新)

        http://slides.com/garyelephant/elk-intro#/

 

 

2.logstash介绍

    (必看) Logstash -Nicolas Szalay
        http://slides.com/aurelienrougemont/logstash/

    (必看) Getting started with Logstash - New to Logstash? Start here!
        http://logstash.net/docs/1.4.0/tutorials/getting-started-with-logstash
        
    (必看) Logstash-Jordan Sissel
        http://semicomplete.com/presentations/logstash-scale11x/#/

    Logstash and friends
        http://www.slideshare.net/roidelapluie/logstash-and-friends?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=11

    Logstash
        http://www.slideshare.net/startit/logstash-29012201?qid=0c61ce8f-1a87-4678-a9c7-61a18ae74993&v=default&b=&from_search=7
        page 11 to page 32:直观的罗列了一些input,filter,output,讲解了一下grok pattern

    Starting out with grok in Logstash
        http://antonlindstrom.com/2012/09/24/starting-out-with-grok-in-logstash.html
        介绍Logstash Grok Filter

    (重要) Logstash1.4.0 Grok Filter Docs
        http://logstash.net/docs/1.4.0/filters/grok

    (重要) Logstash1.4.0 Grok Filter 的 Predefined Patterns
        https://github.com/elasticsearch/logstash/tree/v1.4.0/patterns
        如BASE10NUM的Predefined Pattern是 (?[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))

    (重要) http://grokdebug.herokuapp.com/
        可以用来学习和测试Grok匹配的一个网站

 

 

3.Elasticsearch介绍

    (必看) Elasticsearch :Search made easy for (web) developers
        http://spinscale.github.io/elasticsearch/2012-03-jugm.html#/

    (必看) Getting Down and dirty with Elasticsearch
        http://www.slideshare.net/clintongormley/down-and-dirty-with-elasticsearch
        200pages+的slide,对Elasticsearch的Rest API介绍的比较多

    (必看) Elasticsearch :Pluggable architecture under the hood
        http://spinscale.github.io/elasticsearch-intro-plugins/#/

 

    (必看) An interactive coder oriented Elasticsearch tutorial [此条目更新于2014-10-10]

        https://github.com/s1monw/hammertime

        作者是Elasticsearch的一个主要开发者。纯代码形式的tutorial,简单过了一下Es的主要功能,可以下载下来执行一下。

 

    (必看) Exploring Elasticsearch
        http://exploringelasticsearch.com/
        系统的介绍了Elasticsearch, 当然这本书“Elasticsearch Server”比它更全面、细节更多

    (重要) Terms of endearment - the ElasticSearch Query DSL explained
        http://www.slideshare.net/clintongormley/terms-of-endearment-the-elasticsearch-query-dsl-explained

    Apache Lucene - Query Parser Syntax
        (1) http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax
        (2) http://lucene.apache.org/core/4_6_0/queryparser/org/apache/lucene/queryparser/classic/package-summary.html#Overview
        Lucene的Query语法格式

    Learning Elasticsearch
        http://slides.com/garyelephant/learning-elasticsearch
        推荐一下我制作的slide, 参考了很多资料集百家之所长、有针对性做的,从各方面介绍Elasticsearch, 内容不断更新中。

    (重要) Elasticsearch References: Glossary of terms
        http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/glossary.html#glossary
        Elasticsearch的一些核心概念

    (重要) What is an ElasticSearch Index?
        http://euphonious-intuition.com/2013/02/what-is-an-elasticsearch-index/
        详细介绍Index

    (重要) An introduction to mapping in elasticsearch
        http://euphonious-intuition.com/2012/07/an-introduction-to-mapping-in-elasticsearch/

    inquisitor
        https://github.com/polyfractal/elasticsearch-inquisitor
        这个elasticsearch site pluging 可以帮助你测试和理解Query, 如测试一句话使用各种analyzer分词的结果。
    
    Elasticsearch Facets
        http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/search-facets.html
    
    Elasticsearch Aggregations Overview
        http://chrissimpson.co.uk/elasticsearch-aggregations-overview.html

    Elastic Search Training#1 (brief tutorial)-ESCC#1
        http://www.slideshare.net/medcl/elastic-search-training1-brief-tutorial

    Lucene Scoring and elasticsearch’s _all Field
        http://jontai.me/blog/2012/10/lucene-scoring-and-elasticsearch-_all-field/
        Elasticsearch 数据的score计算
    
    Advanced Scoring in elasticsearch
        http://jontai.me/blog/2013/01/advanced-scoring-in-elasticsearch/
        Elasticsearch 数据的score计算

 

 

4.Elasticsearch优化

    elasticsearch configuration
        http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html#setup-configuration-memory

    elasticsearch configuration and performance tuning.html
        http://weiweiwang.github.io/elasticsearch-configuration-and-performance-tuning.html

    ElasticSearch Training#2 (advanced concepts)-ESCC#1
        http://www.slideshare.net/medcl/elastic-search-training2-advanced-concepts
        Elasticsearch的性能优化,查询优化等技巧

    Elasticsearch Java Virtual Machine settings explained
        http://jprante.github.io/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.html

    ElasticSearch and Logstash Tuning
        http://jablonskis.org/2013/elasticsearch-and-logstash-tuning/
    
    Elasticsearch Plugin: Marvel 
        http://www.elasticsearch.org/overview/marvel/
        Elasticsearch.org发布的Elasticsearch集群监控工具

    Elasticsearch Plugin: Head
        https://github.com/mobz/elasticsearch-head

    Elasticsearch Plugin: Bigdesk - Live charts and statistics for elasticsearch cluster.
        http://bigdesk.org/

    Elasticsearch Plugin: Paramedic
        https://github.com/karmi/elasticsearch-paramedic

    Scaling Massive Elasticsearch Clusters
        http://www.slideshare.net/sematext/scaling-massive-elasticsearch-clusters
        Elasticsearch集群

 

 

5.Kibana介绍

    (必看) 10 Minute Walk Through Kibana
        http://www.elasticsearch.org/guide/en/kibana/current/using-kibana-for-the-first-time.html
        Elasticsearch.org官方的Guide, 最近刚发布的。
    

    Kibana Overview
        http://www.elasticsearch.org/overview/kibana/
    

    What’s Cooking in Kibana
        http://www.elasticsearch.org/blog/whats-cooking-kibana/
    

    Kibana 3: Milestone 4
        http://www.elasticsearch.org/blog/kibana-3-milestone-4/
        Kibana3.m4的新功能特性

    Kibana入門-Yusuke Mito
        https://speakerdeck.com/y310/kibanaru-men?slide=23
        page23 ~ page37  里面有各种panel的截图

 

 

 

6.Elasticsearch的实际应用(updated in 2014-05-05)

 

    Building a Recipe Search Site with Angular and Elasticsearch
        http://www.sitepoint.com/building-recipe-search-site-angular-elasticsearch/
        一个使用Angular和Elasticsearch搭建,食谱搜索应用的简单例子

 

 

7.最根本最重要的Resources

  (1) Elasticsearch团队博客,每周更新
      http://www.elasticsearch.org/blog

  (2) Elasticsearch最新版本的API References
      http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index.html
      
  (3) logstash 1.4.0 的documents
      http://logstash.net/docs/1.4.0/

  (4) Kibana最新版本的documents
      http://www.elasticsearch.org/guide/en/kibana/current/index.html

 

 

7.推荐2本书籍

    "Elasticsearch Server"

              推荐初学者看此书,至少应看完Chapter1,Chapter2, 而且目录可以帮助你规划学习路线。

    "Mastering Elasticsearch"

原文链接:http://garyelephant.me


推荐阅读
  • 微软头条实习生分享深度学习自学指南
    本文介绍了一位微软头条实习生自学深度学习的经验分享,包括学习资源推荐、重要基础知识的学习要点等。作者强调了学好Python和数学基础的重要性,并提供了一些建议。 ... [详细]
  • EPICS Archiver Appliance存储waveform记录的尝试及资源需求分析
    本文介绍了EPICS Archiver Appliance存储waveform记录的尝试过程,并分析了其所需的资源容量。通过解决错误提示和调整内存大小,成功存储了波形数据。然后,讨论了储存环逐束团信号的意义,以及通过记录多圈的束团信号进行参数分析的可能性。波形数据的存储需求巨大,每天需要近250G,一年需要90T。然而,储存环逐束团信号具有重要意义,可以揭示出每个束团的纵向振荡频率和模式。 ... [详细]
  • 推荐系统遇上深度学习(十七)详解推荐系统中的常用评测指标
    原创:石晓文小小挖掘机2018-06-18笔者是一个痴迷于挖掘数据中的价值的学习人,希望在平日的工作学习中,挖掘数据的价值, ... [详细]
  • 解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法
    本文介绍了解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法,包括检查location配置是否正确、pass_proxy是否需要加“/”等。同时,还介绍了修改nginx的error.log日志级别为debug,以便查看详细日志信息。 ... [详细]
  • 在Oracle11g以前版本中的的DataGuard物理备用数据库,可以以只读的方式打开数据库,但此时MediaRecovery利用日志进行数据同步的过 ... [详细]
  • 阿里Treebased Deep Match(TDM) 学习笔记及技术发展回顾
    本文介绍了阿里Treebased Deep Match(TDM)的学习笔记,同时回顾了工业界技术发展的几代演进。从基于统计的启发式规则方法到基于内积模型的向量检索方法,再到引入复杂深度学习模型的下一代匹配技术。文章详细解释了基于统计的启发式规则方法和基于内积模型的向量检索方法的原理和应用,并介绍了TDM的背景和优势。最后,文章提到了向量距离和基于向量聚类的索引结构对于加速匹配效率的作用。本文对于理解TDM的学习过程和了解匹配技术的发展具有重要意义。 ... [详细]
  • GetWindowLong函数
    今天在看一个代码里头写了GetWindowLong(hwnd,0),我当时就有点费解,靠,上网搜索函数原型说明,死活找不到第 ... [详细]
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 向QTextEdit拖放文件的方法及实现步骤
    本文介绍了在使用QTextEdit时如何实现拖放文件的功能,包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数,并结合QMimeData和QUrl等类,可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]
  • 本文介绍了数据库的存储结构及其重要性,强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离,可以实现对物理存储的重新组织和数据库的迁移,而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构,并介绍了表空间的概念和作用。 ... [详细]
  • android listview OnItemClickListener失效原因
    最近在做listview时发现OnItemClickListener失效的问题,经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效,还会导致单击后listview每个item的背景改变,使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况,并提供了解决方法。 ... [详细]
  • 原文地址:https:www.cnblogs.combaoyipSpringBoot_YML.html1.在springboot中,有两种配置文件,一种 ... [详细]
  • XML介绍与使用的概述及标签规则
    本文介绍了XML的基本概念和用途,包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则,包括标签的尖括号和合法标识符的组成,标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读,读者可以对XML的基本知识有一个全面的了解。 ... [详细]
  • 本文介绍了一种轻巧方便的工具——集算器,通过使用集算器可以将文本日志变成结构化数据,然后可以使用SQL式查询。集算器利用集算语言的优点,将日志内容结构化为数据表结构,SPL支持直接对结构化的文件进行SQL查询,不再需要安装配置第三方数据库软件。本文还详细介绍了具体的实施过程。 ... [详细]
author-avatar
金和裤城_996
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有