新書推薦:
《
不被定义的年龄:积极年龄观让我们更快乐、健康、长寿
》
售價:HK$
77.3
《
南方谈话:邓小平在1992
》
售價:HK$
80.6
《
纷纭万端 : 近代中国的思想与社会
》
售價:HK$
109.8
《
中国古代文体形态研究(第四版)(中华当代学术著作辑要)
》
售價:HK$
168.0
《
朋党之争与北宋政治·大学问
》
售價:HK$
99.7
《
甲骨文丛书·波斯的中古时代(1040-1797年)
》
售價:HK$
88.5
《
以爱为名的支配
》
售價:HK$
62.7
《
台风天(大吴作品,每一种生活都有被看见的意义)
》
售價:HK$
53.8
|
編輯推薦: |
你将从本书学习到:
安装、配置并运行Elasticsearch、Logstash和Kibana
理解日志分析的需求,以及当前在日志分析中的挑战
使用ELK构建自己的数据管道
熟悉Logstash的关键特性及其提供的不同的输入、过滤和输出插件
构建自定义Logstash插件
使用Kibana的图表、直方图和快速搜索等特性创建有价值的分析
理解Elasticsearch在ELK技术栈中的作用
|
內容簡介: |
本书将从向你展示如何通过安装工具和基本配置来设置堆栈开始,来向你介绍ELK Elasticsearch Logstash,Kibana堆栈。然后教你使用ELK堆栈去构建一个基础数据管道。最后,你将探索Logstash的关键特性及其在ELK堆栈中的作用,包括创建Logstash插件,这将使你使用自己的自定义插件。
|
關於作者: |
宁海元,现袋鼠云公司CTO,原阿里巴巴集团高级技术专家。2007年加入淘宝,负责淘宝DBA团队,经历了淘宝数据库从垂直拆分、水平拆分,迁移到MySQL体系等主要工作。2012年开始负责无线数据团队,关注无线客户端数据采集、分析、挖掘和反作弊。2015年正式加入袋鼠云。 Saurabh Chhajed是一名技术专家,在产品和服务业构建企业应用领域有着丰富而专业的经验。他在大数据分析和机器学习领域有很多实际的构建工程应用的经历,并且乐于布道大数据和NoSQL 技术。Saurabh 利用他丰富的技术经验,帮助美国很多大型的金融和工业企业从零开始构建大型的产品体系和分布式应用。他在个人网站 http:saurzcode.in 分享了很多的个人技术经验。
|
目錄:
|
前言 ............................................................................................................. XIII
1 EKL 技术栈介绍 ......................................................................................... 1
日志分析的必要性 ................................................................................................................... 1
问题调试 .................................................................................................................................................. 2
性能分析 .................................................................................................................................................. 2
安全分析 .................................................................................................................................................. 2
预测分析 .................................................................................................................................................. 2
物联网日志 .............................................................................................................................................. 3
日志分析的挑战 ....................................................................................................................... 3
不一致的日志格式 .................................................................................................................................. 3
不同的时间格式 ...................................................................................................................................... 4
专业知识的需求 ...................................................................................................................................... 5
ELK 技术栈 .............................................................................................................................. 5
Elasticsearch ............................................................................................................................................. 5
Logstash .................................................................................................................................................... 6
Kibana ...................................................................................................................................................... 6
ELK 数据管道 .......................................................................................................................... 7
安装 ELK 技术栈 ..................................................................................................................... 8
安装 Elasticsearch .................................................................................................................................... 8
运行 Elasticsearch .................................................................................................................................... 9
配置 Elasticsearch .................................................................................................................................. 10
Elasticsearch 插件 .................................................................................................................................. 11
安装 Logstash ......................................................................................................................................... 11
运行 Logstash ......................................................................................................................................... 12
Logstash 的文件输入插件 ..................................................................................................................... 13
Learning ELK stack(中文版)
【VIII】
Logstash 的 Elasticsearch 输出插件 ..................................................................................................... 13
配置 Logstash ......................................................................................................................................... 14
安装 Logstash forworder ........................................................................................................................ 15
Logstash 插件 ......................................................................................................................................... 15
安装 Kibana ........................................................................................................................................... 17
配置 Kibana ........................................................................................................................................... 18
运行 Kibana ........................................................................................................................................... 18
Kibana 的界面 ....................................................................................................................................... 19
总结 ......................................................................................................................................... 22
2 构建第一条 ELK 数据管道 ........................................................................ 23
输入的数据集 ......................................................................................................................... 23
输入数据集的数据格式 ........................................................................................................................ 23
配置 Logstash 的输入 ............................................................................................................ 25
过滤和处理输入数据 ............................................................................................................. 26
将数据存储到 Elasticsearch ................................................................................................... 29
使用 Kibana 可视化 ............................................................................................................... 32
运行 Kibana ........................................................................................................................................... 32
Kibana 可视化组件 ............................................................................................................................... 34
构建折线图 ............................................................................................................................................ 35
构建柱状图 ............................................................................................................................................ 36
构建度量 ................................................................................................................................................ 37
构建数据表 ............................................................................................................................................ 38
总结 ......................................................................................................................................... 40
3 使用 Logstash 采集、解析和转换数据 ..................................................... 41
配置 Logstash ......................................................................................................................... 41
Logstash 插件 ........................................................................................................................ 42
列出 Logstash 的所有插件 .................................................................................................................... 42
插件属性的数据类型 ............................................................................................................................ 43
Logstash 条件语句 ................................................................
|
內容試閱:
|
译者序
随着云计算和大数据的发展,分布式架构已经成为常态。分布式架构解决了系统随着业务发展的可扩展性问题,也随之引入了一些新的问题。比如日志,在分布式系统中,日志也随之分布到多台服务器上。这时候,要借助日志来排查系统问题,或者分析业务数据等,成本就比传统的单机系统要高出很多了。
从大数据的角度来看,大数据的来源,主要包括:
1. 数据库
2. 日志文件
3. 爬虫
其中日志文件是最常见也是量最大的数据来源。爬虫也经常会将初步处理的数据以文件的形式存放,也可以归结到日志文件一类。解决日志文件的采集、解析和分析,也是大数据时代的普遍需求。
所以,在云计算和大数据时代,将分布在多台服务器上的日志集中起来,统一地进行存储、解析、搜索和分析展现,成为一种普遍需求。在开源领域,ELK 技术栈是解决日志问题的一种流行方案,这两年来得到了越来越多公司的青睐。ELK 技术栈中的E,代表Elasticsearch,是基于Lucene 构建的一套分布式搜索引擎,并且在传统的基于倒排索引的搜索功能之外,通过引入列式存储DocValue,具备了不错的分析能力。
我在创立袋鼠云之初,就将日志做为公司大数据产品的主攻方向,基于Elasticsearch和Logstash 开发了袋鼠云日志。在产品的开发过程中,对Elasticsearch、Logstash 和Kibana这套ELK 技术栈有了更深的认识。在日志场景下,这确实是非常匹配的一套开源的日志解决方案。但要用好这套开源产品,也需要深入理解每个组件的细节,需要有一支技术能力较强的团队来维护和开发。
今年春节前,电子工业出版社的张春雨在朋友圈征集这本书的译者时,刚好是我们团队在设计袋鼠云日志的阶段,所以毫不犹豫的点赞抢得了这个机会。完稿之后,才发现这本书写得真是非常扎实,各种细节娓娓道来,真正做到了深入浅出,对于技术写作来说,这相当不容易。所以这次翻译工作也让我们团队获益不小,希望本书的读者同样也能有所收获。
为了让本书尽快和读者见面,我们组织了一个袋鼠云的专家团队。我本人负责第一、二章,张新铭负责第三、四章,阚海明负责第五、六、七章,林杰负责第八、九、十章,最后由我统一审稿。由于时间比较紧张,疏漏之处难免,敬请读者朋友们指正。
宁海元 袋鼠云CTO
201656 于西园
|
|