新書推薦:
《
鸣沙丛书·鼎革:南北议和与清帝退位
》
售價:HK$
121.0
《
从康德到黑格尔的发展:兼论宗教哲学(英国观念论名著译丛)
》
售價:HK$
60.5
《
突破不可能:用特工思维提升领导力
》
售價:HK$
77.3
《
王阳明大传:知行合一的心学智慧(精装典藏版)
》
售價:HK$
221.8
《
失衡与重塑——百年变局下的中国与世界经济
》
售價:HK$
132.2
《
不被定义的年龄:积极年龄观让我们更快乐、健康、长寿
》
售價:HK$
77.3
《
南方谈话:邓小平在1992
》
售價:HK$
80.6
《
纷纭万端 : 近代中国的思想与社会
》
售價:HK$
109.8
|
內容簡介: |
本书基于作者近几年来的研究开发成果及应用实践,对物联网大数据技术体系进行了系统归纳,阐述了物联网环境下感知数据的特性、数据模型、事务模型以及调度处理方法等核心概念及关键技术,并对物联网大数据存储、管理、计算与分析的基本概念和关键技术进行了剖析。本书还介绍了自行研发的面向物联网的ChinDB实时感知数据库系统以及针对云计算环境下物联网大数据管理与应用的DeCloud云平台,介绍了它们在智能交通、智能电厂、教育、安全监控等多个行业的应用。书中所有实例,均来自作者所在团队的实际应用,大部分在物联网项目中得到了实践应用。本书对物联网应用的开发以及两化融合、工业4.0环境下的大数据处理分析具有重要参考价值。
|
關於作者: |
2000年被聘为中科院计算技术研究所研究员,入选中科院海外杰出人才计划(百人计划)。现任网络重点实验室研究员,博士生导师,中科院研究生院教授。兼任计算机研究与发展、计算机学报编委,山东科技大学软件集成与服务工程研究所所长。主要研究兴趣为分布式系统、互联网服务、业务流程管理和协同以及跨管理域的行业应用集成。在数据库、工作流、分布对象中间件、移动计算、网格计算和软件基础理论等多个领域主持和参与完成了包括德国科教部专项、美国自然基金会的基础研究项目、国家863专项、国家基金、国家十五攻关以及科学院知识创新工程以及行业应用等科研和工程项目近30项,撰写或合作撰写学术论文90余篇,出版专著4部,专利10余项。
|
目錄:
|
第1篇缘起与发展趋势篇
第1章物联网与产业发展3
1.1物联网产业的发展3
1.1.1传感器与智能硬件4
1.1.2物联网服务平台5
1.1.3工业4.0与CPS5
1.2物联网与大数据7
1.3物联网产业的机遇与挑战9
1.3.1物联网产业面临的挑战9
1.3.2物联网操作系统与数据库10
1.3.3物联网大数据处理与应用11
第2章大数据处理技术的发展12
2.1大数据存储和管理技术12
2.1.1面向大数据的文件系统13
2.1.2面向大数据的数据库系统15
2.2大数据计算技术19
2.2.1批处理计算模式19
2.2.2交互式查询计算模式20
2.2.3流处理计算模式21
2.2.4大数据实时处理的架构:Lamda架构23
2.3大数据分析技术24
2.3.1传统结构化数据分析26
2.3.2文本数据分析26
2.3.3多媒体数据分析27
2.3.4社交网络数据分析27
2.3.5物联网传感数据分析28
2.3.6大数据分析技术的发展趋势28
第2篇技术解析篇
第3章物联网大数据技术体系31
3.1物联网中的大数据挑战31
3.1.1互联网大数据的特征31
3.1.2物联网大数据的特征34
3.2技术体系37
3.2.1感知数据采集与传输38
3.2.2感知数据管理与实时计算41
3.2.3物联网平台与大数据中心42
第4章感知数据特性与模型44
4.1感知数据的特性分析44
4.1.1常用的感知数据类型44
4.1.2感知数据的主要特征46
4.2感知数据的表示与组织49
4.2.1物联网数据模型49
4.2.2时态对象模型51
4.3感知数据库的定位52
4.3.1感知数据库的定位52
4.3.2感知数据库的特征53
4.4感知数据库与传统数据库53
4.4.1感知数据库与关系数据库53
4.4.2感知数据库与实时数据库系统54
4.4.3感知数据库与工厂数据库系统55
4.4.4感知数据库与流数据处理系统55
第5章感知数据库管理系统57
5.1感知数据库的总体设计57
5.1.1总体设计的主要原则57
5.1.2感知数据库的设计框架58
5.2感知数据库的分布部署体系62
5.2.1系统的集群部署模式62
5.2.2多层级的系统部署体系64
5.2.3服务分布的部署体系66
5.3感知数据库中的关键技术67
5.3.1智能设备及传感器接口技术67
5.3.2流数据实时在线处理技术68
5.3.3事件驱动的高效处理机制69
5.3.4感知数据的压缩存储技术75
第6章实时事务调度处理技术79
6.1常见事务特性分析79
6.1.1感知事务80
6.1.2触发事务80
6.1.3用户事务81
6.2事务调度与并发控制81
6.2.1事务的调度方法81
6.2.2并发控制策略82
6.3服务器与操作系统83
6.3.1服务器体系结构与发展83
6.3.2操作系统的多任务机制87
6.4事务的执行框架与模式90
6.4.1通用系统模型与调度方法91
6.4.2事务处理框架的设计模式91
6.5系统框架的分析与性能优化94
第7章物联网大数据存储与管理97
7.1云文件系统的关键技术99
7.1.1HDFS的目标和基本假设条件99
7.1.2HDFS体系架构100
7.1.3性能保障102
7.2NoSQL数据库关键技术106
7.2.1NoSQL数据库概述106
7.2.2基于NoSQL数据库的物联网大数据存储与管理118
第8章物联网大数据计算与分析123
8.1物联网大数据批处理计算123
8.1.1MapReduce的设计思想124
8.1.2MapReduce的工作机制126
8.1.3MapReduce在物联网大数据中的应用128
8.2物联网大数据交互式查询130
8.2.1原生SQL on HBase131
8.2.2SQL on Hadoop132
8.2.3基于HBase的交互式查询133
8.3物联网大数据流式计算134
8.3.1流式计算的需求特点134
8.3.2流数据基本概念135
8.3.3流数据查询操作140
8.3.4流数据定制化服务142
8.3.5评测基准145
8.3.6Spark Streaming及其在物联网大数据中的应用146
8.4物联网大数据分析150
8.4.1物联网大数据OLAP多维分析151
8.4.2物联网大数据深层次分析157
第3篇产品研发篇
第9章物联网网关CubeOne175
9.1工业物联网网关175
9.1.1CubeOne产品概述175
9.1.2CubeOne功能特点176
9.1.3CubeOne的应用领域178
9.2无线传感器网络网关178
9.2.1无线传感器网络概述178
9.2.2ZigBee-WiFi网关180
9.2.3ZigBee网络应用案例182
第10章ChinDB感知数据库系统185
10.1ChinDB系统概述185
10.2ChinDB组成与功能特点186
10.3ChinDB数据组织管理188
10.3.1标签点及其属性188
10.3.2标签点的组织方式189
10.3.3关系数据管理190
10.3.4历史数据管理190
10.4ECA规则与实时计算191
10.5ChinDB的HA方案192
10.5.1HA概述及模式分类192
10.5.2ChinDB HA的部署模式193
10.6物联网应用平台195
10.6.1物联网平台概述195
10.6.2平台主要特点196
10.6.3应用领域与应用案例198
第11章DeCloud物联大数据云平台202
11.1DeCloud组成202
11.1.1软件概述202
11.1.2通信服务204
11.1.3计算服务206
11.1.4存储服务207
11.1.5数据发布订阅服务208
11.2DeCloud在智能交通领域的应用209
11.3DeCloud在教育物联网云服务平台中的应用215
11.4DeCloud在电厂设备故障预警的应用218
11.5DeCloud在电梯安全监控中的应用222
11.6DeCloud在高精度位置服务中的应用225
总结与展望
|
內容試閱:
|
前言
随着物联网产业的迅速发展,物联网应用也正由离散的、示范性应用逐步走向多层次、规模化应用,并且深入地融合入人们生活及工业生产制造的各个环节。特别是,互联网及移动互联网不再仅仅是人与人之间的联络通道,物与物、物与人之间也逐步建立了持续的互动关系。我们通过部署在远端的、无处不在的传感器能够极大地扩展我们的感知能力,由这些传感器产生的数据正通过互联网改变着我们的生活。
分散部署的亿万级的各类传感器持续产生海量的数据,这些感知数据的采集、处理、传输以及存储管理、挖掘分析都让我们面临着一系列新的挑战。随着大数据技术的发展与应用,这些数据的处理与利用正得到越来越多的重视与关注。但是,不同于互联网中大数据的非结构化及价值密度低等特性,物联网应用中的数据更加倾向于结构化、及时的处理需求以及价值密度与数据量成正比等特性,需要有序的管理与处理利用。
本书作者近几年研究开发成果及应用实践的基础上,通过系统地分析物联网中这类感知数据的特点及相应的事务处理特性,针对互联网场景下的物联网大数据而提出了一套三层的物联网大数据处理的技术体系。并在此基础上,就相关的技术开展进行了深入的探讨与分析。进一步,介绍了作者所在团队研发的相关产品,以及这些产品在智能交通、智能电厂、教育、安全监控等领域的应用案例。希望这些内容对于物联网应用的开发者及两化融合、工业4.0环境下的大数据处理分析提供重要的指导与参考价值。
全书分为3篇:缘起与发展趋势篇、技术解析篇、产品研发篇。缘起与发展趋势篇包括第1章物联网与产业发展以及第2章大数据处理技术的发展,主要针对物联网产业以及大数据处理相关技术进行简要介绍以及发展趋势的分析与探讨。技术解析篇包括第3章到第8章,其中第3章物联网大数据技术体系主要针对物联网大数据处理的挑战提出相应的技术体系;第4章感知数据特性与模型,并进一步提出物联网感知数据库系统,进一步在第5章针对感知数据库系统的设计、关键技术以及部署体系进行阐述;面对物联网感知数据处理的实时性需求,第6章就这类事务的实时调度、并发控制以及事务的执行模式与框架进行深入的探讨,从而为这类系统的开发实现提供有价值的参考;第7章主要针对物联网大数据在云端的存储管理进行分析,第8章主要探讨物联网大数据的计算与分析技术。产品研发篇包括第9章到第11章,分别介绍物联网大数据处理的三个层次中对应的产品以及这些产品的成功应用案例,为读者开展物联网大数据的应用工作提供参考。
本书主要由王桂玲、王强、赵卓峰、韩燕波编著,参与编著的还有刘晨、李寒、房俊。其中,王桂玲主要编写了第2章、第7章、第8章、第11章的内容,王强主要编写了第1章、第3章、第4章、第5章、第6章、第9章、第10章的内容,赵卓峰参与编写了第11章,韩燕波教授整体组织了本书的内容及结构,并对本书关键内容进行把关。刘晨、李寒分别参与编写了11.4节、11.5节内容,房俊参与编写了7.2.3节内容。实验室硕士研究生曹波、李冬、王路辉参与了本书部分实例的验证。
本书内容特别是本书所介绍的相关研发产品是北方工业大学计算机学院数据工程研究院、大规模流数据集成与分析技术北京市重点实验室及中科启信公司全体人员集体努力的结晶。本书得到了国家自然科学基金(No. 61672042)、北京市自然科学基金(No. 4172018)的资助。
在本书编写过程中,得到了戴国忠研究员的大力指导与帮助,还得到了其他许多师友的帮助和鼓励,在这里我们无法一一列举,谨向他们表示真挚的感谢。
电子工业出版社的董亚峰老师、米俊萍老师为书稿的面世给予了大力的帮助。在此,对二位老师表示衷心的感谢!
物联网大数据的应用尚处于初级阶段,由于作者水平所限,本书缺点以及不足之处在所难免,欢迎广大读者批评指正。
|
|