新書推薦:
![纯粹·四手联弹](http://103.6.6.66/upload/mall/productImages/24/26/9787559869128.jpg)
《
纯粹·四手联弹
》
售價:HK$
59.8
![论目的(西塞罗哲学文集;崔延强 主编)](http://103.6.6.66/upload/mall/productImages/24/28/9787300328737.jpg)
《
论目的(西塞罗哲学文集;崔延强 主编)
》
售價:HK$
89.7
![障碍是道路 生活充满了障碍,毅力与韧性直面痛苦和逆境](http://103.6.6.66/upload/mall/productImages/24/27/9787516927700.jpg)
《
障碍是道路 生活充满了障碍,毅力与韧性直面痛苦和逆境
》
售價:HK$
90.9
![工业数字化本质:数字化平台下的业务实践](http://103.6.6.66/upload/mall/productImages/24/28/9787111754152.jpg)
《
工业数字化本质:数字化平台下的业务实践
》
售價:HK$
102.4
![OKR实战宝典:顶尖企业的成功秘籍(目标与关键成果法实战宝典)(组织变革与创新管理系列丛书)](http://103.6.6.66/upload/mall/productImages/24/27/9787521642568.jpg)
《
OKR实战宝典:顶尖企业的成功秘籍(目标与关键成果法实战宝典)(组织变革与创新管理系列丛书)
》
售價:HK$
98.9
![历史的棋局](http://103.6.6.69/upload/mall/productImages/y24/7/9787564244026.jpg)
《
历史的棋局
》
售價:HK$
66.7
![跨境金融基础设施:现状和未来](http://103.6.6.66/upload/mall/productImages/24/27/9787500179467.jpg)
《
跨境金融基础设施:现状和未来
》
售價:HK$
90.9
![哲学与战争:京都学派六哲人思想素描](http://103.6.6.66/upload/mall/productImages/24/26/9787559870148.jpg)
《
哲学与战争:京都学派六哲人思想素描
》
售價:HK$
79.4
|
編輯推薦: |
本书注重云计算与大数据基本概念的讲解,以案例的方式梳理知识脉络和要点,提供综合云计算实验案例及丰富的配套资源。
|
內容簡介: |
本书在阐述云计算和大数据关系的基础上,介绍了云计算和大数据的基本概念、技术及应用。全书内容分为三部分。第一部分为云计算理论与技术,第1~5章讲述云计算的概念和原理,包括云计算的概论、基础、机制、虚拟化和应用。第二部分为大数据理论与技术,第6~9章讲述大数据概述及基础,包括大数据概念和发展背景、大数据系统架构概述、分布式通信与协同、大数据存储; 第10~15章讲述大数据处理,包括分布式处理、Hadoop MapReduce解析、Spark解析、流计算、集群资源管理与调度、机器学习。第三部分为综合实践,第16~22章由多个实验和案例组成。 本书结合实际应用及实践过程来讲解相关概念、原理和技术,实用性较强,适合作为本科院校计算机、软件工程、云计算、大数据及信息管理等相关专业的教材,也适合计算机爱好者阅读和参考。
|
目錄:
|
第一部分云计算理论与技术
第1章云计算概论
1.1什么是云计算
1.2云计算的产生背景
1.3云计算的发展历史
1.4如何学好云计算
1.5小结
习题
第2章云计算基础
2.1分布式计算
2.2云计算的基本概念
2.3分布式计算和云计算的区别与联系
2.4云计算的关键技术
2.4.1分布式海量数据存储
2.4.2虚拟化技术
2.4.3云管理平台技术
2.4.4并行编程技术
2.4.5数据管理技术
2.5云交付模型
2.5.1SaaS
2.5.2PaaS
2.5.3IaaS
2.5.4基本云交付模型的比较
2.6云部署模式
2.6.1公有云
2.6.2私有云
2.6.3混合云
2.7云计算的优势与挑战
2.8典型的云应用
2.8.1云存储
2.8.2云服务
2.8.3云物联
2.9云计算与大数据
2.10小结
习题
第3章云计算机制
3.1云基础设施机制
3.1.1虚拟网络边界
3.1.2虚拟服务器
3.1.3云存储设备
3.1.4就绪环境
3.2云管理机制
3.2.1远程管理系统
3.2.2资源池化管理
3.2.3服务等级协议管理系统
3.2.4计费管理系统
3.2.5资源备份
3.2.6云监控
3.2.7自动化运维
3.2.8服务模板管理
3.2.9云CMDB及流程管理
3.2.10服务目录管理
3.2.11租户及用户管理
3.2.12容量规划及管理
3.3特殊云机制
3.3.1自动伸缩监听器
3.3.2负载均衡器
3.3.3故障转移系统
3.3.4资源集群
3.3.5多设备代理
3.3.6状态管理数据库
3.4小结
习题
第4章虚拟化
4.1虚拟化简介
4.1.1什么是虚拟化
4.1.2虚拟化的发展历史
4.1.3虚拟化带来的好处
4.2虚拟化的分类
4.2.1服务器虚拟化
4.2.2网络虚拟化
4.2.3存储虚拟化
4.2.4应用虚拟化
4.2.5技术比较
4.3系统虚拟化
4.4虚拟化与云计算
4.5开源技术
4.5.1Xen
4.5.2KVM
4.5.3OpenVZ
4.6虚拟化未来的发展趋势
4.7小结
习题
第5章云计算的应用
5.1概述
5.2亚马逊公司的弹性计算云
5.2.1开放的服务
5.2.2灵活的工作模式
5.2.3带来的好处
5.3Microsoft Azure
5.3.1简介
5.3.2Microsoft Azure的架构
5.3.3Microsoft Azure服务平台
5.3.4开发步骤
5.4谷歌公司的云计算平台与应用
5.4.1MapReduce分布式编程环境
5.4.2分布式大规模数据库管理系统BigTable
5.4.3谷歌的云应用
5.5阿里云
5.5.1简介
5.5.2阿里云的主要产品
5.6IBM公司的蓝云云计算平台
5.6.1蓝云云计算平台中的虚拟化
5.6.2蓝云云计算平台中的存储结构
5.7清华大学的透明计算平台
5.8小结
习题
第二部分大数据理论与技术
第6章大数据概念和发展背景
6.1什么是大数据
6.2大数据的特点
6.3大数据的发展
6.4大数据的应用
6.5小结
习题
第7章大数据系统架构概述
7.1总体架构概述
7.1.1总体架构设计原则
7.1.2总体架构参考模型
7.2运行架构概述
7.2.1物理架构
7.2.2集成架构
7.2.3安全架构
7.3主流大数据系统厂商
7.3.1Cloudera
7.3.2Hortonworks
7.3.3亚马逊
7.3.4谷歌
7.3.5微软
7.3.6阿里云数加平台
7.4小结
习题
第8章分布式通信与协同
8.1数据编码传输
8.1.1数据编码概述
8.1.2LZSS算法
8.1.3Snappy压缩库
8.2分布式通信系统
8.2.1远程过程调用
8.2.2消息队列
8.2.3应用层多播通信
8.2.4Hadoop IPC应用
8.3分布式协同系统
8.3.1Chubby锁服务
8.3.2ZooKeeper
8.3.3ZooKeeper在HDFS高可用中使用
8.4小结
习题
第9章大数据存储
9.1大数据存储技术的发展
9.2海量数据存储的关键技术
9.2.1数据分片与路由
9.2.2数据复制与一致性
9.3重要数据结构和算法
9.3.1Bloom Filter
9.3.2LSM树
9.3.3Merkle哈希树
9.3.4Cuckoo哈希
9.4分布式文件系统
9.4.1文件存储格式
9.4.2GFS
9.4.3HDFS
9.5分布式数据库NoSQL
9.5.1NoSQL数据库概述
9.5.2KV数据库
9.5.3列式数据库
9.5.4图数据库
9.5.5文档数据库
9.6HBase数据库搭建与使用
9.6.1HBase伪分布式运行
9.6.2HBase分布式运行
9.7大数据存储技术的趋势
9.8小结
习题
第10章分布式处理
10.1CPU多核和POSIX Thread
10.2MPI并行计算框架
10.3Hadoop MapReduce
10.4Spark
10.5数据处理技术的发展
10.6小结
习题
第11章Hadoop MapReduce解析
11.1Hadoop MapReduce架构
11.2Hadoop MapReduce与高性能计算、网格计算的区别
11.3MapReduce工作机制
11.3.1Map
11.3.2Reduce
11.3.3Combine
11.3.4Shuffle
11.3.5Speculative Task
11.3.6任务容错
11.4应用案例
11.4.1WordCount
11.4.2WordMean
11.4.3Grep
11.5MapReduce的缺陷与不足
11.6小结
习题
第12章Spark解析
12.1Spark RDD
12.2Spark与MapReduce对比
12.3Spark工作机制
12.3.1DAG工作图
12.3.2Partition
12.3.3Lineage容错方法
12.3.4内存管理
12.3.5数据持久化
12.4数据读取
12.4.1HDFS
12.4.2Amazon S3
12.4.3HBase
12.5应用案例
12.5.1日志挖掘
12.5.2判别西瓜好坏
12.6Spark的发展趋势
12.7小结
习题
第13章流计算
13.1流计算概述
13.2流计算与批处理系统对比
13.3Storm流计算系统
13.4Samza流计算系统
13.5集群日志文件实时分析
13.6流计算的发展趋势
13.7小结
习题
第14章集群资源管理与调度
14.1集群资源统一管理系统
14.1.1集群资源管理概述
14.1.2Apache YARN
14.1.3Apache Mesos
14.1.4Google Omega
14.2资源管理模型
14.2.1基于slot的资源表示模型
14.2.2基于最大最小公平原则的资源分配模型
14.3资源调度策略
14.3.1调度策略概述
14.3.2Capacity Scheduler调度
14.3.3Fair Scheduler调度
14.4YARN上运行计算框架
14.4.1MapReduce on YARN
14.4.2Spark on YARN
14.4.3YARN程序设计
14.5小结
习题
第15章机器学习
15.1机器学习概述
15.1.1关键术语
15.1.2机器学习的分类
15.1.3机器学习的模型构造过程
15.2监督学习
15.2.1线性回归
15.2.2逻辑斯特回归
15.2.3最小近邻法
15.2.4线性判别分析法
15.2.5朴素贝叶斯分类算法
15.2.6决策树分类算法
15.2.7支持向量机分类算法
15.3非监督学习
15.3.1划分式聚类方法
15.3.2层次化聚类方法
15.3.3基于密度的聚类方法
15.4强化学习
15.4.1强化学习VS监督学习和非监督学习
15.4.2强化学习问题描述
15.4.3强化学习问题分类
15.5神经网络和深度学习
15.5.1感知器模型
15.5.2前馈神经网络
15.5.3卷积神经网络
15.5.4其他类型结构的神经网络
15.6案例: 银行贷款用户筛选
15.7小结
习题
第三部分综 合 实 践
第16章实验: AWS
16.1实验一: 创建一个EC2实例
16.2实验二: 创建一个弹性高可用的博客
16.3实验三: 使用S3来实现静态网站
16.4实验四: AWS关系型数据库入门
16.5实验五: AWS大数据系列平台
16.6实验六: AWS计算存储网络基础入门
16.7实验七: AWS上的Kubernetes创建、管理及DevOps
第17章实验: 阿里云
17.1实验一: 创建阿里云服务器
17.2实验二: 配置SSH远程连接
17.3实验三: 安装Python环境
17.4实验四: 部署并启动Django服务
第18章实验: Docker
18.1Docker的核心概念
18.2实验一: Docker的安装
18.3实验二: 容器操作
18.4实验三: 搭建一个Docker应用栈
18.5实验四: 实现私有云
第19章实验: Hadoop、HDFS、MapReduce、Spark
19.1Hadoop
19.1.1实验一: 构建虚拟机网络
19.1.2实验二: 大数据环境安装
19.2HDFS
19.2.1实验一: 文件创建与读/写
19.2.2实验二: 文件上传
19.2.3实验三: 文件下载
19.2.4实验四: 使用字符流读取数据
19.2.5实验五: 删除文件
19.2.6实验六: 删除文件夹
19.2.7实验七: 自定义数据输入流
19.3MapReduce
19.3.1实验一: 合并去重
19.3.2实验二: PageRank算法
19.4Spark
19.4.1实验一: 安装Spark
19.4.2实验二: 使用Spark Shell编写代码
19.4.3实验三: 使用Java编写Spark应用程序
第20章案例: 基于Docker的云计算服务平台搭建
20.1方案介绍
20.1.1云平台总体架构
20.1.2网络架构
20.1.3集群架构
20.1.4性能监控
20.1.5Docker架构
20.1.6镜像架构
20.2系统分析
20.2.1优点
20.2.2局限性
20.2.3应用场景
20.3门户界面
20.3.1注册
20.3.2登录
20.3.3用户主界面
20.3.4管理员界面
20.4服务器Docker配置
第21章案例: 使用Spark实现数据统计分析及性能优化
21.1系统架构
21.1.1总体方案
21.1.2详细设计
21.1.3优化设计
21.2具体实现
21.2.1数据获取
21.2.2数据可视化
21.3性能优化
21.3.1读取优化
21.3.2查询优化
21.3.3Spark参数级优化
第22章实验: 基于OpenStack和Hadoop的大数据分析
22.1实验一: OpenStack安装准备
22.2实验二: OpenStack在线安装
22.3实验三: 初始化OpenStack中的环境
22.4实验四: 搭建OpenStack中的虚拟机
22.5实验五: 大数据分析案例
参考文献
|
內容試閱:
|
《云计算与大数据技术》第1版于2018年10月正式出版以来,经过了几次印刷。许多高校将其作为“云计算与大数据”课程的教材,深受这些学校师生的钟爱,获得了良好的社会效益。但从另外一个角度来看,作者有责任和义务维护好这本教材的质量,及时更新本教材的内容,做到与时俱进。
本教材改动内容如下。
(1) 将教材的内容分成了三部分: “第一部分 云计算理论与技术”、“第二部分 大数据理论与技术”和“第三部分 综合实践”;
(2) 在“第一部分 云计算理论与技术”中,重新对第1版的第1~4章进行了梳理,并加入了第3章“云计算机制”;
(3) 在“第二部分 大数据理论与技术”中,加入了第15章“机器学习”;
(4) 在“第三部分 综合实践”中,除了对原第14章的综合实践案例进行了改进,还增加了“AWS”、“阿里云”、“Docker”、“Spark”和“Hadoop”等实验或案例,进一步增强了本书的实践内容。
希望通过这样的修改之后,教师和学生能更加喜欢这本教材。希望本教材信息容量大,知识性强,面向云计算与大数据能力的全面培养和实际应用等特点能够很好地延续下去。
为便于教学,本书提供丰富的配套资源,包括教学大纲、教学课件、程序源码、习题答案、在线作业和微课视频。
资源下载提示
课件等资源: 扫描封底的“课件下载”二维码,在公众号“书圈”下载。
素材(源码)等资源: 扫描目录上方的二维码下载。
在线作业: 扫描封底的作业系统二维码,登录网站在线做题及查看答案。
视频等资源: 扫描封底的文泉云盘防盗码,再扫描书中相应章节中的二维码,可以在线学习。
本书的作者为吕云翔、钟巧灵、柏燕峥、许鸿智、张璐、王佳玮、韩雪婷、仇善召、杜宸洋,曾洪立进行了部分内容的编写和素材整理及配套资源制作等。感谢刘炜、曾俊豪、叶天宇等对本书的大力支持。
最后,请读者能够不吝赐教,及时提出宝贵意见。
编者2023年5月
前言
从过去的几十年以来,计算机技术的进步和互联网的发展极大地改变了人们的工作和生活方式。计算模式也经历了从最初的把任务集中交付给大型处理机到基于网络的分布式任务处理再到目前的按需处理的云计算方式的极大改变。自2006年亚马逊公司推出弹性计算云(EC2)服务让中小型企业能够按照自己的需要购买亚马逊数据中心的计算能力后,云计算的时代就此正式来临,“云计算”的概念随之由谷歌公司于同年提出,其本质是给用户提供像传统的电、水、煤气一样的按需计算的网络服务,是一种新型的计算使用方式。它以用户为中心,使互联网成为每一个用户的数据中心和计算中心。
互联网技术不断发展,各种技术不断涌现,其中大数据技术已成为一颗闪耀的新星。我们已经处于数据世界,互联网每天产生大量的数据,利用好这些数据可以给我们的生活带来巨大的变化以及提供极大的便利。目前大数据技术受到越来越多的机构重视,因为大数据技术可以创造出巨大的利润,其中典型代表是个性化推荐以及大数据精准营销。
本书的各章内容如下: 第1~4章讲述云计算的概念和原理,包括云计算的概论、基础、虚拟化、应用; 第5~8章讲述大数据概述及基础,包括大数据概念和发展背景、大数据系统架构概述、分布式通信与协同、大数据存储; 第9~13章讲述大数据处理,包括分布式处理、Hadoop MapReduce解析、Spark解析、流计算、集群资源管理与调度; 第14章讲述综合实践(在OpenStack平台上搭建Hadoop并进行数据分析)。
本书对云计算和大数据的概念和基础讲解详细,力求通过实例进行描述,并可通过综合实践篇章将理论联系实际,适合计算机相关专业的读者,以及计算机爱好者阅读和参考。本书的作者为吕云翔、钟巧灵、张璐、王佳玮,另外,曾洪立、吕彼佳、姜彦华进行了素材整理及配套资源制作等。
在本书的编写过程中,我们尽量做到仔细认真,但由于我们的水平有限,书中还是可能会出现一些疏漏与不妥之处,在此非常欢迎广大读者进行批评指正。同时也希望广大读者可以将自己读书学习的心得体会反馈给我们。
编者
|
|