新書推薦：
《
暗黑历史书系·巴黎伦敦血色历史（伦敦巴黎双城记，城市社会生活的另类书写）
》
售價：HK$
179.4
《
国之重器：如何突破关键技术
》
售價：HK$
79.4
《
人鱼陷落：完结篇
》
售價：HK$
60.7
《
中国近代史-大有文库丛书
》
售價：HK$
40.3
![打开孩子世界的100个心理游戏——温暖的艺术互动魔法 [美]艾丽卡·柯蒂斯](http://103.6.6.66/upload/mall/productImages/24/31/9787111755265.jpg)
《
打开孩子世界的100个心理游戏——温暖的艺术互动魔法 [美]艾丽卡·柯蒂斯
》
售價：HK$
135.7
《
2024出国留学蓝皮书
》
售價：HK$
79.4
《
中国南方木雕花板（全5册）
》
售價：HK$
687.7
《
中国二战史研究七十年（1950—2019）
》
售價：HK$
667.0
|
| 編輯推薦： |
《深入云计算：Hadoop源代码分析》经典Hadoop源码分析图书，笔者悉心整理多年Hadoop架构分析与源码学习笔记，凝练丰富的实践开发经验，辛勤劳动成果倾囊相送，以飨读者。实践开发经验质的提升，深入解析Hadoop各部分的源代码，带领读者透彻理解Hadoop的结构和工作机理，深入了解Hadoop的底层工作机制。
【本书特色】
1.内容全面、系统、深入：本书全面介绍了Hadoop各个组件的源代码，包括HDFS、MapReduce以及RPC等部分。此外，每节都配有详细的UML模型图和流程图，以便2.读者对所讲内容有更加清晰的认识。
讲解细致，适合各个层次的读者阅读：本书从不同的层次结构依次讲解Hadoop的源代码，并深入到其结构内部，详细讲解每个部分。内容梯度从易到难，讲解由浅3.入深，循序渐进，适合各个层次的读者阅读。
4.全面而详细解析Hadoop源码：本书将Hadoop关键核心的代码一一展现给大家，做到浅显易懂，使读者能快速高效地对Hadoop有一个深入的理解。
5.提供技术支持，答疑解惑：读者阅读本书时若有任何疑问可到网站http:www.rzchina.net 中的
|
| 內容簡介： |
本书是一本全面细致介绍和分析Hadoop源码和内部工作机理的技术书籍，通过对Hadoop内部源码详细透彻的解析，使读者能够快速高效地掌握Hadoop的内部工作机制，了解Hadoop内部源码架构，对Hadoop有更加深刻的认识。
本书主要对Hadoop最核心的部分：HDFS和MapReduce进行源码解析和说明。适合所有想全面学习Hadoop开发技术的人员阅读，也适用于使用Hadoop进行开发的工程技术人员，还可作为想深入了解Hadoop运行机制、源代码的开发人员的参考书籍。
|
| 目錄：
|
第1篇 Hadoop概述与安装
第1章 Hadoop的简介和安装
1.1 Hadoop的简介 1
1.1.1 分布式文件系统HDFS 1
1.1.2 并行计算模型MapReduce 3
1.2 Hadoop的安装 3
1.2.1 虚拟机以及Ubuntu的安装 3
1.2.2 创建Hadoop用户 6
1.2.3 JDK1.6的安装 7
1.2.4 SSH的配置 8
1.2.5 单机模式下Hadoop的安装 11
1.2.6 伪分布式模式下Hadoop的安装 11
1.2.7 分布式模式下Hadoop的安装 14
第2篇 HDFS分布式文件系统及IO模型
第2章 HDFS架构和分布式文件系统
2.1 分布式文件系统概述 17
2.2 HDFS的特点 17
2.3 HDFS文件系统架构 18
2.4 Hadoop的抽象文件系统模型 19
2.4.1 FileSystem抽象文件系统 19
2.4.2 FileStatus文件状态信息 34
2.4.3 FsPermission文件或目录的操作权限 34
2.4.4 FileSystem的实现类 37
2.4.5 FileSystem的输入流 53
2.4.6 FileSystem的输出流 60
2.5 小结 61
第3章 Hadoop分布式文件系统HDFS的具体实现
3.1 DistributedFileSystem分布式文件系统 62
3.2 DFSClient HDFS客户端 68
3.3 小结 109
第4章 NameNode的实现
4.1 INode抽象类 110
4.2 INodeDirectory目录 113
4.3 INodeFile文件 116
4.4 FSDirectory文件系统目录 119
4.5 FSEditLog文件系统的编辑日志 127
4.6 FSImage文件系统镜像 153
4.7 Host2NodesMap主机到DataNode的映射 183
4.8 NetworkTopology网络拓扑结构 187
4.9 HostsFileReader主机文件读取器 196
4.10 BlocksMap 数据块到其元数据的映射 198
4.11 FSNamesystem HDFS文件系统的命名空间 201
4.12 NameNode名称结点 219
4.13 小结 230
第5章 Datanode的实现
5.1 Block数据块 232
5.2 DatanodeID类 232
5.3 DatanodeInfo类 233
5.4 BlockSender数据块发送器 235
5.5 BlockReceiver数据块接收器 240
5.6 DataBlockScanner数据块扫描器 246
5.7 FSDataset Datanode数据集合 253
5.8 DataXceiverServer 266
5.9 DataXceiver 267
5.10 Datanode类 271
5.11 小结 282
第6章 Hadoop的IO
6.1 数据类型接口 283
6.1.1 Writable接口 283
6.1.2 Comparable接口 283
6.1.3 WritableComparable接口 284
6.1.4 RawComparator比较器接口 284
6.1.5 WritableComparator接口 285
6.2 基本数据类型 287
6.2.1 IntWritable整型类型 287
6.2.2 Text文本类型 288
6.2.3 NullWritable类 292
6.2.4 ObjectWritable类 292
6.3 文件类型 293
6.3.1 SequenceFile序列文件 293
6.3.2 MapFile映射文件 304
6.4 小结 312
第3篇 MapReduce计算框架及RPC通信模型
第7章 MapReduce的输入和输出
7.1 输入格式InputFormat 313
7.1.1 InputFormat抽象类 313
7.1.2 FileInputFormat文件输入格式 315
7.1.3 TextInputFormat文本文件输入格式 317
7.1.4 KeyValueTextInputFormat键值对文件输入格式 317
7.1.5 CombineFileInputFormat组合文件输入格式 317
7.1.6 SequenceFileInputFormat序列文件输入格式 319
7.1.7 DBInputFormat数据库输入格式 320
7.1.8 MultipleInputs多种输入格式 322
7.1.9 DelegatingInputFormat授权输入格式 324
7.2 输入分片InputSplit 326
7.2.1 FileSplit文件输入分片 326
7.2.2 CombineFileSplit多文件输入分片 327
7.2.3 DBInputSplit数据库输入分片 328
7.3 记录读取器RecordReader 328
7.3.1 LineRecordReader行记录读取器 330
7.3.2 KeyValueLineRecordReader键值对记录读取器 332
7.3.3 CombineFileRecordReader组合文件记录读取器 332
7.3.4 SequenceFileRecordReader序列文件记录读取器 333
7.3.5 SequenceFileAsTextRecordReader和SequenceFileAsBinaryRecordReader 334
7.3.6 DBRecordReader数据库记录读取器 334
7.4 输出格式OutputFormat 335
7.4.1 OutputFormat抽象类 335
7.4.2 FileOutputFormat文件输出格式 337
7.4.3 TextOutputFormat文本格式的文件输出格式 339
7.4.4 SequenceFileOutputFormat普通序列文件输出格式 340
7.4.5 SequenceFileAsBinaryOutputFormat二进制序列文件输出格式 340
7.4.6 FilterOutputFormat过滤器输出格式 341
7.4.7 DBOutputFormat数据库输出格式 341
7.4.8 MultipleOutputs多种输出格式 342
7.5 记录写入器RecordWriter 344
7.5.1 DBRecordWriter数据库记录写入器 345
7.5.2 FilterRecordWriter过滤器记录写入器 346
7.5.3 LineRecordWriter 文本行记录写入器 346
7.6 输出提交器OutputCommitter 347
7.6.1 OutputCommitter输出提交器 348
7.6.2 FileOutputCommitter文件输出提交器 348
7.7 小结 351
第8章 Hadoop中的Context和ID
8.1 Hadoop运行过程中的Context上下文 352
8.1.1 JobContext作业上下文 353
8.1.2 Job作业 354
8.1.3 TaskAttemptContext任务尝试上下文 358
8.1.4 TaskInputOutputContext任务输入输出上下文 358
8.1.5 MapContext Mapper执行的上下文 360
8.1.6 ReduceContext Reducer执行的上下文 360
8.2 Hadoop运行过程中的ID类 364
8.2.1 ID类 365
8.2.2 JobID作业ID 365
8.2.3 TaskID任务ID 367
8.2.4 TaskAttemptID任务尝试ID 368
8.3 小结 368
第9章 Hadoop的计算模型MapReduce
9.1 Map处理过程 369
9.1.1 Mapper概述 369
9.1.2 Mapper源代码分析 370
9.1.3 InverseMapper反转Mapper 371
9.1.4 TokenCounterMapper标记计数Mapper 372
9.1.5 MultithreadedMapper多线程Mapper 372
9.1.6 FieldSelectionMapper字段选择Mapper 375
9.1.7 DelegatingMapper授权Mapper 376
9.2 Reducer处理过程 376
9.2.1 Reducer概述 376
9.2.2 Reducer源代码 377
9.2.3 IntSumReducer和LongSumReducer 378
9.2.4 FieldSelectionReducer字段选择Reducer 379
9.3 Partitioner分区处理过程 379
9.3.1 Partitioner概述 379
9.3.2 Partitioner源代码 380
9.3.3 HashPartitioner hash分区 380
9.3.4 BinaryPartitioner二进制分区 380
9.3.5 KeyFieldBasedPartitioner基于键字段的分区 382
9.3.6 TotalOrderPartitioner全排序分区 383
9.4 小结 387
第10章 JobClient的执行过程分析
10.1 MapReduce作业处理过程概述 388
10.1.1 JobConf MapReduce作业的配置信息 389
10.1.2 JobSubmissionProtocol作业提交的接口 392
10.1.3 RunningJob正在运行的Job作业的接口 394
10.1.4 JobStatus和JobProfile作业状态信息和注册信息 396
10.1.5 JobSubmissionFiles 获得作业提交的文件 399
10.2 JobClient提交作业流程 401
10.3 JobClient 提交Job的客户端 401
10.4 小结 412
第11章 JobTracker的执行过程分析
11.1 JobTracker处理过程概述 413
11.2 JobInfo作业信息 413
11.3 Counters计数器 414
11.4 Queue Job队列对象 417
11.5 QueueManager Job队列管理对象 418
11.6 JobInProgress正在处理的作业 420
11.7 JobTracker对JobClient提交的作业的处理 437
11.8 JobTracker的启动以及Job的初始化 441
11.9 JobTracker的其他源代码分析 445
11.10 JobTracker中的作业恢复管理器RecoveryManager 459
11.11 JobInProgressListener和JobQueueJobInProgressListener 465
11.12 小结 467
第12章 Hadoop的作业调度器
12.1 Hadoop作业调度器概述 468
12.2 TaskScheduler调度器的抽象父类 469
12.3 JobQueueTaskScheduler FIFO调度器 470
12.4 LimitTasksPerJobTaskScheduler任务数限制FIFO调度器 475
12.5 CapacityTaskScheduler计算能力调度器 477
12.6 FairScheduler公平调度器 488
12.7 小结 504
第13章 TaskTracker的执行过程
13.1 TaskTracker的启动 505
13.2 TaskTracker与JobTracker进行通信的组件InterTrackerProtocol 509
13.3 JobTracker返回给TaskTracker的Action的类型 511
13.4 TaskTracker向JobTracker发送心跳的过程 512
13.5 TaskTracker的任务处理过程 521
13.6 TaskTracker的其他源代码分析 526
13.7 TaskStatus任务的状态信息 544
13.8 TaskInProgress正在处理的任务 548
13.9 Task所有任务的父类 555
13.10 MapTask执行过程概述 566
13.11 MapOutputBuffer Map输出缓冲区 568
13.12 ReduceTask执行过程概述 585
13.13 ReduceCopier Reduce的Copy和Merge执行工具 591
13.14 小结 612
第14章 Hadoop的RPC协议
14.1 Hadoop RPC概念概述 613
14.2 RPC协议接口 614
14.2.1 ClientDatanodeProtocol客户端与DataNode进行通信的协议 614
14.2.2 ClientProtocol客户端和NameNode进行通信的协议 615
14.2.3 DatanodeProtocol DataNode与NameNode进行通信的协议 617
14.2.4 InterDatanodeProtocol DataNode之间进行通信的协议 618
14.2.5 NamenodeProtocol SecondaryNameNode与NameNode进行通信的协议 619
14.2.6 InterTrackerProtocol TaskTracker与JobTracker进行通信的协议 619
14.2.7 JobSubmissionProtocol JobClient与JobTracker进行通信的协议 620
14.2.8 TaskUmbilicalProtocol Child进程与TaskTracker父进程进行通信的协议 622
14.3 RPC的客户端和服务器端的实现 623
14.3.1 Client客户端 623
14.3.2 Server服务端 631
14.4 小结 644
|
| 內容試閱：
|
在如今的数字时代，全球以电子方式存储的数据总量是巨大的。据资料显示，2006年的数据总量为0.18 ZB，在2011年数据总量则达到1.8 ZB。而且数据的增长速度还在不断加快，人们已经面临着需要高效快速处理大量数据的问题。
想象一下，如果全球的网页都存储在你的计算机中，你要搜索其中一些网页出来，命令一旦发布，那么你的计算机要多久才能完成搜索任务？可是Google只需要不到一秒钟就能完成，这是因为Google把这些网页同时分布在不同的计算机上，每台计算机只搜索自己的这部分，一个命令，同时有多台计算机在执行，但是给我们的感觉是在使用一台计算机而已。Hadoop就是模仿Google核心技术而衍生的分布式计算机系统框架。
Hadoop是由Apache Software Foundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入的。它受到最先由Google Lab开发的MapReduce计算模型和Google File System（GFS）分布式文件系统的启发。2006年3月份，MapReduce和Nutch Distributed File System（NDFS）分别被纳入称为Hadoop的项目中。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop因具有高可靠性、高扩展性、高效性和高容错性等特性而深受广大用户的欢迎，并且迅速在大数据处理领域占领了一席之地。
编者从事Hadoop架构研究很久，对Hadoop有深入的理解。本书通过深入细致地解析Hadoop各个部分的源代码，带领读者快速高效地将Hadoop的结构和工作机理理解透彻，使读者在读完此书后能对Hadoop的底层工作机制有深入了解，能对开发Hadoop应用程序有质的提高。本书很大程度也是编者在学习Hadoop源码时候的笔记，这里将这些成果分享给大家。
|
|
購物車/收銀台(
0
) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
