新書推薦:
《
镜中的星期天
》
售價:HK$
76.2
《
世界前沿技术发展报告2024
》
售價:HK$
188.2
《
可转债——新手理财的极简工具
》
售價:HK$
65.0
《
新加坡教育:神话与现实
》
售價:HK$
96.3
《
“口袋中的世界史”第一辑·冷战中的危机事件
》
售價:HK$
291.2
《
绝美的奥伦堡蕾丝披肩编织
》
售價:HK$
177.0
《
狂飙年代:18世纪俄国的新文化和旧文化(第二卷)
》
售價:HK$
177.0
《
万有引力书系 纳粹亿万富翁 德国财富家族的黑暗历史
》
售價:HK$
109.8
|
內容簡介: |
本书主要介绍Caffe的技术原理和一些高级使用技巧,首先介绍深度学习的趋势和业内动态,然后介绍Caffe的基础知识。在理解了Caffe算法的基础上,介绍Caffe的技术原理和特点,包括数学知识和设计知识。*后介绍Caffe深度学习多任务网络。本书将实践和现有系统进行无缝对接,并详述了各种调参技巧。
|
目錄:
|
前言
第1章 深度学习简介1
1.1 深度学习的历史1
1.2 深度学习工具简介4
1.3 深度学习的未来趋势12
第2章 搭建你的Caffe武器库13
2.1 硬件选型13
2.2 Caffe在Windows下的安装14
2.3 Caffe在Linux下的安装16
2.3.1 Linux安装16
2.3.2 Nvidia CUDA Toolkit的安装(*.deb方法)17
2.3.3 Caffe的安装和测试20
2.4 OpenCV的安装和编译23
2.4.1 OpenCV的下载23
2.4.2 配置环境变量24
2.5 Boost库的安装和编译27
2.6 Python相关库的安装31
2.7 MATLAB接口的配置33
2.8 其他库的安装44
2.8.1 LMDB的编译与安装44
2.8.2 LevelDB的编译与安装51
2.8.3 glog的编译与安装57
2.8.4 安装gflags63
第3章 Caffe的简单训练69
3.1 Caffe转化数据工具的使用介绍69
3.1.1 命令参数介绍69
3.1.2 生成文件列表70
3.1.3 使用的Linux命令简介70
3.1.4 生成文件结果71
3.1.5 图片参数组详解71
3.2 Caffe提取特征的工具使用说明72
3.3 Caffe训练需要的几个部件73
3.3.1 网络proto文件的编写73
3.3.2 Solver配置74
3.3.3 训练脚本的编写76
3.3.4 训练log解析76
3.4 Caffe简单训练分类任务79
3.5 测试训练结果86
3.6 使用训练好的模型进行预测87
第4章 认识深度学习网络中的层97
4.1 卷积层的作用与类别97
4.1.1 卷积层的作用97
4.1.2 卷积分类98
4.2 激活层的作用与类别99
4.2.1 激活函数的定义及相关概念99
4.2.2 激活函数的类别101
4.3 池化层的作用与类别101
4.3.1 池化层的历史101
4.3.2 池化层的作用102
4.3.3 池化层分类103
4.4 全连接层的作用与类别105
4.5 dropout层的作用106
4.6 损失函数层106
第5章 Caffe的框架设计110
5.1 Caffe中CPU和GPU结构的融合110
5.1.1 SyncedMemory函数及其功能110
5.1.2 SyncedMemory类的作用112
5.2 Caffe训练时层的各个成员函数的调用顺序112
5.3 Caffe网络构建函数的解析115
5.4 Caffe层如何使用proto文件实现反射机制116
5.4.1 工厂模式116
5.4.2 层的创建118
5.5 Caffe的调用流程图及函数顺序导视122
5.6 Caffe框架使用的编码思想125
5.6.1 Caffe的总体结构125
5.6.2 Caffe数据存储设计128
第6章 基础数学知识130
6.1 卷积层的数学公式及求导130
6.2 激活层的数学公式图像及求导132
6.3 三种池化层的数学公式及反向计算134
6.4 全连接层的数学公式及求导135
6.4.1 全连接层的前向计算及公式推导135
6.4.2 全连接层的反向传播及公式推导136
6.5 反卷积层的数学公式及求导137
第7章 卷积层和池化层的使用139
7.1 卷积层参数初始化介绍139
7.2 池化层的物理意义141
7.3 卷积层和池化层输出计算及参数说明141
7.4 实践:在Caffe框架下用Prototxt定义卷积层和池化层142
7.4.1 卷积层参数的编写142
7.4.2 必须设置的参数143
7.4.3 其他可选的设置参数143
7.4.4 卷积参数编写具体示例144
7.4.5 卷积参数编写小建议145
第8章 激活函数的介绍146
8.1 用ReLU解决sigmoid的缺陷146
8.2 ReLU及其变种的对比148
8.3 实践:在Caffe框架下用Prototxt定义激活函数150
8.3.1 ReLU150
8.3.2 PReLU150
8.3.3 Sigmoid151
第9章 损失函数152
9.1 contrastive_loss函数和对应层的介绍和使用场景152
9.2 multinomial_logistic_loss函数和对应层的介绍和使用说明154
9.3 sigmoid_cross_entropy函数和对应层的介绍和使用说明155
9.4 softmax_loss函数和对应层的介绍和使用说明158
9.5 euclidean_loss函数和对应层的介绍和使用说明161
9.6 hinge_loss函数和对应层的介绍和使用说明162
9.7 infogain_loss函数和对应层的介绍和使用说明163
9.8 TripletLoss的添加及其使用165
9.8.1 TripletLoss的思想165
9.8.2 TripletLoss梯度推导166
9.8.3 新增加TripletLossLayer167
9.9 Coupled Cluster Loss的添加及其使用176
9.9.1 增加loss层176
9.9.2 实现具体示例177
第10章 Batch Normalize层的使用194
10.1 batch_normalize层的原理和作用194
10.2 batch_normalize层的优势196
10.3 常见网络结构batch_normalize层的位置197
10.4 proto的具体写法202
10.5 其他归一化层的介绍204
第11章 回归网络的构建205
11.1 如何生成回归网络训练数据205
11.2 回归任务和分类任务的异同点206
11.3 回归网络收敛性的判断207
11.4 回归任务与级联模型210
第12章 多任务网络的构建214
12.1 多任务历史214
12.2 多任务网络的数据生成216
12.3 如何简单建立多任务216
12.4 近年的多任务深度学习网络217
12.5 多任务中通用指导性调参和网络构建结论221
12.5.1 如何避免出现多任务后性能下降的情况221
12.5.2 怎样
|
內容試閱:
|
为什么要写这本书
2012年年中,我开始关注深度学习这一领域,当时正好是深度学习浪潮开始爆发的时间,我感到非常幸运的是能在一个对的时间进入该领域,当时的自己也是在不断的试错中学习这一领域的知识。一直以来我都非常希望人工智能能够得到真正的发展,希望技术能够辅助人类解决各种问题,而且人工智能同时又是一门非常有意思的学科,所以我选择了长期投入深度学习这一领域,希望自己也能有所成,但是真正进入这一领域学习的时候才发现想要学好并不是那么顺利。
我在学习深度学习技术的过程中经历了很多困难,遇到了很多“陷阱”,一路走来跌跌撞撞,当时就想如果深度学习领域也能有相关的入门书籍,讲解深度学习的基础知识就好了,这样新手们就能够快速入手,从主干入手,避开遮住主干的枝叶,从而更快速地进入这一领域。希望本书能够为初学深度学习的程序员提供一个科普入门的指引。在经历了各种繁杂的事情之后,本书的编写也给我带来了不少快乐,使得我有机会系统地总结自己在深度学习领域获得的一些经验和教训,希望这些能给大家带来帮助。本书总结了基础层的数学公式,以及其在 Caffe中的写法,后续还列举了一些我在训练学习过程中遇到的实际问题,例如增加新的层、人脸识别、人物属性的识别等,以及对过去一些工作经验的总结。
每一种框架都有优有劣,框架不会影响最终的结果,希望大家尽量忽略框架的结构和实现,多多掌握理论部分,在实践中,不断提升自己在这一领域的实战经验和理论知识,框架只是末,理论才是本。
本书主要是针对初学者入门所编写的一本书,其实最初我也没有想过要写一本书,都是在网络上发表一些博客和文章,不断地对自己的技术和学习进行更新和总结。后来,因为一个偶然的机会,我遇到了本书的策划编辑杨绣国老师(lisa),在她的建议和鼓励下我决定写一本入门级的深度学习教程。本书以一个工程师的视角来观察深度学习技术带给我们的便利,同时我也希望更多的技术工程师能够投入这一领域,也许变革就在明天,纵观人工智能的发展历史,有高潮也有寒冬,很多技术都是经历了多次的起伏变化然后才逐渐趋于成熟,而如今人工智能正在经历第三次的高潮,也许寒冬将至,但是即便如此也并不会影响深度学习技术未来发展的大趋势,相信这一技术会变得像今天的软件开发技术一样成熟。
读者对象
根据深度学习的用户目标划分,可以总结出如下几类读者对象。
深度学习的爱好者和研究者。
深度学习实践应用工程师。
深度学习理论研究员。
对深度学习感兴趣的大学师生。
开设相关课程的大专院校。
如何阅读本书
建议读者在阅读本书时,首先对本书讲解的各个层做一个详细的了解,能够运用开源数据运行一些训练示例,学会如何使用现有的网络结构进行训练,等熟悉了训练步骤之后,再按照本书的内容自行调整网络结构。先使用一个网络,根据本书前10章的内容,分别修改和调整每一种网络层的参数,并学习相关的数学公式,本书第5章到第10章的内容可以不分先后顺序进行阅读,大家可以按照自己的喜好和需求随意选择阅读顺序。本书使用的Caffe框架是几个框架中最基础的一种,代码结构简单,很适合作为C++工程师进行深度学习的入门参考。
第11章到第14章的内容比较适合入门后的读者在实践操作中理解和应用深度学习技术,每一个系统都是一个庞大的工程,本书只是简略地介绍了需要做的事情,与深度学习关联性不大的技术,本书没有做详细介绍,因此大家需要自行查找对应的内容以进行相应的阅读。第12章的多任务是目前深度学习领域进行创新的基石,希望本书的一些观点能够提供给大家一些指引,目标检测从faster rcnn到ssd都是多任务的处理方式,第14章的内容是我进行深度学习调参的一些经验总结,第一次训练之后,在进行准确度调整的时候大家可以将本章内容作为参考。
勘误和支持
由于作者的水平有限,编写的时间也很仓促,书中难免会出现一些错误或者不准确的地方,恳请读者批评指正。为此,我特意创建了一个GitHub的仓库,具体网址为:https:github.comHolidayXueDeepLearningInAction。大家可以将书中的错误发布在Bug勘误文件夹中,同时如果有遇到任何问题,就请在issue中留言,我将尽量在线上为大家提供最满意的解答。本书中的全部源文件都将发布在这个网站上,我也会将相应的功能更新及时发布出来。如果大家有更多的宝贵意见,也欢迎发送邮件至我的邮箱362783516@qq.com,我很期待听到你们的真挚反馈。
致谢
首先,我要感谢中科院计算技术研究所的蒋树强老师,在他的引领下,我进入了深度学习技术这一领域,我对这一领域的很多概念和入门知识都是从他那里获得的;接下来,我要感谢浙江大学李玺教授,在实践过程中,需要进行理论突破的时候,他的指点总是令我犹如醍醐灌顶。
感谢捷尚视觉的余天明在cuda编程实践中给予我的帮助,感谢捷尚视觉的林国锡在人脸实践应用中对我的指点,感谢捷尚视觉的丁连涛在目标检测中给予我的指点。
感谢机械工业出版社华章公司的编辑杨绣国老师,感谢你的魄力和远见,在本书编写期间始终支持我的写作,正是你的鼓励和帮助引导我顺利完成全部书稿。
感谢每一位深度学习的开发者,大家的共同努力使得让人工智能能够应用在我们的未来生活中,从而使得我们的生活更加美好!
谨以此书,献给深度学习的从业者。
薛云峰(HolidayXue)
中国,杭州,2018年6月
|
|