新書推薦:
《
何以中国·何谓唐代:东欧亚帝国的兴亡与转型
》
售價:HK$
87.4
《
一间只属于自己的房间 女性主义先锋伍尔夫代表作 女性精神独立与经济独立的象征,做自己,比任何事都更重要
》
售價:HK$
44.6
《
泉舆日志 幻想世界宝石生物图鉴
》
售價:HK$
134.2
《
养育女孩 : 官方升级版
》
售價:HK$
50.4
《
跨界:蒂利希思想研究
》
售價:HK$
109.8
《
千万别喝南瓜汤(遵守规则绘本)
》
售價:HK$
44.7
《
大模型启示录
》
售價:HK$
112.0
《
东法西渐:19世纪前西方对中国法的记述与评价
》
售價:HK$
201.6
|
內容簡介: |
本书从初学者角度出发,以”讲课”的形式,归纳分析各类迁移学习方法,使读者能快速理解迁移学习的本质问题、抓住重点、举一反三、迅速入门。它的一大亮点是对”两头”的把握:一是源头,抓问题和场景,做到”师出有名”,讲清楚针对什么问题、用在哪里;二是笔头,抓代码与实践,做到\落地结果”,在实战中巩固和深化对技术的理解。本书同时配套丰富的在线学习资源。
|
關於作者: |
王晋东微软亚洲研究院研究员,博士毕业于中国科学院计算技术研究所,主要从事迁移学习、机器学习和深度学习方面的研究。研究成果发表在IEEE TKDE、IEEE TNNLS、NeurIPS、CVPR、IJCAI、IMWUT等顶级期刊和会议;获得国家奖学金、中国科学院优秀博士论文奖、IJCAI联邦学习研讨会最佳应用论文奖等。担任国际会议IJCAI 2019的宣传主席,担任TPAMI、TKDE、ICML、NeurIPS、ICLR等的审稿人或程序委员会委员。热心知识分享,领导维护着GitHub上广受欢迎的迁移学习开源库,获得超过1万星标;在知乎的博客文章浏览次数逾1000万次,帮助众多学术界和工业界人士快速入门迁移学习。陈益强中国科学院计算技术研究所所务委员、研究员、CCF Fellow,主要研究人机交互与普适计算,联邦学习与迁移学习等。任北京市移动计算与新型终端重点实验室主任、中科院计算所泛在计算系统研究中心主任;曾入选国家“万人计划”科技创新领军人才、科技部中青年科技创新领军人才、北京市科技新星等;国务院特殊津贴专家,东京大学、南洋理工大学兼职教授,IEEE计算智能等6个刊物的编委,IEEE可穿戴与智能交互技术委员会创始委员等。获 IJCAI-FL等人工智能和普适计算领域最佳论文奖 6 项;相关成果获国家科技进步二等奖及中国计算机学会技术发明一等奖等。
|
目錄:
|
第I 部分迁移学习基础1 绪论31.1 迁移学习31.2 相关研究领域71.3 迁移学习的必要性81.3.1 大数据与少标注之间的矛盾91.3.2 大数据与弱计算能力的矛盾91.3.3 有限数据与模型泛化能力的矛盾.101.3.4 普适化模型与个性化需求的矛盾.111.3.5 特定应用的需求 111.4 迁移学习的研究领域121.4.1 按特征空间分类 131.4.2 按目标域有无标签分类 131.4.3 按学习方法分类 131.4.4 按离线与在线形式分类 141.5 学术界和工业界中的迁移学习151.6 迁移学习的应用181.6.1 计算机视 觉191.6.2 自然语言处理 211.6.3 语音识别与合成 231.6.4 普适计算与人机交互251.6.5 医疗健康 281.6.6 其他应用领域30参考文献 2 从机器学习到迁移学习482.1 机器学习基础482.1.1 机器学习概念482.1.2 结构风险最小化 492.1.3 数据的概率分布 502.2 迁移学习定义522.3 迁移学习基本问题 552.3.1 何时迁移 552.3.2 何处迁移 562.3.3 如何迁移 582.4 失败的迁移:负迁移 582.5 一个完整的迁移学习过程 60参考文献613 迁移学习方法总览633.1 分布差异的度量 633.2 分布差异的统一表征663.2.1 分布自适应因子的计算 673.3 迁移学习方法统一表征683.3.1 样本权重迁移法 703.3.2 特征变换迁移法 703.3.3 模型预训练迁移法 713.4 上手实践723.4.1 数据准备 .733.4.2 基准模型构建:KNN 75参考文献764 样本权重迁移法784.1 问题定义784.2 基于样本选择的方法 804.2.1 基于非强化学习的样本选择法 814.2.2 基于强化学习的样本选择法824.3 基于权重自适应的方法 834.4 上手实践 854.5 小结 88参考文献885 统计特征变换迁移法935.1 问题定义935.2 最大均值差异法945.2.1 基本概念 945.2.2 基于最大均值差异的迁移学习965.2.3 求解与计算 995.2.4 应用与扩展 1015.3 度量学习法1025.3.1 度量学习 1025.3.2 基于度量学习的迁移学习 1045.4 上手实践 1055.5 小结108参考文献1086 几何特征变换迁移法 1116.1 子空间变换法1116.1.1 子空间对齐法1126.1.2 协方差对齐法1136.2 流形空间变换法 1146.2.1 流形学习 1146.2.2 基于流形学习的迁移学习方法 1156.3 最优传输法 1186.3.1 最优传输 1186.3.2 基于最优传输法的迁移学习方法 1196.4 上手实践 1216.5 小结 122参考文献 1237 迁移学习理论、评测与模型选择1257.1 迁移学习理论 1257.1.1 基于H-divergence 的理论分析 1267.1.2 基于HΔH-distance 的理论分析.1287.1.3 基于差异距离的理论分析 1297.1.4 结合标签函数差异的理论分析 1307.2 迁移学习评测 1317.3 迁移学习模型选择1327.3.1 基于密度估计的模型选择 1337.3.2 迁移交叉验证1337.4 小结134参考文献 135第II 部分现代迁移学习8 预训练?C 微调 1398.1 深度神经网络的可迁移性 1408.2 预训练??微调 1438.2.1 预训练?C 微调的有效性 1448.3 迁移学习中的正则 1458.4 预训练模型用于特征提取1488.5 学习如何微调 1498.6 上手实践 1518.7 小结 155参考文献1559 深度迁移学习 1589.1 总体思路1599.2 深度迁移学习的网络结构1609.2.1 单流结构 1619.2.2 双流结构 1619.3 数据分布自适应方法1639.4 结构自适应的深度迁移学习方法1659.4.1 基于批归一化的迁移学习 1659.4.2 基于多表示学习的迁移网络结构.1669.4.3 基于解耦的深度迁移方法 1689.5 知识蒸馏 1699.6 上手实践1709.6.1 网络结构 1719.6.2 迁移损失 1749.6.3 训练和测试 1799.7 小结183参考文献18410 对抗迁移学习 18710.1 生成对抗网络与迁移学习18710.2 数据分布自适应的对抗迁移方法18910.3 基于最大分类器差异的对抗迁移方法19210.4 基于数据生成的对抗迁移方法 19410.5 上手实践19510.5.1 领域判别器 19510.5.2 分布差异计算 .19610.5.3 梯度反转层 19710.6 小结198参考文献19811 迁移学习的泛化20011.1 领域泛化20011.2 基于数据操作的领域泛化方法20311.2.1 数据增强和生成方法 20311.2.2 基于Mixup 的数据生成方法 .20511.3 领域不变特征学习20611.3.1 核方法:领域不变成分分析 .20611.3.2 深度领域泛化方法.20811.3.3 特征解耦 21011.4 用于领域泛化的不同学习策略21211.4.1 基于集成学习的方法 21211.4.2 基于元学习的方法21311.4.3 用于领域泛化的其他学习范式 21511.5 领域泛化理论21511.5.1 平均风险预估误差上界 21511.5.2 泛化风险上界21711.6 上手实践1711.6.1 数据加载 21811.6.2 训练和测试 22011.6.3 示例方法:ERM 和CORAL.22211.7 小结225参考文献22512 安全和鲁棒的迁移学习23212.1 安全迁移学习23212.1.1 迁移学习模型可以被攻击吗23312.1.2 抵制攻击的方法23312.1.3 ReMoS:一种新的安全迁移学习方法 23512.2 联邦学习和迁移学习 23812.2.1 联邦学习 23812.2.2 面向非独立同分布数据的个性化联邦学习 24112.2.3 模型自适应的个性化迁移学习 24212.2.4 基于相似度的个性化联邦学习 24312.3 无需源数据的迁移学习24412.3.1 信息最大化方法 24612.3.2 特征匹配方法 24712.4 基于因果关系的迁移学习24812.4.1 什么是因果关系 24812.4.2 因果关系与迁移学习 25012.5 小结254参考文献25413 复杂环境中的迁移学习 26013.1 类别非均衡的迁移学习26013.2 多源迁移学习26313.3 开放集迁移学习26513.4 时间序列迁移学习26713.4.1 AdaRNN:用于时间序列预测的迁移学习 26913.4.2 DIVERSIFY:用于时间序列分类的迁移学习27113.5 在线迁移学习 27313.6 小结276参考文献27614 低资源学习28114.1 迁移学习模型压缩 28114.2 半监督学习28414.2.1 一致性正则化方法28514.2.2 伪标签和阈值法 28714.3 元学习29014.3.1 基于模型的元学习方法 .29214.3.2 基于度量的元学习方法 .29314.3.3 基于优化的元学习方法 .29514.4 自监督学习 29714.4.1 构造辅助任务 .29814.4.2 对比自监督学习 .29914.5 小结300参考文献301第III 部分迁移学习的应用与实践15 计算机视觉中的迁移学习实践30915.1 目标检测30915.1.1 任务与数据 30915.1.2 加载数据 31015.1.3 模型 31315.1.4 训练和测试 31315.2 神经风格迁移31515.2.1 数据加载 31515.2.2 模型 31615.2.3 训练 317参考文献31916 自然语言处理中的迁移学习实践32016.1 情绪分类任务及数据集32016.2 模型32216.3 训练和测试32316.4 预训练??微调324参考文献32517 语音识别中的迁移学习实践32617.1 跨领域语音识别 32617.1.1 语音识别中的迁移损失 32717.1.2 CMatch 算法实现.32817.1.3 实验及结果 33217.2 跨语言语音识别33317.2.1 适配器模块 33417.2.2 基于适配器进行跨语言语音识别33517.2.3 算法:MetaAdapter 和SimAdapter .33617.2.4 结果与讨论 337参考文献33918 行为识别中的迁移学习实践34018.1 任务及数据集34018.2 特征提取34118.3 源域选择34218.4 使用TCA 方法进行非深度迁移学习34418.5 深度迁移学习用于跨位置行为识别345参考文献35019 医疗健康中的联邦迁移学习实践35119.1 任务和数据集35119.1.1 模型结构 35519.2 联邦学习基础算法FedAvg 35619.2.1 客户端更新 35719.2.2 服务器端更新 .35719.2.3 结果 35819.3 个性化联邦学习算法AdaFed 35919.3.1 相似度矩阵计算 .35919.3.2 服务器端通信 .36119.3.3 结果 362参考文献36220 回顾与展望364参考文献367附录368常用度量准则368常见的几种距离 .368余弦相似度 .369互信息.369相关系数 .369KL 散度与JS 距离 370最大均值差异MMD .370Principal Angle .371A-distance 371Hilbert-Schmidt Independence Criterion 371Wasserstein Distance 372常用数据集372手写体识别图像数据集 373对象识别数据集 .374图像分类数据集 .374通用文本分类数据集.375行为识别公开数据集.375相关期刊会议376迁移学习资源汇总377参考文献378
|
|