点击“人工智能园地”关注我们~
欢
迎
光
临
~
人工智能方法和技术中，大家普遍熟知的是机器学习，深度学习，强化学习等概念。由于在具体的场景中需要解决的问题重点不一样，又衍生出来自动学习，主动学习，联邦学习，增量学习，迁移学习等方法，加强了人工智能工程化能力。
为方便理解其中的区别，以下针对这几种学习方法做一个简单的介绍和对比。
1. 自动学习：Auto Machine Learning
实际问题：对于机器学习的新用户而言，使用机器学习算法的一个主要的障碍就是算法的性能受许多的设计决策影响。随着深度学习的流行，工程师需要选择相应的神经网络架构，训练过程，正则化方法，超参数，等等，所有的这些都对算法的性能有很大的影响。于是深度学习工程师也被戏称为调参工程师。
解决方案：自动机器学习（AutoML）的目标就是使用自动化的数据驱动方式来做出上述的决策。用户只要提供数据，自动机器学习系统自动的决定最佳的方案。
AutoML 的主要问题可以由三部分构成：特征工程、模型选择、算法选择
特征工程：在机器学习中有着举足轻重的作用。在 AutoML 中，自动特征工程的目的是自动地发掘并构造相关的特征，使得模型可以有最优的表现。除此之外，还包含一些特定的特征增强方法，例如特征选择、特征降维、特征生成、以及特征编码等。这些步骤目前来说都没有达到自动化的阶段。
模型选择：包括两个步骤，选择一个模型，设定它的参数。相应地，AutoML的目的就是自动选择出一个最合适的模型，并且能够设定好它的最优参数。
算法选择：AutoML 的目的是自动地选择出一个优化算法，以便能够达到效率和精度的平衡。常用的优化方法有 SGD、L-BFGS、GD 等。使用哪个优化算法、对应优化算法的配置，也需要一组搜索空间。
特点和优势 ：
1. AutoML是一个在给定数据和任务上学习和泛化能力非常强大的系统，非常容易使用；
2. 由一系列高级的控制系统去操作训练，使得模型可以自动化地学习到合适的参数和配置而无需人工干预。
2. 主动学习：Active Learning
实际问题：在使用一些监督学习方法的时候，模型的效果往往取决于样本的质量，标注样本集越准确、丰富，训练出来的模型就更好，但是在实际场景中，标注后的样本的数量是很少的，这需要领域专家来进行人工标注，所花费的成本很高，获得大量的标注样本其实是很困难的。
解决方案：主动学习Active Learning可以通过一定的算法挑出最有价值的未标记样本，并推荐给专家进行标记，然后用这些样本训练模型来提高模型的精确度。
整个AL过程是一个迭代优化的，使用推荐的样本反复不断的优化，提升模型的精度：
1. 先把一小部分数据进行标注，得到labeled training set L ；
2. 通过已标注的样本，建立一个初始的分类器模型，利用初始模型对未标注样本进行预测；
3. 在未标注样本中根据查询策略（例如：随机选择或者选择不确定性高的样本），筛选推荐样本
4. 监督者（oracle）根据推荐的样本进行标注；
5. 把标注后的样本重新加入L中，并回到第二步。
特点和优势：
1. 可以通过少量的标注数据实现模型的持续自优化；
2. 采集不同局点的数据，利用主动学习迭代，可以持续提升模型多局点的泛化能力；
3. 通过样的迭代标注，使得可以实现高质量数据样本的持续增强。
3. 联邦学习：Federated Learning
实际问题：终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。泛化场景中，主要为了解决数据不出局，终端侧模型效果提升等问题。
解决方案：联邦学习以包含两个数据拥有方（即企业 A 和 B）的场景为例介绍联邦学习的系统构架。假设企业 A 和 B 想联合训练一个机器学习模型，它们的业务系统分别拥有各自用户的相关数据。此外，企业 B 还拥有模型需要预测的标签数据。出于数据隐私保护和安全考虑，A 和 B 无法直接进行数据交换，可使用联邦学习系统建立模型。联邦学习系统构架由三部分构成，如图所示。
第一部分：加密样本对齐。由于两家企业的用户群体并非完全重合，系统利用基于加密的用户样本对齐技术，在 A 和 B 不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户，以便联合这些用户的特征进行建模。
第二部分：加密模型训练。在确定共有用户群体后，就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性，需要借助第三方协作者 C 进行加密训练。以线性回归模型为例，训练过程可分为以4 步（如上图所示）。在样本对齐及模型训练过程中，A 和 B 各自的数据均保留在本地，且训练中的数据交互也不会导致数据隐私泄露。因此，双方在联邦学习的帮助下得以实现合作训练模型。
第三部分：效果激励。联邦学习的一大特点就是它解决了为什么不同机构要加入联邦共同建模的问题，即建立模型以后模型的效果会在实际应用中表现出来，并记录在永久数据记录机制（如区块链）上。提供数据多的机构所获得的模型效果会更好，模型效果取决于数据提供方对自己和他人的贡献。
特点和优势：
1. 数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求；
2. 能够保证模型质量无损，不会出现负迁移，保证联邦模型比割裂的独立模型效果好；
3. 能够保证参与各方在保持对等，独立性的情况下，进行信息与模型参数的加密交换，并同时获得成长。
4. 迁移学习：Transfer Learning
实际问题：由于直接对目标域从头开始学习成本太高，我们故而转向运用已有的相关知识来辅助尽快地学习新知识。通俗来讲，就是运用已有的知识来学习新的知识。
解决方案：迁移学习核心是找到已有知识和新知识之间的相似性，用成语来说就是举一反三。比如，已经会下中国象棋，就可以类比着来学习国际象棋；已经学会英语，就可以类比着来学习法语；等等。世间万事万物皆有共性，如何合理地找寻它们之间的相似性，进而利用这个桥梁来帮助学习新知识，是迁移学习的核心问题。
在迁移学习中，我们已有的知识叫做源域(source domain)，要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标域上。
迁移学习按照学习方式可以分为基于样本的迁移，基于特征的迁移，基于模型的迁移，以及基于关系的迁移。基于样本的迁移通过对源域中有标定样本的加权利用完成知识迁移；基于特征的迁移通过将源域和目标域映射到相同的空间（或者将其中之一映射到另一个的空间中）并最小化源域和目标域的距离来完成知识迁移；基于模型的迁移将源域和目标域的模型与样本结合起来调整模型的参数；基于关系的迁移则通过在源域中学习概念之间的关系，然后将其类比到目标域中，完成知识的迁移。如何找到相似度尽可能高的源域和目标域，是整个迁移过程最重要的前提。
特定和优势：
1. 迁移学习是一种获取新节点模型优化学习方法，一种节省时间或者得到更好性能的捷径。
2. 同时可以增强适应到新的域，例如跨语言迁移知识，可靠的跨语言域的方法会允许我们借用大量的已有的英文标签数据并将其应用在任何一种语言中，尤其是没有足够服务且真正缺少资源的语言。
5. 增量学习：Incremental Learning
实际问题：对于传统的批量学习技术来说,如何从日益增加的新数据（如流式数据）中得到有用信息是一个难题。流式数据具有以下特点：动态性，无序性，无限性，突发性，体积大。传统批处理式学习方法在处理流式数据的时候，学习时间长、学习效率低；难以针对增量数据有效地更新模型，导致难以有效地使模型适应数据中发生的概念迁移和概念演化问题。
解决方案：增量学习的思想可描述成：一个学习系统能不断地从新样本中学习新的知识,并能保存大部分以前已经学习到的知识。增量学习非常类似于人类自身的学习模式。因为人在成长过程中,每天学习和接收新的事物,学习是逐步进行的,而且,对已经学习到的知识,人类一般是不会遗忘的。
总体来说增量学习算法使用的技术可以总结为3类：
第一类，选择最有信息量的数据。往往用于实现旧类别新实例的增量，并且需要使用部分或全部原始数据。其目的是在一段信息流中选取最有效的数据，使用最少的数据完成学习任务。
第二类，使用多模型集合实现模型的加强。此类方法可以实现完全的增量学习，业界有基于分类器集合的算法，基于再生希尔伯特空间的增量学习算法等。
第三类，改变模型的参数或结构。此类方法需要训练多个模型进行组合，计算代价大大增加，而且随着增量学习的进行，不断增加的基模型也是一个未解决的问题。
特点和优势：
引用Robipolikar对增量学习算法的定义,即一个增量学习算法应同时具有以下特点:
1. 可以从新数据中学习新知识
2. 以前已经处理过的数据不需要重复处理
3. 每次只有一个训练观测样本被看到和学习
4. 学习新知识的同时能保持以前学习到的大部分知识
5. 一旦学习完成后训练观测样本被丢弃
6. 学习系统没有关于整个训练样本的先验知识
结束语
自动学习AutoML和主动学习Active Learning都是属于可用性优化，提高自动化水平，减少人力的投入。自动学习强调的是特征工程，算法选取，超参调整 等训练过程的自动化；主动学习强调的是海量数据标注的自动化。
而增量学习Incremental Learning，迁移学习Transfer Learning和联邦学习Federated Learning都是属于算法类优化。
增量学习与迁移学习最大的区别就是对待旧知识的处理，增量学习在学习新知识的同时需要尽可能保持旧知识，不管它们类别相关还是不相关的，而迁移学习则只是借助旧知识来学习新知识，学习完成后只关注在新知识上的性能，不再考虑在旧知识上的性能。
联邦学习解决了数据安全、隐私保护而导致的数据不出本地的问题，并提边缘设备AI能力。
以上简单介绍了几类属于目前比较流行的，解决特定场景的人工智能学习方法，未来随着技术演进更多的算法会越来越成熟，我也会在未来的文章中为大家一一介绍。（例如，终生学习Life Long Learning/少样本学习Few Shot Learning/多任务学习Multi Task Learning/多智能体学习Multi Agent Learning/远学习Meta Learning/Learning to Learn等）。
人工智能园地，力求打造运营商领域第一的人工智能交流平台，促进华为NAIE理念在业界（尤其通信行业）形成影响力！
