侵权投诉
订阅
纠错
加入自媒体

除了深度学习 你还应该关注这6大AI领域

2017-01-26 09:50
冷血の爱
关注

2、生成模型

相对于用于分类或回归分析任务的判别模型,生成模型学习的是训练例子的概率分布。通过从这一高维分布中采样,生成模型可以输出新的类似与训练数据的例子。这意味着,比方说,基于真实脸部图像训练出来的生成模型可以输出类似脸部的合成图像。要想了解这些模型如何工作的细节,可参见Ian Goodfellow精彩的NIPS 2016指南文章。他介绍的生成对抗网络(GAN)架构,是目前研究界尤其热门的方向,因为这种架构提供了一条通往无监督学习的道路。GAN有两个神经网络:一个是生成器,它会以随机输入噪声作为输入,接受合成内容(比如图像)的任务;另一个是鉴别器,它会学习真正的图像看起来是什么样的,然后接受辨别由生成器创造的图像是真的还是假冒的。对抗训练可被看成是一个游戏,在这个游戏里面,生成器必须交替学习如何通过噪音来创造出逼真的图像,逼真到鉴别器再也无法分清真伪的地步。这一框架正在被延伸到许多数据形态和任务当中。

应用:模拟未来可能的时间序列(比如说强化学习的任务规划);超清晰图像;通过2D图像修复3D结构;对小型的带标签数据集进行归纳;从一个输入推出多个正确结果的软任务(比如预测视频的下一帧);在对话接口(如聊天机器人)中创建自然语言;加密;当并非所有数据都带标签时进行半监督学习;艺术风格的变换;合成音乐和语音;图像修复。

公司:Twitter Cortex,Adobe,Apple,Prisma,Jukedeck*,Creative.ai,Gluru*,Mapillary*,Unbabel。

主要研究者:Ian Goodfellow(OpenAI), Yann LeCun和Soumith Chintala(Facebook AI Research), Shakir Mohamed和A?ron van den Oord(Google DeepMind), Alyosha Efros(Berkeley)等。

3、带记忆的神经网络

为了让AI能像我们人类一样归纳不同的现实世界环境,它们必须能够不断学习新任务并记住如何在未来执行所有这些任务。然而,传统神经网络一般都不能记住此类任务序列。这一缺点的术语叫做灾变性失忆(catastrophic forgetting)。之所以会发生这种情况,是因为在一个神经网络中对于解决任务A很重要的权重在该网络随后受训解决任务B时会发生变化。

不过有若干强大的架构能赋予神经网络不同程度的记忆功能。这些就包括了长短期记忆人工神经网络(LSTM,递归神经网络的派生),这种网络能处理和预测时间序列;为了自行学习复杂数据结构并在其中导航,DeepMind的可微神经计算机结合了神经网络和内存系统,学习的弹性权重合并(elastic weight consolidation)算法,视之前在任务中的重要性不同,这种算法可放慢特定权重的学习;渐进性神经网络( progressive neural networks),这种神经网络可以学习任务相关模型的横向联系,从而从此前学过的神经网络中析取出有用的功能来执行新任务。

应用:可归纳到新环境的学习代理;机器臂空子任务;无人车;时间序列预测(比如金融市场,视频,物联网等);自然语言理解和下一个单词预测。

公司:Google DeepMind,NNaisense(?), SwiftKey/微软研究院, Facebook AI Research。

主要研究人员:Alex Graves, Raia Hadsell, Koray Kavukcuoglu(Google DeepMind), Jürgen Schmidhuber(IDSIA), Geoffrey Hinton(Google Brain/Toronto), James Weston, Sumit Chopra, Antoine Bordes(FAIR)。

4、从更少的数据学习,建立更小的模型

深度学习模型因为需要庞大规模的训练数据才能实现最好性能而引人关注。比方说, 让参赛队伍挑战自己的图像识别模型的ImageNet Large Scale Visual Recognition Challenge(ImageNet大规模视觉识别挑战赛)拥有120万张手工标记的训练图像,涵括了1000个对象类别。如果没有大规模的训练数据,深度学习就没有办法集中到优化设置上面,注入语音识别或者机器翻译之类的那些复杂的任务就无法执行得好。当单个神经网络用于端到端解决一个问题(也就是说,把说话的裸音频录音作为输入然后输出说话的录音文本)时,这一数据需求只会越来越高。这跟用多个神经网络各提供中间表示是不一样的(比如说,裸语音音频输入→音素→单词→录音文本输出)。如果我们希望AI系统解决那些训练数据尤其具有挑战性、成本又高、又敏感或者获得又十分耗时的任务时,从较少例子(比如1次或0次学习)形成可学习优化解决方案的模型就很重要了。当针对小规模数据集进行训练时,其挑战包括过度拟合,处理异常值的困难,训练和测试之间不同的数据分布等。一个替代的方案是用一个共同的流程将机器学习模型执行之前任务获得的知识转移过去以改善新任务的学习,这被称为是迁移学习(transfer learning)。

一个相关问题是利用类似数量或者数量显著减少的参数开发更小型的最新深度学习架构。其优势包括更有效的分布式训练,因为数据需要在服务器之间进行沟通;从云导出新模型到边缘设备需要更少的带宽;可以部署到内存有限的硬件,灵活性得到了改进。

应用:训练浅层网络学习模仿原本基于大型带标签训练数据而训练出来的深度网络的表现;参数更少但表现与深度模型相当的架构(比如SqueezeNet);机器翻译。

公司:Geometric Intelligence/Uber, DeepScale.ai, 微软研究院, Curious AI Company, Google, Bloomsbury AI。

主要研究人员:Zoubin Ghahramani(剑桥大学), Yoshua Bengio(蒙特利尔大学), Josh Tenenbaum(MIT), Brendan Lake(纽元大学), Oriol Vinyals(Google DeepMind), Sebastian Riedel(UCL)。

<上一页  1  2  3  下一页>  
声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号