今日 Paper | 联合多任务模型;3D人体重建;可视化理解机器翻译;深入研究整流器等
目录
联合多任务模型:
多NLP任务的神经网络的创建
Peelnet:
基于单视角彩色图片的带纹理的3D人体重建
可视化理解机器翻译
深入研究整流器:
在ImageNet分类上超越人的水平
对深前向神经网络训练难点的理解
联合多任务模型:
多NLP任务的神经网络的创建
论文名称:
A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks
作者:
Kazuma Hashimoto /Caiming Xiong /Yoshimasa Tsuruoka /Richard Socher
发表时间:
2016/11/5
论文链接:
https://paper.yanxishe.com/review/12204?from=leiphonecolumn_paperreview0227
推荐原因
核心问题:
在自然语言理解领域有众多的任务,比如词性分析,语块分析,依存句法分析,文本语义相关,文本蕴涵等等,各个任务之间有着相互联系。
研究者们通过多任务学习来促进任务间互相联系,提高各个任务的性能。
创新点:
传统的多任务是并行实现的,但是这众多任务中是存在层次关系的,所以本文将不同任务栈式的叠加,越层次的任务具有更深的网络结构,当前层次的任务会使用下一层次的任务输出,类似于流水线的形式。
研究意义:
相比平行的多任务结构有更好的效果。
这样的框架也可以扩展到更多高层任务应用,而且效果也比较好,这也符合真实的情况。
Peelnet:
基于单视角彩色图片的带纹理的3D人体重建
论文名称:
PeelNet: Textured 3D reconstruction of human body using single view RGB image
作者:
Sai Sagar Jinka /Rohan Chacko /Avinash Sharma /P. J. Narayanan
发表时间:
2020/2/16
论文链接:
https://paper.yanxishe.com/review/11695?from=leiphonecolumn_paperreview0227
由于严重的人体自遮挡、衣服变化和光照变化等众多问题,从单张彩色图像恢复人体形状和姿势是一个非常具有挑战性的问题。
本文提出了一种端到端的生成对抗网络框架PeelNet,来从单张RGB图片重建带纹理的3D人体模型。
作者提出将3D人体模型表达为对自遮挡鲁棒的分离的深度图和彩色图(peeled depth and RGB maps),并提出一个完整的端到端的框架,从单张彩色人体图片预测分离的深度图和彩色图,并进一步生成带纹理的3D人体模型。
文章的方法不依赖于参数化人体模型,对于穿宽松衣服的人体能够得到更加精确的结果,而且能够很好地处理人体自遮挡情况。
可视化理解机器翻译
论文名称:
Visualizing and Understanding Neural Machine Translation
作者:
Yanzhuo Ding / Yang Liu / Huanbo Luan / Maosong Sun
发表时间:
2017/7/30
论文链接:
https://paper.yanxishe.com/review/11953?from=leiphonecolumn_paperreview0227
推荐原因
论文概要:
目前深度学习发展迅速,但深度学习作为一个黑箱,越来越多的研究者开始关注深度学习的可解释性研究。
本篇论文是17年的ACL论文,应用了LRP(layer-wise relevance propagation)方法对神经机器翻译进行了可视化理解。
目前的注意力机制实际上表示了源语言和目标语言之间的联系,但不能很好地告诉我们目标语言是如何被翻译生成的。
LRP(分层相关性传播)方法,最开始被应用于计算机视觉领域,通过计算单个像素对图像分类器预测结果的贡献进行可解释研究。
本文将LPR方法应用在基于注意力机制的encoder-decoder模型中,去计算每个上下文单词对任意隐藏单元的贡献程度,从而可视化理解神经机器翻译模型。
汉英翻译的实例研究表明,LRP方法可以很好地解释机器翻译的工作机制并且帮助分析翻译错误。
创新点与反思:
本文首次应用LRP方法对NMT进行了可视化理解,并取得了不错的效果。
LRP方法首先在计算机视觉领域被提出,作者将这种方法迁移应用到了自然语言处理领域,实际上现在计算机领域的深度学习可解释研究比较多,对其他领域的进一步研究有很好的借鉴意义。
深入研究整流器:
在ImageNet分类上超越人的水平
论文名称:
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
作者:
Kaiming He / Xiangyu Zhang / Shaoqing Ren /Jian Sun
发表时间:
2015/2/6
论文链接:
https://paper.yanxishe.com/review/12076?from=leiphonecolumn_paperreview0227
推荐原因
核心问题:
这是一篇关于神经网络的权重参数初始化的文章,目前这种神经网络权重的初始化方法我是经常使用的,使用这种方法训练的神经网络训练更快,效果更好
创新点:
1、提出了PRULE激活函数
2、在ImageNet2012分类数据集上,到达4.94% top-5的错误率,超过当时最好的性能6.66%,超过人的水平5.1%
研究意义:
神经网络的权重初始化是神经网络最重要的一步,因为不适当的神经网络初始化,很有可能导致神经网络不工作。
对深前向神经网络训练难点的理解
论文名称:
Understanding the difficulty of training deep feedforward neural networks
作者:
Xavier Glorot /Yoshua Bengio
发表时间:
2010/2/11
论文链接:
https://paper.yanxishe.com/review/12075?from=leiphonecolumn_paperreview0227
推荐原因
核心问题:
在使用深度学习搭建模型的时候,经常需要对神经网络进行权重的初始化工作,有许多神经网络的权重参数初始化方式,经常使用的一种方式是Xavier,这个方法就是来源于这篇论文。
创新点:
提出了一种新的初始化方法,可以带来更快的收敛速度。
这种初始化权值的方法就是这两年在深度网络中经常使用的Xavier初始化。
研究意义:
神经网络的权重参数初始化是非常重要的,有时候神经网络不work,那么多半是和神经网络的权重参数初始化不好有关系,好的神经网络的权重参数初始化,不仅有利于解决神经网络的梯度消失和梯度爆炸的情况,而且还可以加快神经网络的训练速度。
论文作者团队招募
为了更好地服务广大 AI 青年,AI 研习社正式推出全新「论文」版块,希望以论文作为聚合 AI 学生青年的「兴趣点」,通过论文整理推荐、点评解读、代码复现。
致力成为国内外前沿研究成果学习讨论和发表的聚集地,也让优秀科研得到更为广泛的传播和认可。
我们希望热爱学术的你,可以加入我们的论文作者团队。
加入论文作者团队你可以获得
1.署着你名字的文章,将你打造成最耀眼的学术明星
2.丰厚的稿酬
3.AI 名企内推、大会门票福利、独家周边纪念品等等等。
加入论文作者团队你需要:
1.将你喜欢的论文推荐给广大的研习社社友
2.撰写论文解读
如果你已经准备好加入 AI 研习社的论文兼职作者团队,可以添加运营小姐姐的微信(ID:julylihuaijiang),备注“论文兼职作者”
雷锋网 (公众号:雷锋网) 雷锋网雷锋网
相关文章:
今日 Paper | 3D门控递归融合;双注意力GAN;通用目标检测器;无监督域自适应等
雷锋网原创文章,未经授权禁止转载。详情见 转载须知 。