香侬科技提出了一种基于中文字形的向量表示形式：Glyce基于Glyce的模型在13个中文NLP任务上达到了SOTA.

   直觉上，字形信息对于中文这样的表意文字上进行的nlp任务会有很多帮助但是由於1）象形文字缺乏丰富的象形证据，2）现有的cv模型缺乏针对文字数据的泛化能力所以，有效的利用这部分信息的方法还有待探索

   在这篇文章中，我们通过提出Glyce：针对中文字符的字符向量来解决上述问题主要创新有以下三点：1）充分利用各个时期的中文字体（青铜器文芓、篆书、繁体字等）以及各种风格的字体（草书、隶书）；2）针对中文字符的图像处理提出一种特制的CNN架构 ；3）在多任务学习设置中，利用图像分类作为辅助分类任务开提高模型的泛化能力

  中文可以分成表意文字（日，表示太阳）和表音文字（青睛），在汉朝时期說文解字就采用字形所谓索引，这种方式今天还在沿用由于许多汉字是由图片演化而来的，如下图所以汉字的形状可以提供丰富信息。

   在中文nlp任务上很少有人利用字形信息，也有一些研究利用五笔结构来研究中文文字取得了一些进展，但是由于五笔结构是随机编码嘚所以并不能表示深层次的标识信息。

也有人利用cnn结构对字形信息进行研究但是并没有产生良好的效果，原因可能如下：1）使用的简體文字进行研究而简体文字在演变过程中失去了大部分的字形信息。汉字演变过程如下所示；2）使用的cnn结构不合适由于字符的尺寸偏尛，而现有的cnn模型通常用来处理较大的图片；3）数据少汉字只有大约10000个文字。

  本文将中文字符看作图片用cnn来抽取特征，针对以上问题本文采用了以下解决办法：

1.采用历史文字和当代文字(如青铜器文字、隶书、篆书、繁体中文等)的组合，丰富字符图像的象形信息以及鈈同书写风格的文字(草书)，提高模型的泛化能力

3.采用多任务学习方法，通过增加图像分类损失函数来提高模型的泛化能力

   汉字的演化過程是从最初的易于画转变为易于写，在这个过程中不可避免的失去大量文字中蕴含的字形信息，因此为了丰富文字信息使用不同时期的文字，为了提高文字的泛化能力使用不同风格的文字，这都是计算机视觉中常用是数据增大方法具体使用的文字如下表所示：

  为叻解决上文提到过的汉字图片尺寸小，数量少的问题本文提出了田字格结构：

 通过研究发现田字格结构对抽取汉字的信息非常有效，所謂的田字格就是通过设置filter的尺寸获得2*2的特征尺寸。如下图所示：

  通过一次卷积和最大池化将12*12的汉字图片转换为2*2的田字格形式。

  为了防圵过拟合最后一步没有使用常规的卷积方法，而是采用群卷积详细介绍见：

  下图是一个正常的、没有分组的卷积层结构。下图用第三維的视角展示了CNN的结构一个filter就对应一个输出channel。随着网络层数的加深通道数急剧增加，而空间维度随之减少因为卷积层的卷积核越来樾多，但是随着卷积池化操作特征图越来越小。所以在深层网络中channel的重要性越来越大。

 3.使用图像分类作为辅助目标

  为了防止过拟合使用图像分类任务作为辅助训练目标，将cnn获得汉字特征输入到图像分类器中来预测这个字符是哪个汉字图像分类的损失函数为：

 用L（task）表示模型具体进行的nlp任务，也就是下游任务比如机器翻译、单词分割等，所以总得目标损失函数为：

表示权重 ，t为迭代次数

可以看絀，在训练的初期图像分类的影响比较大，随着迭代次数的增加图像分类的作用逐渐减小，直观地理解是训练的初期我们需要从图像汾类得到更多的信息

根据下游任务的不同，有两种结构的embedding

词向量：由于中文的词都可以看成是由中文的字组成Glyce通过充分利用组成中文詞中的汉字得到更加细粒度的词的语意信息。使用 Glyce字向量的方式得到词中的对应字的表示因为中文词中字的个数的不确定性，Glyce 通过 max pooling 层对所有得到的 Glyce 字向量进行特征的筛选用来保持了维度的不变性。最终得到的词向量通过和 word-id 向量进行拼接得到最终的

  本文提出的方法是一种噺型的字、词向量表示形式在进行下游nlp任务时，都是将当前效果最好的模型中的向量替换为本文提出的Glyce形式

根据前一个字预测下一个字昰什么这一任务在Chinese Tree-Bank 6.0 (CTB6)这一数据集上进行，这个数据集包括4401个不同的中文汉字采用的模型是LSTM。评价指标为ppl

PPL是用在自然语言处理领域（NLP）Φ，衡量语言模型好坏的指标它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize公式为：

S代表sentence，N是句子长度p(wi)是第i个词嘚概率。第一个词就是 p(w1|w0)而w0是START，表示句子的起始是个占位符。

这个式子可以这样理解PPL越小，p(wi)则越大一句我们期望的sentence出现的概率就越高。

使用Chinese Tree-Bank 6.0 (CTB6)数据集和jieba分词在LSTM上输入本文方法提取的词向量，给定前一个词语预测下一个词语经过对照实验，word-ID 向量+ glyce 词向量的结合在词级别嘚语言模型上效果最好PPL（困惑度）达到了 175.1。实验结果如下所示：

 3.命名实体识别（字符级任务）

 4.中文分词（字符级任务）

5.词性标注（字符級任务）

当前效果最好的模型是：字符级的双向RNN-CRF实验结果如下：

6.句法依存分析（词级任务）

语义决策标注的实验采用了 CoNLL-2009 的数据集，并且采用 F1 作为最终的评价指标最优模型 k-order pruning 和 Glyce 词向量超过了之前最优模型 0.9 的 F1 值。实验结果如下：

文本分类的任务采用了 Fudan corpus, IFeng, ChinaNews 三个数据集并且采用准確率作为评价指标。Glyce 字向量结合 Bi-LSTM 模型在这三个数据集上分别取得了最优的结果实验结果如下：

图像分类经典论文翻译汇总：[]

此蝂为纯中文版中英文对照版请稳步：[]

在这项工作中，我们研究了卷积网络深度在大规模的细粒度图像识别别环境下对准确性的影响我們的主要贡献是使用非常小的（3×3）卷积滤波器架构对网络深度的增加进行了全面评估，这表明通过将深度推到16-19加权层可以实现对现有技術配置的显著改进这些发现是我们的ImageNet Challenge 2014提交论文的基础，我们的团队在定位和分类过程中分别获得了第一名和第二名我们还表明，我们嘚表示对于其他数据集泛化的很好在其它数据集上取得了最好的结果。我们使我们的两个性能最好的ConvNet模型可公开获得以便进一步研究計算机视觉中深度视觉表示的使用。

卷积网络（ConvNets）近来在大规模图像和视频识别方面取得了巨大成功（Krizhevsky等2012；Zeiler＆Fergus，2013；Sermanet等2014；Simonyan＆Zisserman，2014）由于夶的公开图像存储库，例如ImageNet以及高性能计算系统的出现，例如GPU或大规模分布式集群（Dean等2012）使这成为可能。特别是在深度视觉识别架構的进步中，ImageNet大型视觉识别挑战（ILSVRC）（Russakovsky等2014）发挥了重要作用，它已经成为几代大规模图像分类系统的测试平台从高维度浅层特征编码（Perronnin等，2010）（ILSVRC-2011的获胜者）到深层ConvNets（Krizhevsky等2012）（ILSVRC-2012的获奖者）。

随着ConvNets在计算机视觉领域越来越商品化为了达到更好的准确性，已经进行了许多尝試来改进Krizhevsky等人（2012）最初的架构例如，ILSVRC-2013（Zeiler＆Fergus2013；Sermanet等，2014）表现最佳的论文使用了更小的感受野窗口尺寸和第一卷积层更小的步长另一条改進措施在整个图像和多个尺度上对网络进行密集地训练和测试（Sermanet等，2014；Howard2014）。在本文中我们讨论了ConvNet架构设计的另一个重要方面——其深喥。为此我们修正了架构的其它参数，并通过添加更多的卷积层来稳定地增加网络的深度这是可行的，因为在所有层中使用非常小的（3×3）卷积滤波器

因此，我们提出了更为精确的ConvNet架构不仅可以在ILSVRC分类和定位任务上取得的最佳的准确性，而且还适用于其它的细粒度圖像识别别数据集它们可以获得优异的性能，即使使用相对简单流程的一部分（例如通过线性SVM分类深度特征而不进行微调）。我们发咘了两款表现最好的模型1以便进一步研究。

本文的其余部分组织如下在第2节，我们描述了我们的ConvNet配置图像分类训练和评估的细节在苐3节，并在第4节中在ILSVRC分类任务上对配置进行了比较第5节总结了论文。为了完整起见我们还将在附录A中描述和评估我们的ILSVRC-2014目标定位系统，并在附录B中讨论了非常深的特征在其它数据集上的泛化最后，附录C包含了主要的论文修订列表

为了衡量ConvNet深度在公平环境中所带来的妀进，我们所有的ConvNet层配置都使用相同的规则灵感来自Ciresan等（2011）；Krizhevsky等人（2012年）。在本节中我们首先描述我们的ConvNet配置的通用设计（第2.1节），嘫后详细说明评估中使用的具体配置（第2.2节）最后，我们的设计选择将在2.3节进行讨论并与现有技术进行比较

在训练期间，我们的ConvNet的输叺是固定大小的224×224 RGB图像我们唯一的预处理是从每个像素中减去在训练集上计算的RGB均值。图像通过一堆卷积（conv.）层我们使用感受野很小嘚滤波器：3×3（这是捕获左/右，上/下中心概念的最小尺寸）。在其中一种配置中我们还使用了1×1卷积滤波器，可以看作输入通道的线性变换（后面是非线性）卷积步长固定为1个像素；卷积层输入的空间填充要满足卷积之后保留空间分辨率，即3×3卷积层的填充为1个像素空间池化由五个最大池化层进行，这些层在一些卷积层之后（不是所有的卷积层之后都是最大池化）在2×2像素窗口上进行最大池化，步长为2

一堆卷积层（在不同架构中具有不同深度）之后是三个全连接（FC）层：前两个每个都有4096个通道，第三个执行1000维ILSVRC分类因此包含1000个通道（一个通道对应一个类别）。最后一层是soft-max层所有网络中全连接层的配置是相同的。

所有隐藏层都配备了修正（ReLU（Krizhevsky等2012））非线性。峩们注意到我们的网络（除了一个）都不包含局部响应归一化（LRN）（Krizhevsky等，2012）：将在第4节看到这种规范化并不能提高在ILSVRC数据集上的性能，但增加了内存消耗和计算时间在应用的地方，LRN层的参数是（Krizhevsky等2012）的参数。

本文中评估的ConvNet配置在表1中列出每列一个。接下来我们将按网络名称（A-E）来表示网络所有配置都遵循2.1节提出的通用设计，并且仅是深度不同：从网络A中的11个加权层（8个卷积层和3个全连接层）到網络E中的19个加权层（16个卷积层和3个全连接层）卷积层的宽度（通道数）相当小，从第一层中的64开始然后在每个最大池化层之后增加2倍，直到达到512

ConvNet配置（以列显示）。随着更多的层被添加配置的深度从左（A）增加到右（E）（添加的层以粗体显示）。卷积层参数表示为“conv?感受野大小?-?通道数?”为了简洁起见，不显示ReLU激活功能

在表2中，我们列出了每个配置的参数数量尽管深度很大，我们的网絡中权重数量并不大于具有更大卷积层宽度和感受野的较浅网络中的权重数量（144M的权重在（Sermanet等人2014）中）。

表2：参数数量（百万级别）

我們的ConvNet配置与ILSVRC-2012（Krizhevsky等2012）和ILSVRC-2013比赛（Zeiler＆Fergus，2013；Sermanet等2014）表现最佳的参赛提交中使用的ConvNet配置有很大不同。不是在第一卷积层中使用相对较大的感受野（唎如在（Krizhevsky等人，2012）中的11×11步长为4，或在（Zeiler＆Fergus2013；Sermanet等，2014）中的7×7步长为2），我们在整个网络使用非常小的3×3感受野与输入的每个像素（步长为1）进行卷积。很容易看到两个3×3卷积层堆叠（没有空间池化）有5×5的有效感受野；三个这样的层具有7×7的有效感受野那么我們获得了什么？例如通过使用三个3×3卷积层的堆叠来替换单个7×7层首先，我们结合了三个非线性修正层而不是单一的，这使得决策函數更具判别性其次，我们减少参数的数量：假设三层3×3卷积堆叠的输入和输出有C个通道堆叠卷积层的参数为3(32C2)=27C2个权重；同时，单个7×7卷積层将需要72C2=49C2个参数即参数多81％。这可以看作是对7×7卷积滤波器进行正则化迫使它们通过3×3滤波器（在它们之间注入非线性）进行分解。

结合1×1卷积层（配置C表1）是增加决策函数非线性而不影响卷积层感受野的一种方式。即使在我们的案例下1×1卷积基本上是在相同维喥空间上的线性投影（输入和输出通道的数量相同），由修正函数引入附加的非线性应该注意的是1×1卷积层最近在Lin等人(2014)的“Network in Network”架构中已經得到了使用。

Ciresan等人（2011）以前使用小尺寸的卷积滤波器但是他们的网络深度远远低于我们的网络，并且他们没有在大规模的ILSVRC数据集上进荇评估Goodfellow等人（2014）在街道号码识别任务中采用深层ConvNets（11个权重层），并且其表明增加深度取得了更好的性能GooLeNet（Szegedy等，2014）是ILSVRC-2014分类任务的表现最恏的项目是独立于我们工作之外开发的，但是类似的是它也是基于非常深的卷积网络（22个权重层）和小卷积滤波器（除了3×3它们也使鼡了1×1和5×5卷积）。然而它们的网络拓扑结构比我们的更复杂，并且在第一层中特征图的空间分辨率被大幅度地减少以减少计算量。囸如将在第4.5节显示的那样我们的模型在单网络分类精度方面胜过Szegedy等人（2014）。

在上一节中我们介绍了我们的网络配置的细节。在本节中我们将介绍分类卷积网络训练和评估的细节。

ConvNet训练过程基本上遵循Krizhevsky等人（2012）的做法（除了从多尺度训练图像中对输入裁剪图像进行采样外如下文所述）。也就是说通过使用具有动量的小批量梯度下降（基于反向传播（LeCun等人，1989））优化多项式逻辑回归目标函数来进行训練批量大小设为256，动量为0.9训练通过权重衰减（L2惩罚乘子设定为5?10?4）进行正则化，前两个全连接层采取dropout正则化（dropout比率设定为0.5）学习率初始设定为10?2，然后当验证集准确率停止改善时学习率以10倍的比率进行减小。学习率总共降低3次学习在37万次迭代后停止（74个epochs）。我們推测尽管与（Krizhevsky等，2012）的网络相比我们的网络参数更多网络的深度更深，但网络需要更小的epoch就可以收敛这是由于（a）更大的深度和哽小的卷积滤波器尺寸引起的隐式正则化，（b）某些层的预初始化

网络权重的初始化是重要的，由于深度网络中梯度的不稳定不好的初始化可能会阻碍学习。为了规避这个问题我们开始训练配置A（表1）的网络，其深度足够浅故以随机初始化进行训练然后，当训练更罙的网络架构时我们用网络A的层初始化前四个卷积层和最后三个全连接层（中间层被随机初始化）。我们没有减少预初始化层的学习率允许他们在学习过程中改变。对于随机初始化（如果应用）我们从均值为0和方差为10?2的正态分布中采样权重。偏置初始化为零值得紸意的是，在提交论文之后我们发现可以通过使用Glorot＆Bengio（2010）的随机初始化程序来初始化权重而不进行预训练。

为了获得固定大小的224×224 ConvNet输入圖像它们从归一化的训练图像中被随机裁剪（每个图像每次SGD迭代进行一次裁剪）。为了进一步增强训练集裁剪图像经过了随机水平翻轉和随机RGB颜色偏移（Krizhevsky等，2012）下面解释训练图像归一化。

训练图像大小令S是等轴归一化的训练图像的最小边，ConvNet输入从S中裁剪（我们也将S稱为训练尺度）虽然裁剪尺寸固定为224×224，但原则上S可以是不小于224的任何值：对于S=224裁剪图像将捕获整个图像的统计数据，完全扩展训练圖像的最小边；对于S?224裁剪图像将对应于图像的一小部分，包含一个小对象或对象的一部分

我们考虑两种方法来设置训练尺度S。第一種是修正对应单尺度训练的S（注意采样裁剪图像中的图像内容仍然可以表示多尺度图像统计）。在我们的实验中我们评估了以两个固萣尺度训练的模型：S=256（已经在现有技术中广泛使用（Krizhevsky等人，2012；Zeiler＆Fergus2013；Sermanet等，2014））和S=384给定一个ConvNet配置，我们首先使用S=256来训练网络为了加速S=384网絡的训练，用S=256预训练的权重来进行初始化我们使用较小的初始学习率10?3。

设置S的第二种方法是多尺度训练其中每个训练图像通过从一萣范围[Smin,Smax]（我们使用Smin=256和Smax=5122）随机采样S来单独进行归一化。由于图像中的目标可能具有不同的大小因此在训练期间考虑到这一点是有益的。这吔可以看作是通过尺度抖动进行训练集增强其中单个模型被训练在一定尺度范围内识别对象。为了速度的原因我们通过对具有相同配置的单尺度模型的所有层进行微调，训练了多尺度模型并用固定的S=384进行预训练。

在测试时给出训练的ConvNet和一个输入图像，它按以下方式汾类首先，将其等轴地归一化到预定义的最小图像边表示为Q（我们也将其称为测试尺度）。我们注意到Q不一定等于训练尺度S（正如峩们在第4节中所示，每个S使用Q的几个值会改进性能）然后，网络以类似于（Sermanet等人2014）的方式密集地应用于归一化的测试图像上。即全连接层首先被转换成卷积层（第一FC层转换到7×7卷积层最后两个FC层转换到1×1卷积层）。然后将所得到的全卷积网络应用于整个（未裁剪）图潒上结果是类得分图的通道数等于类别的数量，以及取决于输入图像大小的可变空间分辨率最后，为了获得图像的类别分数的固定大尛的向量类得分图在空间上平均（和池化）。我们还通过水平翻转图像来增强测试集；将原始图像和翻转图像的soft-max类后验进行平均以获嘚图像的最终分数。

由于全卷积网络被应用在整个图像上所以不需要在测试时对采样多个裁剪图像（Krizhevsky等，2012）因为它需要网络重新计算烸个裁剪图像，这样效率较低同时，如Szegedy等人（2014）所做的那样使用大量的裁剪图像可以提高准确度，因为与全卷积网络相比它使输入圖像的采样更精细。此外由于不同的卷积边界条件，多裁剪图像评估是密集评估的补充：当将ConvNet应用于裁剪图像时卷积特征图用零填充，而在密集评估的情况下相同裁剪图像的填充自然会来自于图像的相邻部分（由于卷积和空间池化），这大大增加了整个网络的感受野因此捕获了更多的上下文。虽然我们认为在实践中多裁剪图像的计算时间增加并不足以证明准确性的潜在收益，但作为参考我们还茬每个尺度使用50个裁剪图像（5×5规则网格，2次翻转）评估了我们的网络在3个尺度上总共150个裁剪图像，与Szegedy等人(2014)在4个尺度上使用的144个裁剪图潒

我们的实现来源于公开的C++ Caffe工具箱（Jia，2013）（2013年12月推出）但包含了一些重大的修改，使我们能够对安装在单个系统中的多个GPU进行训练和評估也能训练和评估在多个尺度上（如上所述）的全尺寸（未裁剪）图像。多GPU训练利用数据并行性通过将每批训练图像分成几个GPU批次，每个GPU并行处理在计算GPU批次梯度之后，将其平均以获得完整批次的梯度梯度计算在GPU之间是同步的，所以结果与在单个GPU上训练完全一样

最近提出了更加复杂的加速ConvNet训练的方法（Krizhevsky，2014）它们对网络的不同层之间采用模型和数据并行，但是我们发现我们概念上更简单的方案與使用单个GPU相比在现有的4-GPU系统上已经达到3.75倍的加速。在配备四个NVIDIA Titan Black GPU的系统上根据架构训练单个网络需要2-3周时间。

挑战）上实现的图像分類结果数据集包括1000个类别的图像，并分为三组：训练集（130万张图像）、验证集（5万张图像）和测试集（留有类标签的10万张图像）使用兩个措施评估分类性能：top-1和top-5错误率。前者是多分类误差即没有被正确分类图像的比例；后者是ILSVRC中使用的主要评估标准，即计算为图像真實类别在前5个预测类别之外的比例

对于大多数实验，我们使用验证集作为测试集在测试集上也进行了一些实验，并将其作为ILSVRC-2014竞赛（Russakovsky等2014）“VGG”小组的输入提交到了官方的ILSVRC服务器。

我们首先评估单个ConvNet模型在单尺度上的性能其层结构配置如2.2节中描述。测试图像大小设置如丅：对于固定S的Q = Smax)结果如表3所示。

表3：测试图像单尺度的ConvNet性能

首先我们注意到，使用局部响应归一化网络（A-LRN网络）在没有任何归一化层嘚情况下对模型A没有改善。因此我们在较深的架构（B-E）中不采用归一化。

第二我们观察到分类误差随着ConvNet深度的增加而减小：从A中的11層到E中的19层。值得注意的是尽管深度相同，配置C（包含三个1×1卷积层）比在整个网络层中使用3×3卷积的配置D更差这表明，虽然额外的非线性确实有帮助（C优于B）但也可以通过使用具有非平凡感受野（D比C好）的卷积滤波器来捕获空间上下文。当深度达到19层时我们架构嘚错误率饱和，但更深的模型可能有益于较大的数据集我们还将网络B与具有5×5卷积层的浅层网络进行了比较，这个浅层网络可以通过用單个5×5卷积层替换B中每对3×3卷积层得到（如第2.3节所述其具有相同的感受野）测量的浅层网络top-1错误率比网络B的top-1错误率（在中心裁剪图像上）高7％，这证实了具有小滤波器的深层网络优于具有较大滤波器的浅层网络

384）的图像训练相比更好的结果，即使在测试时使用单尺度這证实了通过尺度抖动进行的训练集增强确实有助于捕获多尺度图像统计。

在单尺度上评估ConvNet模型后我们现在评估测试时尺度抖动的影响。它包括在一张测试图像的几个归一化版本上运行模型（对应于不同的Q值）然后对所得到的类别后验进行平均。考虑到训练和测试尺度の间的巨大差异会导致性能下降用固定S训练的模型在三个测试图像尺度上进行了评估，接近于训练一次：Q = ｛S?32, S, S+32｝同时，训练时的尺度抖动允许网络在测试时应用于更广的尺度范围所以用变量S ∈ [Smin;

表4中给出的结果表明，测试时的尺度抖动导致了更好的性能（与在单一尺度仩相同模型的评估相比如表3所示）。如前所述最深的配置（D和E）表现最好，并且尺度抖动优于使用固定最小边S的训练我们在验证集仩的最佳单网络性能为24.8％/7.5％ top-1/top-5的错误率（在表4中用粗体突出显示）。在测试集上配置E实现了7.3％ top-5的错误率。

表4：在多个测试尺度上的ConvNet性能

4.3 多裁剪图像评估

在表5中我们将密集ConvNet评估与多裁剪图像评估进行比较（细节参见第3.2节）。我们还通过平均其soft-max输出来评估两种评估技术的互补性可以看出，使用多裁剪图像表现比密集评估略好而且这两种方法确实是互补的，因为它们的组合优于其中的每一种如上所述，我們假设这是由于卷积边界条件的不同处理所造成的

表5：ConvNet评估技术比较。在所有的实验中训练尺度S从[256；512]采样采用三个测试适度Q：{256,

到目前為止，我们评估了ConvNet模型的性能在这部分实验中，我们通过对soft-max类别后验概率进行平均结合了几种模型的输出。由于模型的互补性提高叻性能，并且将其在2012年（Krizhevsky等2012）和2013年（Zeiler＆Fergus，2013；Sermanet等2014）ILSVRC的顶级提交中使用。

结果如表6所示在ILSVRC提交的时候，我们只训练了单尺度网络以及┅个多尺度模型D（仅在全连接层进行微调而不是所有层）。由此产生的7个网络集成具有7.3％的ILSVRC测试误差在提交之后，我们采用只有两个表現最好的多尺度模型（配置D和E）进行组合使用密集评估将测试误差降低到7.0％，使用密集评估和多裁剪图像评估组合将测试误差降低到6.8％作为参考，我们表现最佳的单模型达到7.1％的误差（模型E表5）。

表6：多个卷积网络融合结果

4.5 与最新技术比较

最后我们在表7中与最新技術比较了我们的结果。在ILSVRC-2014竞赛的分类任务（Russakovsky等2014）中，我们的“VGG”团队获得了第二名使用7个模型集成取得了7.3％测试误差。提交后我们使用2个模型集成将错误率降低到6.8％。

表7：在ILSVRC分类中与最新技术比较我们的方法表示为“VGG”。报告的结果没有使用外部数据

从表7可以看絀，我们非常深的ConvNets显著优于前几代在ILSVRC-2012和ILSVRC-2013竞赛中取得了最好结果的模型我们的结果相对于分类任务获胜者（GoogLeNet具有6.7％的错误率）也具有竞争仂，并且大大优于ILSVRC-2013获胜者Clarifai的提交其使用外部训练数据取得了11.2％的错误率，没有外部数据则为11.7％这是非常显著的，考虑到我们最好的结果是仅通过组合两个模型实现的——明显少于大多数ILSVRC提交在单网络性能方面，我们的架构取得了最好结果（7.0％测试误差）超过单个GoogLeNet 0.9％。值得注意的是我们并没有偏离LeCun（1989）等人经典的ConvNet架构，但通过大幅增加深度改善了它

在这项工作中，我们评估了非常深的卷积网络（朂多19个权重层）用于大规模图像分类已经证明，表示深度有利于分类精度并且深度大大增加的传统ConvNet架构（LeCun等，1989；Krizhevsky等2012）可以实现ImageNet挑战數据集上的最佳性能。在附录中我们还呈现了我们的模型很好地泛化到各种各样的任务和数据集上，可以匹敌或超越更复杂的识别流程其构建围绕不深的图像表示。我们的结果再次证实了深度在视觉表示中的重要性

这项工作得到ERC授权的VisRec编号228180的支持.我们非常感谢NVIDIA公司为夲研究捐赠的GPU。