最近公司又弄了一套4卡1080TI机器，配置基本上和之前是一致的，只是显卡换成了技嘉的伪公版1080TI：技嘉GIGABYTE GTX1080Ti 涡轮风扇108TTURBO-11GD

这台深度学习主机大概是这样的：

安装完Ubuntu16.04之后，我又开始了CUDA、cuDnn等深度学习环境和工具的安装之旅，时隔大半年，又有了很多变化，特别是CUDA9.x和cuDnn7.x已经成了标配，这里记录一下。

安装CUDA9.x

注：如果还需要安装Tensorflow1.8，建议这里安装CUDA9.0，我在另一台机器上遇到了一点问题，怀疑和我这台机器先安装CUDA9.0，再安装CUDA9.2有关。

依然从英伟达官方下载当前的 CUDA版本 ，我选择了最新的CUDA9.2：

点选完对应Ubuntu16.04的CUDA9.2 deb版本之后，英伟达官方主页会给出安装提示：

Installation Instructions:
`sudo dpkg -i cuda-repo-ubuntu1604-9-2-local_9.2.88-1_amd64.deb`
`sudo apt-key add /var/cuda-repo- /7fa2af80.pub`
`sudo apt-get update`
`sudo apt-get install cuda`

在下载完大概1.2G的cuda deb版本之后，实际安装命令是这样的：

sudo dpkg -i cuda-repo-ubuntu1604-9-2-local_9.2.88-1_amd64.deb
sudo apt-key add /var/cuda-repo-9-2-local/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda

官方CUDA下载下载页面还附带了一个cuBLAS 9.2 Patch更新，官方强烈建议安装:

This update includes fix to cublas GEMM APIs on V100 Tensor Core GPUs when used with default algorithm CUBLAS_GEMM_DEFAULT_TENSOR_OP. We strongly recommend installing this update as part of CUDA Toolkit 9.2 installation.

可以用如下方式安装这个Patch更新：

sudo dpkg -i cuda-repo-ubuntu1604-9-2-local-cublas-update-1_1.0-1_amd64.deb 
sudo apt-get update  
sudo apt-get upgrade cuda

CUDA9.2安装完毕之后，1080TI的显卡驱动也附带安装了，可以重启机器，然后用 nvidia-smi 命令查看一下：

最后在在 ~/.bashrc 中设置环境变量：

运行 source ~/.bashrc 使其生效。

安装cuDNN7.x

同样去英伟达官网的cuDNN下载页面： https://developer.nvidia.com/rdp/cudnn-download ，最新版本是cuDNN7.1.4，有三个版本可以选择，分别面向CUDA8.0, CUDA9.0, CUDA9.2:

下载完cuDNN7.1的压缩包之后解压，然后将相关文件拷贝到cuda的系统路径下即可：

tar -zxvf cudnn-9.2-linux-x64-v7.1.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ -d 
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

安装TensorFlow 1.8

TensorFlow的安装变得越来越简单，现在TensorFlow的官网也有中文安装文档了： https://www.tensorflow.org/install/install_linux?hl=zh-cn , 我们Follow这个文档，用Virtualenv的安装方式进行TensorFlow的安装，不过首先要配置一下基础环境。

首先在Ubuntu16.04里安装 libcupti-dev 库：

这是 NVIDIA CUDA 分析工具接口。此库提供高级分析支持。要安装此库，请针对 CUDA 工具包 8.0 或更高版本发出以下命令：

$ sudo apt-get install cuda-command-line-tools
并将其路径添加到您的 LD_LIBRARY_PATH 环境变量中：

$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64
对于 CUDA 工具包 7.5 或更低版本，请发出以下命令：

$ sudo apt-get install libcupti-dev

然而我运行“sudo apt-get install cuda-command-line-tools”命令后得到的却是：

E: 无法定位软件包 cuda-command-line-tools

Google后发现其实在安装CUDA9.2的时候，这个包已经安装了，在CUDA的路径下这个库已经有了：

现在只需要将其加入到环境变量中，在~/.bashrc中添加如下声明并令source ~/.bashrc另其生效即可：

剩下的就更简单了：

强烈建议将 清华的pip源 写到配置文件里，这样就更方便快捷了。

最后测试一下TensorFlow1.8:

Python 2.7.12 (default, Dec  4 2017, 14:50:18) 
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
>>> sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
2018-06-17 12:15:34.158680: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
2018-06-17 12:15:34.381812: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1356] Found device 0 with properties: 
name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate(GHz): 1.582
pciBusID: 0000:05:00.0
totalMemory: 10.91GiB freeMemory: 5.53GiB
2018-06-17 12:15:34.551451: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1356] Found device 1 with properties: 
name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate(GHz): 1.582
pciBusID: 0000:06:00.0
totalMemory: 10.92GiB freeMemory: 5.80GiB
2018-06-17 12:15:34.780350: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1356] Found device 2 with properties: 
name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate(GHz): 1.582
pciBusID: 0000:09:00.0
totalMemory: 10.92GiB freeMemory: 5.80GiB
2018-06-17 12:15:34.959199: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1356] Found device 3 with properties: 
name: GeForce GTX 1080 Ti major: 6 minor: 1 memoryClockRate(GHz): 1.582
pciBusID: 0000:0a:00.0
totalMemory: 10.92GiB freeMemory: 5.80GiB
2018-06-17 12:15:34.966403: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1435] Adding visible gpu devices: 0, 1, 2, 3
2018-06-17 12




    
:15:36.373745: I tensorflow/core/common_runtime/gpu/gpu_device.cc:923] Device interconnect StreamExecutor with strength 1 edge matrix:
2018-06-17 12:15:36.373785: I tensorflow/core/common_runtime/gpu/gpu_device.cc:929]      0 1 2 3 
2018-06-17 12:15:36.373798: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 0:   N Y Y Y 
2018-06-17 12:15:36.373804: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 1:   Y N Y Y 
2018-06-17 12:15:36.373808: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 2:   Y Y N Y 
2018-06-17 12:15:36.373814: I tensorflow/core/common_runtime/gpu/gpu_device.cc:942] 3:   Y Y Y N 
2018-06-17 12:15:36.374516: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 5307 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:05:00.0, compute capability: 6.1)
2018-06-17 12:15:36.444426: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:1 with 5582 MB memory) -> physical GPU (device: 1, name: GeForce GTX 1080 Ti, pci bus id: 0000:06:00.0, compute capability: 6.1)
2018-06-17 12:15:36.506340: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:2 with 5582 MB memory) -> physical GPU (device: 2, name: GeForce GTX 1080 Ti, pci bus id: 0000:09:00.0, compute capability: 6.1)
2018-06-17 12:15:36.614736: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1053] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:3 with 5582 MB memory) -> physical GPU (device: 3, name: GeForce GTX 1080 Ti, pci bus id: 0000:0a:00.0, compute capability: 6.1)
Device mapping:
/job:localhost/replica:0/task:0/device:GPU:0 -> device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:05:00.0, compute capability: 6.1
/job:localhost/replica:0/task:0/device:GPU:1 -> device: 1, name: GeForce GTX 1080 Ti, pci bus id: 0000:06:00.0, compute capability: 6.1
/job:localhost/replica:0/task:0/device:GPU:2 -> device: 2, name: GeForce GTX 1080 Ti, pci bus id: 0000:09:00.0, compute capability: 6.1
/job:localhost/replica:0/task:0/device:GPU:3 -> device: 3, name: GeForce GTX 1080 Ti, pci bus id: 0000:0a:00.0, compute capability: 6.1
2018-06-17 12:15:36.689345: I tensorflow/core/common_runtime/direct_session.cc:284] Device mapping:
/job:localhost/replica:0/task:0/device:GPU:0 -> device: 0, name: GeForce GTX 1080 Ti, pci bus id: 0000:05:00.0, compute capability: 6.1
/job:localhost/replica:0/task:0/device:GPU:1 -> device: 1, name: GeForce GTX 1080 Ti, pci bus id: 0000:06:00.0, compute capability: 6.1
/job:localhost/replica:0/task:0/device:GPU:2 -> device: 2, name: GeForce GTX 1080 Ti, pci bus id: 0000:09:00.0, compute capability: 6.1
/job:localhost/replica:0/task:0/device:GPU:3 -> device: 3, name: GeForce GTX 1080 Ti, pci bus id: 0000:0a:00.0, compute capability: 6.1

安装Keras2.1.x

Keras的后端支持TensorFlow, Theano, CNTK，在安装完TensorFlow GPU版本之后，继续安装Keras非常简单，在TensorFlow的虚拟环境中，直接"pip install keras"即可，安装的版本是Keras2.1.6:

Installing collected packages: h5py, scipy, pyyaml, keras
Successfully installed h5py-2.7.1 keras-2.1.6 pyyaml-3.12 scipy-1.1.0

测试一下：

Python 2.7.12 (default, Dec  4 2017, 14:50:18) 
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import keras
Using TensorFlow backend.

注：原创文章，转载请注明出处及保留链接“ 我爱自然语言处理 ”： https://www.52nlp.cn

本文链接地址： 从零开始搭建深度学习服务器: 1080TI四卡并行（Ubuntu16.04+CUDA9.2+cuDNN7.1+TensorFlow+Keras） https://www.52nlp.cn/?p=10334

本文记录一下去年下半年参加的AI Challenger比赛的过程，有那么一点意思，之所以说是奇遇，看完文章就明白了。

去年8月，由创新工场、搜狗、今日头条联合举办的“ AI challenger全球AI挑战赛 ”首届比赛正式开赛。比赛共设6个赛道，包括英中机器同声传译、英中机器文本翻译、场景分类、图像中文描述、人体骨骼关键点预测以及虚拟股票趋势预测，一时汇集了众多关注的目光：

“AI Challenger 全球AI挑战赛”是面向全球人工智能（AI）人才的开放数据集和编程竞赛平台，致力于打造大型、全面的科研数据集与世界级竞赛平台，从科研角度出发，满足学术界对高质量数据集的需求，推进人工智能在科研与商业领域的结合，促进世界范围内人工智能研发人员共同探索前沿领域的技术突破及应用创新。在2017年的首届大赛中，AI Challenger发布了千万量级的机器翻译数据集、百万量级的计算机视觉数据集，一系列兼具学术前沿性和产业应用价值的竞赛以及超过200万人民币的奖金，吸引了来自全球65个国家的8892支团队参赛，成为目前国内规模最大的科研数据集平台、以及最大的非商业化竞赛平台。 AI Challenger以服务、培养AI高端人才为使命，打造良性可持续的AI科研新生态。

不过AI Challenger 最吸引我的不是每项比赛数十万元的奖金（这个掂量一下也拿不到），而是英中 机器翻译 提供的高达1千万的中英双语句对语料，这个量级，在开放的中英语料里仅次于联合国平行语料库，相当的有诱惑力：

大概十年前我读研期间做得是 统计机器翻译 ，那个时候能接触到的中英句对最多到过2、3百万，用得最多的工具是知名的开源统计机器翻译工具 Moses ，也在这里写了不少相关的文章。后来工作先后从事过机器翻译、广告文本挖掘相关的工作，与 机器翻译 渐行渐远。这一两年，我花了很多时间在专利数据挖掘上，深知 专利数据翻译 的重要性，也了解到机器翻译对于 专利翻译 有天然的吸引力。加之这几年来 深度学习 如火如荼，神经网络机器翻译横空出世，Google, 微软，Facebook等公司关于机器翻译的PR一浪高过一浪，大有“取代”人翻译的感觉，这些都都给了我很大的触动，但是一直没有机会走进 神经网络机器翻译 。刚好这个时候自己又在家里重新组了一台1080TI 深度学习主机 ，加上AI Challenger提供的机器翻译数据机会，我把这次参赛的目标定为：

相对于统计机器翻译，神经网络机器翻译的开源工具更加丰富，这也和最近几年深度学习开源平台遍地开花有关，每个深度学习平台基本上都附有一两个典型的神经网络机器翻译工具和例子。不过需要说明的是，以下这些关于NMT工具的记录大多数是去年9月到12月期间的调研，很多神经网络机器翻译工具还在不断的迭代和演进中，下面的一些描述可能都有了变化。

虽然之前也或多或少的碰到过一些NMT工具，但是这一次我的神经网络机器翻译开源工具之旅是从 OpenNMT 开启的，这个开源NMT工具由哈佛NLP组推出，诞生于2016年年末，不过主版本基于Torch, 默认语言是Lua，对于喜爱Python的我来说还不算太方便。所以首先尝试了OpenNMT的Pytorch版本: OpenNMT-py ，用AI Challenger官方平台提供中英翻译句对中的500万句对迅速跑了一个OpenNMT-py的默认模型：

Step 2: Train the model
python train.py -data data/demo -save_model demo-model
The main train command is quite simple. Minimally it takes a data file and a save file. This will run the default model, which consists of a 2-layer LSTM with 500 hidden units on both the encoder/decoder.

然后走了一遍AI Challenger的比赛流程，第一次提交记录如下：

2017.09.26 第一次提交：训练数据500万， opennmt-py， default，线下验证集结果：0.2325，线上提交测试集结果：0.22670

走完了比赛流程，接下来我要认真的审视这次英中机器翻译比赛了，在第二轮训练模型开始前，我首先对数据做了标准化的预处理：

这一次我将目光瞄准了Google的NMT系统：GNMT， Google的Research Blog是一个好地方: Building Your Own Neural Machine Translation System in TensorFlow ，我从这篇文章入手，然后学习使用Tensorflow的NMT开源工具: Tensorflow-NMT ，第一次使用 subword bpe 处理数据，训练了一个4层的gnmt英中模型，记录如下：

2017.10.05 第二次提交：训练集988万句对, tf-nmt, gnmt-4-layer，bpe16000, 线下验证集结果0.2739，线上提交测试集结果：0.26830

这次的结果不错，BLEU值较第一次提交有4个点的提升，我继续尝试使用bpe处理，一周后，做了第三次提交：

2017.10.12 第三次提交：训练集988万句对，tf-nmt, gnmt-4-layer，bpe32000, 线下验证集结果0.2759，线上提交测试集结果：0.27180

依然有一些提高，不过幅度不大。这一次，为了调研各种NMT开源工具，我又把目光锁定到 OpenNMT ，事实上，到目前为止，接触到的几个神经网络机器翻译开源工具中，和统计机器翻译开源工具Moses最像的就是OpenNMT，有自己独立的官网，文档相当详细，论坛活跃度很高，并且有不同的分支版本，包括主版本 OpenNMT-lua , Pytorch版本 OpenNMT-py , TensorFlow版本 OpenNMT-tf 。所以为了这次实验我在深度学习主机中安装了Torch和OpenNMT-lua版本，接下来半个月做了两次OpenNMT训练英中神经网络翻译模型的尝试，不过在验证集的结果和上面的差不多或者略低，没有实质性提高，所以我放弃了这两次提交。

也在这个阶段，从不同途径了解到Google新推的Transformer模型很牛，依然从Google Research Blog入手： Transformer: A Novel Neural Network Architecture for Language Understanding ，学习这篇神文：《 Attention Is All You Need 》 和尝试相关的Transformer开源工具 TensorFlow-Tensor2Tensor 。一图胜千言，谷歌AI博客上给得这个图片让人无比期待，不过实际操作中还是踩了很多坑：

还是和之前学习使用开源工具的方法类似，我第一次的目标主要是走通tensor2tensor，所以跑了一个 wmt32k base_single 的英中transformer模型，不过结果一般，记录如下：

2017.11.03 第六次实验：t2t transformer wmt32k base_single, 线下验证集BLEU: 0.2605，未提交

之后我又换为wmt32k big_single的设置，再次训练英中transformer模型，这一次，终于在线下验证集的BLEU值上，达到了之前GNMT最好的结果，所以我做了第四次线上提交，不过测试集A的结果还略低一些，记录如下：

2017.11.06 第七次实验：t2t transformer wmt32k big_single，线下验证集结果 0.2759， 线上测试集得分：0.26950

不过这些结果和博客以及论文里宣称的结果相差很大，我开始去检查差异点，包括tensor2tensor的issue以及论文，其实论文里关于实验的部分交代的很清楚：

On the WMT 2014 English-to-German translation task, the big transformer model (Transformer (big) in Table 2) outperforms the best previously reported models (including ensembles) by more than 2.0 BLEU, establishing a new state-of-the-art BLEU score of 28.4. The configuration of this model is listed in the bottom line of Table 3. Training took 3.5 days on 8 P100 GPUs. Even our base model surpasses all previously published models and ensembles, at a fraction of the training cost of any of the competitive models.

On the WMT 2014 English-to-French translation task, our big model achieves a BLEU score of 41.0, outperforming all of the previously published single models, at less than 1/4 the training cost of the previous state-of-the-art model. The Transformer (big) model trained for English-to-French used dropout rate Pdrop = 0.1, instead of 0.3.

For the base models, we used a single model obtained by averaging the last 5 checkpoints, which were written at 10-minute intervals. For the big models, we averaged the last 20 checkpoints. We used beam search with a beam size of 4 and length penalty α = 0.6 . These hyperparameters were chosen after experimentation on the development set. We set the maximum output length during inference to input length + 50, but terminate early when possible.

总结起来有2个地方可以改进：第一，是对checkpoints进行average, 这个效果立竿见影：

2017.11.07 第八次实验：t2t transformer wmt32k big_single average model, 线下验证集得分 0.2810 , 提交测试集得分：0.27330

第二，要有高性能的 深度学习服务器 。谷歌实验中最好的结果是在8块 P100 GPU的机器上训练了3.5天，对我的单机1080TI 深度学习主机 来说，一方面训练时对参数做了取舍，另一方面用时间换空间，尝试增加训练步数，直接将训练步数增加到100万次，结果还是不错的：

2017.11.15 第九次实验：t2t transformer wmt32k big_single 1000k 10beam，线下验证集得分0.2911，线上提交测试集得分0.28560

然后继续average checkpoints:
2017.11.16 第十次提交： t2t transformer wmt32k big_single 1000k average 10beam, 线下验证集得分0.2930，线上提交测试集得分0.28780

这两个方法确实能有效提高BLEU值，所以我继续沿用这个策略，按着训练时间推算了一下，估计这台机器在12月初比赛正式结束前大概可以训练一个250万次的模型，当然，这个给自己预留了最后提交比赛结果的时间。不过在11月27日，我在英中机器翻译比赛测试集A结束提交前提交了一个训练了140万次，并做了模型average的提交，算是这个赛道Test A关闭前的最后一次提交：

2017.11.27 第十一次提交 t2t transformer wmt32k big_single 1400k.beam10.a0.9.average， 验证集 0.2938 测试集 0.28950

12月1日凌晨测试集B正式放出，这个是最终排名的重要依据，只有2次提交机会，并且结果不会实时更新，只有等到12月3号之后才会放出最终排名。我的英中2500k Transformer模型大概在12月2号训练完毕，我做了Test B的第一次提交：

2017.12.2 average b10 a0.9: 0.2972(验证集）

之后，我逐一检查了保留的20个checkpoint在验证集上的得分，最终选择了高于平均值的11个checkpoint的average又做了第二次提交，虽然验证集只高了0.0001, 但是在这样的比赛中，“蚊子肉也是肉啊”：

2017.12.3 average select 11 b10 a0.9: 0.2973(验证集)

这就是我在英中机器文本翻译比赛中的整个历程，在Test A的最终排名大概在二十几名，但是最后一次模型的结果应该还能提高，所以预期是前20，剩下的就是等待TEST B的最终排名结果了。做到这个份上，其实我还挺满意的，不过故事如果真的到此就结束了，那算不上奇遇，有意思的事情才刚开始。

AI Challenger 2017有两个赛道和机器翻译有关，一个是英中机器文本翻译比赛（最高奖金30万），另外一个是英中机器同声传译比赛（最高奖金40万），一开始报名的时候，直观上觉得后者比较复杂，一方面奖金部分说明了问题，另外赛题描述部分也让人觉得涉及到语音处理，比较复杂：

语音识别后处理模块：语音识别后的文本与书面语有很多不同。识别后文本具有（1）包含有识别错误；（2）识别结果没有标点符号；（3）源端为比较长的句子，例如对40~50s的语音标注后的文本，没有断句；（4）口语化文本，夹杂语气词等特点。由于本次比赛没有提供错误和正确对照的文本用于训练纠错模块。本次比赛提供的测试集合的源端文本是人工对语音标注后的文本，不包含识别错误。针对其它的特点，参赛队伍可以这几个方面考虑优化，但不限于以下几个方面：

1. 针对无标点的情况，参赛方可以利用提供的英文单语数据训练自动标点模块。用自动标点模块对测试集合文本进行添加标点。自动标点也属于序列标注任务，选手可以使用统计模型或是神经网络的模型进行建模。

2. 针对断句：源端文本都是比较长的文本，不利于机器翻译，参赛者可以设定断句策略。例如，参赛者可以依据标点来进行断句，将每个小的分句送入机器翻译系统。

3. 针对口语化：参赛队伍可以制定一些去除口语词的规则来处理测试集合。

机器翻译模块：将识别后处理的文本翻译成目标语言。参赛队伍需要根据评测方提供的数据训练机器翻译系统，可以自由的选择机器翻译技术。例如，基于规则的翻译技术、基于实例的翻译技术、统计机器翻译及神经网络机器翻译等。参赛队伍可以使用系统融合技术，但是系统融合系统不参与排名。

自动标点训练数据。选手可以利用提供的1000万文本训练自动标点系统。

验证集和测试集。我们会分别选取多个英语演讲的题材的音频，总时长在3~6小时之间，然后按照内容切分成30s~50s不等长度的音频数据，人工标注出音频对应的英文文本。人工标注的文本不翻译识别错误、无标点、含有语气词等。人工标注的好的英文文本会由专业译员翻译成中文文本，就形成了英中对照的句子对。抽取的英中对照的句子对会被分割为验证集和测试集。验证集和测试集最终是以标准的XML格式提供给选手。

我在一开始的时候考虑到这个比赛同样提供上千万句对的语料，所以当时顺手报名了这个同声传译比赛，但是直到最后一刻，我还没有仔细看过或者准备过这个任务。不过12月2号当我第一次完成英中机器翻译比赛的测试集B提交后，以完成作业的心态了解了一下这个英中机器同传比赛的题意以及数据集，发现这里提供的训练集和英中机器翻译比赛的数据是一致的，也就是说机器翻译模块可以复用之前训练的英中Transformer模型，而真正需要解决的，是标点符号自动标注模块以及断句模块。

感谢Google、Github和开源世界，在测试了几个自动标点标注模块后，我把目光锁定在 punctuator2 （A bidirectional recurrent neural network model with attention mechanism for restoring missing punctuation in unsegmented text）, 一个带attention机制的双向RNN无标点文本标点符号还原工具，通过它很快的构建了英文文本自动标点标注模块，并且用在了英中机器同声传译比赛的验证集和测试集上，验证集结果不算太差，所以对应英中机器翻译的模型，我也做了两次测试集B的提交，但是至于结果如何，我根本无法判断，因为在测试集A上，我没有提交过一次，所以无法判断测试集和验证集的正相关性。但是完成了 AI Challenger 的相关“作业“，我基本上心满意足了，至于结果如何，Who Care?

大约一个周之后测试集B上的结果揭晓，我在英中机器翻译文本比赛上进了前20，英中同声传译比赛上进了前10，不过前者的参数队伍有150多支，后者不足30支，特别是测试集B的提交队伍不到15支，有点诡异。原本以为这就结束了，不过到了12月中旬的某个周末，我微信突然收到了AI Challenger小助手的催收信息，大意是需要提交什么代码验证，问我为什么一直没有提交？我一脸错愕，她让我赶紧查看邮件，原来早在一个周之前的12月9号，AI Challenger发了一封邮件，主题是这样的：“AI Challenger 2017 TOP10 选手通知”

亲爱的AI Challenger,

恭喜你，过五关斩六将进入了TOP10，进入前十的机率是0.56%，每一位都是千里挑一的人才。非常不容易也非常优秀！

为了保证竞赛公平公正性，您还需要在12月10日中午12点前按如下格式提交您的代码至大赛核验邮箱aichallenger@chuangxin.com

邮件格式：
主题：AI ChallengerTOP10代码提交-队伍名称-赛道
全体队员信息：姓名-AI Challenger昵称-电话-邮箱-所在机构-专业&年级

附件：（文件名称）
1- 代码

非常感谢您的合作。

原来测试集B上的前10名同学需要提交代码复核，我原来以为只有前5名需要去北京现场答辩的同学要做这个，没想到前10名都需要做，赶紧和AI Challenger小助手沟通了一下，因为自己几乎都是通过开源工具完成的比赛，就简单的提交了一份说明文档过去了。正是在参加AI Challenger比赛的同一时期，我们的 专利机器翻译产品 也马不停蹄的开展了，出于对两个赛道前几名队伍BLEU值的仰望，我准备去北京旁听一下现场答辩，所以当天还和AI Challenger小助手沟通了一下现场观摩的问题，小助手说，前十名可以直接来，所以我觉得进入前十名还是不错的。

没想到第二天一早又收到Challenger小助手的微信留言，大意是：你不用自己买票来观摩比赛了，因为前面有几支队伍因种种原因放弃现场答辩，你自动递补为第5名，需要来北京参加12月21日的现场决赛答辩和颁奖礼，我们给你买机票和定酒店。吃不吃惊？意不意外？我当时的第一反应这真是2017年本人遇到最奇特的一件事情。。。然后很快收到了一封决赛邀请函：

亲爱的AI Challenger,

恭喜你，过五关斩六将走到了决赛，进入决赛的机率是0.28%，每一位都是千里挑一的人才。非常不容易也非常优秀！

“AI Challenger 全球AI挑战赛”面向人工智能领域科研人才，致力于打造大型、全面的科研数据集与世界级竞赛平台。由创新工场、搜狗、今日头条联合创建，旨在从科研角度出发，满足学术界对高质量数据集的需求，推进人工智能在科研与商业领域的结合，促进世界范围内人工智能研发人员共同探索前沿领域的技术突破及应用创新。

2017年是AI Challenger的诞生年，我们公布了百万量级的计算机视觉数据集、千万量级的机器翻译数据集，并主办多条细分赛道的AI竞赛。本次英中机器同传竞赛主要任务为集中优化语音识别后处理和机器翻译模块，旨在解决机器同声传译中的技术问题。

......

恭喜所有的入围选手！所有的入围者将在12月21日到中国北京进行现场答辩，本次大赛将以最终榜单排名结合答辩表现，加权计算总成绩，决出最终的大奖。

在答辩之前，我们需要Top5团队于12月18日下午17点前提交包括：
1-答辩PPT、
2-队员情况（个人姓名、个人高清半身照片、个人学校-年级-专业/公司-部门-职务、是否有指导老师-如有，请附上老师150字内简介）
3-团队出席名单（涉及报销事宜）
4-代码（供审查，如有作弊情况将按大赛规则处理）
5-150字内个人简介-选手手册素材（建议为三段话，第一段话是背景介绍，包括你的学校、实验室、师从老师等信息；第二段话可以介绍你的技术优势，包括Paper、竞赛履历、实习履历、项目经历；第三段话支持自由发挥，个人主页、你的爱好，让我们发现一个独一无二的你）
......

虽然去北京参加现场决赛也只是陪太子读书，不过最终还是决定去参加现场答辩，当然这里还有一关需要验证，前10名只需要提交代码或者代码描述即可，前5名参加决赛的同学还要复现整个流程，我很快被小助手拉入一个小群，里面有来自搜狗的工程师同学，他们给我提供了一台深度学习机器，让我复现整个过程以及最终核验比赛结果。当然，留给我的时间比较紧张，12月21号要去北京参加现场答辩，当时已经是12月18号了，所以Challenger小助手特地给我将时间留到了最后一刻。准备PPT和复现整个流程同时进行（复现并不是等于重新训练一遍，譬如机器翻译模型可以直接上传之前训练好的），终于赶在最后时刻完工。不过我自己答辩现场的感觉匆匆忙忙，效果也一般，但是学习了一圈其他获奖队伍的思路，很有收获：Transformer是主流获奖模型，但是很多功夫在细节，包括数据预处理阶段的筛选，数据 & 模型后处理的比拼，当然，牛逼的深度学习机器也是不可或缺的。

附上当时现场答辩PPT上写得几点思考，抛砖引玉，欢迎大家一起探讨机器翻译特别是神经网络机器翻译的现状和未来：

当然，参加完AI Challenger比赛之后我们并没有停止对于神经网络机器翻译应用的探索，也有了一些新的体会。这半年来我们一直在打磨 AIpatent机器翻译引擎 ，目标是面向中英专利翻译、中日专利翻译、日英专利翻译提供专业的专利翻译引擎，欢迎有这方面需求的同学试用我们的引擎，目前还在不断迭代中。

注：原创文章，转载请注明出处及保留链接“ 我爱自然语言处理 ”： https://www.52nlp.cn

本文链接地址： AI Challenger 2017 奇遇记 https://www.52nlp.cn/?p=10218