随着人工智能的快速兴起，Google发布的深度学习框架TensorFlow在短短两年内，就成为了当前最流行的深度学习项目。

在图像处理、音频处理、自然语言处理和保举系统等场景中，TensorFlow都有着丰富的应用。虽然开源没多久，但是TensorFlow正在悄然渗透到我们的工作生活傍边。

研究配景：

某新闻企业通过接入极光智能保举系统，在其APP端增加智能保举模块,为其用户私人订制感兴趣的新闻。极光机器学习云能够快速、精准的提取每条新闻的主题，并对新闻进行主题分类，借助极光自有的用户标签，向用户实时的保举个性化新闻。

通过TensorFlow深度学习框架，，在自然语言处理标的目的，极光已经通过机器学习算法实现了文章标题、摘要和关键词的自动生成功能。

研究方案：

文本自动总结的模型一直都是深度学习中的研究热点。有一些诸如 TFIDF和TextRank之类常规算法，其基来源根基理是直接抽取文本中重要的句子。也有一些较为复杂的算法如重新生成新的句子，但效果欠安。目前常用的模型是seq2seq，它是基于Encoder-Decoder的一个结构，首先将原始文本中的句子encode成一个固定大小的向量，然后通过decoder部分一个字符一个字符生成目标句子。

TensorFlow，也就是Tensor和Flow，这就意味着Tensor和Flow是TensorFlow的基础要素。Tensor意味着数据，Flow意味着流动、计算和映射，这也表现出数据是有向的流动、计算和映射。TensorFlow的结构由会话(session)，图(graph)，节点(operation)和边(tensor)组成，它使用图(graph)来体现计算任务，图在被称之为会话(Session)的上下文(context)中执行，其状态是通过变量(Variable)来维护的，使用feed和fetch可以为任意的操作(arbitrary operation)赋值或者从其中获取数据。

这篇文章中我们将采用基于Tensorflow的Seq2seq+Attention模型，训练一个新闻标题自动生成模型。 加入Attention注意力分配机制，是为了使Decoder在生成新的目标句子时，可以得到前面Encoder编码阶段每个字符隐藏层的信息向量，提高生成目标序列的准确度。

数据处理：

样本数据为该企业新闻客户端 2016 年 11 月份的新闻，超过10M的语料数据，包罗新闻标题和新闻正文信息。由于在Encoder编码阶段处理的信息会直接影响到整个模型的效果，所以对新闻数据的预处理工作需要非常细致。对新闻中的特殊字符、日期、英文、数字以及链接都要进行替换处理。

文本预处理后，就是训练样本的准备工作。这里的Source序列，就是新闻的正文内容，待预测的Target目标序列是新闻标题。为了保证效果，正文部分不能过长，这里设定分词后的正文不超过 100 个词，不足用PAD字符补齐，设定标题不超过 20 个词。在生成训练样本的时候，定义了create_vocabulary()方法来创建词典，data_to_id()方法把训练样本(train_data.txt)转化为对应的词ID。

训练样本的数据格式如下：

算法解析：

Seq2Seq是一个基于输入的sequence，预测一个未知sequence的模型。模型由Encoder编码阶段和Decoder解码阶段两部分构成。模型编码阶段Encoder的RNN每次会输入一个字符代表的向量，将输入序列编码成一个固定长度的向量；解码阶段的RNN会一个一个字符地解码，如预测为X。在训练阶段时会强制将上一步解码的输出作为下一步解码的输入，即X会作为下一步预测Y时的输入。

当编码阶段输入的序列过长时，解码阶段LSTM模型将无法针对最早的输入序列解码。Attention注意力分配机制，在解码阶段每一步解码时，都会有一个输入，对输入序列所有隐含层的信息进行加权求和，能够很好的解决这个问题。

将分词后的新闻文本数据拆分为训练样本和测试样本，共四个文件:train_data.txt，train_title.txt，test_data.txt，test_title.txt 。新闻正文内容和其对应的新闻标题需要分开存放在两个文件内，一行为一条新闻样本。

实证效果：

运行脚本，训练好的模型将被生存下来，部分预测好的Text Summarizaion如下：

总结：

随着互联网的迅速发展,网络中的新闻资源呈指数级增长，通过深度学习自动生成的标题往往能很直不雅观的表现新闻的主题内容，便于读者快速的浏览新闻，准确选择本身感兴趣的内容，节约时间成本，能够给读者带来很好的体验感。