（未完整版…）
该论文详细论述了近年来深度学习在情感分析上的研究应用。论文前半部分先介绍了情感分析涉及的一些基本模型：FNN（前馈神经网络）、word embedding(提及word2vec,glove)、自编码及降噪自编码、CNN、RNN、LSTM、RNN与注意力机制、MemNN(记忆网络)、递归神经网络。后半部分对 Document level、sentence level、aspect level及其他一些比较细/前沿的情感分析方法进行调研。根据目前的工作，仅重点关注document level 和 sentence level所使用的一些方法。
情感分析任务
情感分析任务主要分为三个：
- Document level
- sentence level
- aspect level(如“the voice quality of iPhone is great, bu its battery sucks 要识别 voice quality 是正向的，battery 是负向的)
Document level
下表总结了文档级情感分析的深度学习方法
简要介绍一下这些方法：
1、 Document-level sentiment classification: An empirical comparison between SVM and ANN
该论文主要是比较SVM 和ANN在Document level 上的情感分析应用效果，结论是大部分情况下ANN 优于 SVM ，尤其是在benchmark dataset of Movies reviews 上。
2、Distributed Representations of Sentences and Documents
为了克服BOW的缺点（没考虑词之间的顺序，以及词之间的关系），Le and Mikolov 提出了一种可以学习可变长度文本的段落向量，如句子、段落、文档。该段落向量表示通过预测抽取文本周围的词来学习。？
3、Domain Adaptation for Large-Scale Sentiment Classification:A Deep Learning Approach
Glorot et al 研究了大规模情感分类中的域自适应问题，他们提出了一种基于多层降噪自动编码器和 sparse rectifier units的深度学习系统，该系统能够根据标注/无标注提取无监督文本特征/表示，这些特征能够很好地应用于域适应的情感分类。
4、Semisupervised autoencoder for sentiment analysis
Zhai and Zhang介绍了一种半监督自编码的方法，为了获得更好的document vectors ，该方法能够在学习过程中考虑更多的情感信息。具体来说就是，模型通过将自编码器中的损失函数松弛到Bregman散度以及从标签信息中推导出判别损失函数来学习特定任务的文本数据表示。
5、Effective Use of Word Order for Text Categorization with Convolutional Neural Networks
Johnson and Zhang 提出了一种CNN的变体方法：BOW-CNN，该方法在卷积层使用了BOW。另外，他们也设计了一种新的模型：Seq-cnn，通过拼接多个词的one-hot向量来保持连续词的信息。
6、Document Modeling with Gated Recurrent Neural Network for Sentiment Classification
Tang 等人提出了一种能够学习文档表示的神经网络，该网络考虑了句子之间的关系。该方法首先使用CNN 或LSTM从word embedding中学习句子的表示，然后使用GRU自适应地编码句子的语义以及文档中句子之间的关系。
7、learning semantic representations of users and products for document level sentiment classification
Tang 等人将用户表示和产品表示应用于评论分类中。想法就是，这些（用户和产品）表示能够捕获一些重要的全局线索，比如能够提供更好的文本表示的 用户的个人偏好、产品的整体质量。
8、Neural sentiment classification with user and product attention
Chen 等人也在分类中考虑了用户和产品信息，但是是通过词和句子级别的注意力机制来实现的。该方法能够考虑到整体用户的偏好以及产品特性。同样地，Dou使用了一个深度记忆网络来捕获用户和产品信息，该模型可以分为两个独立的部分，第一部分，使用LSTM学习文档表示，第二部分，利用由多个计算层（hops）组成的深度记忆网络来预测每个文档的评分等级(review rating)。
9、Cached Long Short-Term Memory Neural Networks for Document-Level Sentiment Classification
Xu 等人提出了一种缓存LSTM模型，该模型能够在长文本中捕获整体语义信息。模型中的memory被分成几个不同遗忘率的组。能够让低遗忘率的memory捕获全局语义特征，让高遗忘率的memory捕获局部语义特征。
10、hierarchical attention networks for document classification
Yang 等人提出了一个多层attention 网络用于documennt level 的评论情感预测。该模型包含两个level 的注意力机制：一个是word level，能够让模型更多地关注个体词；另一个是sentence level ,能够让模型更多地关注文档中的句子的结构表示。
11、Document-level multi-aspect sentiment classification as machine comprehension.
Yin等人将文档级的目标情感等级预测任务作为机器阅读理解问题来解决， 同时提出了一个基于注意力的多层交互模型。Specifically,documents and pseudo aspect-questions are interleaved to learn aspect-aware document representation.
12、Attention-based LSTM Network for Cross-Lingual Sentiment Classification
Zhou 等人针对文档级的跨语言情感分类问题，设计了一个基于注意力机制的LSTM模型。该模型用了两个基于注意力机制的LSTM网络，并且每个LSTM都是分成结构的。这种方法，能够有效地将情感信息从资源丰富的语言（英语）转换为资源匮乏的语言（中文），有助于提升分类性能。
13、End-to-End Adversarial Memory Network for Cross-domain Sentiment Classification
li 等人将跨领域情感分类视为迁移学习，提出了一种对抗记忆网络，将源数据和目标域放在一起建模。该模型将情感分类和域分类放到一起训练（也就是，不管文档是来自源还是来自目标域）
Sentence level
sentence level 的情感分析一般被当成一个三分类问题，也就是预测句子情感是正向、负向还是中性。相较于文档，句子级的情感分析可以使用一些语法语义信息，比如：分析树、观点词典、POS，以及其他的一些评论等级（1-5星）、社交关系、跨领域信息都能派上用场。但是随着神经网络的发展，使用CNN、RNN等模型不再需要额外提取分析树等特征，因为CNN、RNN将词嵌入作为输入，在encode的时候已经考虑了句子的语法和语义信息，模型也能学到句子中词之间的内在关系。下面介绍NN在sentence level的应用。
1、Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions
Socher 等人首次提出一种半监督的递归自编码网络(RAE)用于句子级别的情感分类，该模型得到一个句子的降维向量表示。他也提出了一个Matrix-vector递归神经网络，其中，在树结构中，每个词都与一个矩阵表示（不是与矩阵的向量表示）相关联。该树结构从额外的语法解析器获得。Socher et al进一步介绍了一种递归神经张量网络（RNTN），它是基于张量的复合函数，能够更好地捕捉元素之间的相互作用。Qian 等人提出了两个更先进的模型：Tag-guided递归神经网络（TG-RNN）和Tag-embedded递归神经网络/递归神经张量网络（TE-RNN/RNTN），前者根据短语的词性标注来选择复合函数来训练，后者先学习标签嵌入，然后将标签嵌入和词嵌入融合在一起来训练。
2、A convolutional neural network for modelling sentences
Kalchbrenner 等人提出了动态CNN(DCNN)用于句子的语义建模。DCNN采用动态K-Max池化作为非线性下采样，该网络生成的特征图能够捕获词之间的关系。Kim也使用CNN做句子级的情感分类，并尝试了CNN的几种变体：RNN-rand(随机初始化词嵌入)、CNN-static(词向量已预训练好并且是静态的)、CNN-non-static(对预训练好的词向量微调)、CNN-multichannel(使用多个词向量集)
3、Deep convolutional neural networks for sentiment analysis for short texts.
dos Santos and Gatti 提出了一种字符到句子的CNN(CharSCNN)模型，CharSCNN采用两个卷积层从任意大小的词和句子中提取相关特征。Wang等人采用LSTM通过模拟词语在成词过程中的相互作用来对twitter进行情感分类。与使用简单加法的循环神经网络相比，LSTM在门结构中使用乘法对word embedding操作更加灵活以及达到更好的组合效果。？跟双向RNN相似，单向LSTM能够通过在隐藏层双向链接扩展成双向LSTM。
4、Dimensional Sentiment Analysis Using a Regional CNN-LSTM Model
wang等人提出了一种区域CNN-LSTM(regional CNN-LSTM)模型，该模型包含两部分：regional CNN 和 LSTM，用来预测文本中valence arousal数值(Valence表示兴奋或平静的程度, Arousal表示与正面或者负面的程度)。
5、Combination of Convolutional and Recurrent Neural Network for Sentiment Analysis of Short Texts
wang 等人提出了一种联合CNN和RNN的模型，用于短文本情感分类。该模型汲取了CNN的粗粒度特征和RNN的长距离依赖的优点。
6、CNN- and LSTM-based Claim Classification in Online User Comments
Guggilla等人提出了一种基于LSTM和CNN的深度神经网络模型，该模型使用word2vec 和语言嵌入进行陈述分类(claim classification，分为事实或者观点)
7、encoding syntactic knowledge in neural networks for sentiment classification
Huang 等人将句法知识(如POS tags)编码到树结构的LSTM中，以提升语法和句子的表示
8、a multilayer perceptron based ensemble technique for fine-grained financial sentiment analysis
Akhtar等人提出了几个基于多层感知机的融合模型，用于微博和新闻的金融细粒度情感分类。
9、Weakly-supervised deep learning for customer review sentiment classification
Guan 等人使用弱监督CNN对句子级（也可以用于aspect level）进行情感分类。该模型包含两个学习步骤：先通过整体评论评分来弱监督学习句子的表示，然后，使用句子(aspect)level 标签微调。
10、context-sensitive lexicon features for neural sentiment analysis
Teng 等人在一个简单的加权模型基础上，提出了一种基于词库的上下文感知方法？运用双向lstm分析情感词汇在构成句子情感价值时的情感强度、和情感否定程度。
11、learning sentence embeddings with auxiliary tasks for cross-domain sentiment classification
Yu and Jiang 研究了跨领域情感分类中的通用语句嵌入学习问题，并且设计了一个包含两个分离的CNN的神经网络模型，这两个CNN能够共同从标记和未标记的数据中学习两个隐藏特征表示。
12、microblog sentiment classification via recurrent random walk network learning
Zhao 等人提出了一种循环随机漫走网络(recurrent random walk network)学习方法，用于通过利用用户发布tweets及其社交关系的深层语义表示的tweets观点分类。
13、Learning Cognitive Features from Gaze Data for Sentiment and Sarcasm Classification using Convolutional Neural Network
Mishra等人借鉴人类阅读文本视角（眼睛移动阅读）的方法，采用CNN自动提取认知特征，作为丰富情感分类的特征。
14、Linguistically Regularized LSTM for Sentiment Classification
Qian 等人为该任务提出了一个语言规范化的LSTM，该模型将情感词汇、否定词汇、强度词汇整合在一起放入LSTM从而能够获得更好的情感分类效果。
note: 后面部分暂不作了解，等什么时候有时间再读下。
