（未完整版…）
  该论文详细论述了近年来深度学习在情感分析上的研究应用。论文前半部分先介绍了情感分析涉及的一些基本模型：FNN（前馈神经网络）、word embedding(提及word2vec,glove)、自编码及降噪自编码、CNN、RNN、LSTM、RNN与注意力机制、MemNN(记忆网络)、递归神经网络。后半部分对 Document level、sentence level、aspect level及其他一些比较细/前沿的情感分析方法进行调研。根据目前的工作，仅重点关注document level 和 sentence level所使用的一些方法。
more >>

   attention机制最早是应用于图像领域，2014年由Bahdanau等人在论文Neural Machine Translation by Jointly Learning to Align and Translate中首次将attention机制应于NLP领域，其在seq2seq机器翻译中取得显著效果，在随后的几年attention得到越来越广泛的应用，尤其是NLP领域。最近在做情感分类的迁移学习用到了attention，疗效不错，考虑到以后接触attention的机会只多不少，便把之前看的论文整理下，做个总结。
more >>

  新词发现，从文本中找出未登录词。本文主要参考互联网时代的社会语言学：基于SNS的文本数据挖掘 实现，实现的技术主要包括互信息、左右信息熵、n-gram。 另外为了方便提取新词，设计了一个评分函数，评分越高成词可能性越高。
more >>

   分词、词性标注(POS)、实体识别(NER)都属于序列标注问题，解决的套路可以是一样的，在文章分词-基于CRF中讲了如何使用CRF分词，照葫芦画瓢，本文将会使用CRF提取1998年人民日报语料中的时间(TIME)、人名(PERSON)、地名(LOCATION)、组织机构(ORGANIZATION)四类实体。
more >>

  本文是台湾AI届最强YouTuber李宏毅老师的Strutured Learning课程中关于CRF讲解的笔记。HMM很容易理解，但是在看CRF的时候一脸懵逼，看了李航老师的《统计学习》和周志华老师的西瓜书也是一知半解，不得要领，直到看了李宏毅老师的CRF课程视频才恍然大悟，哈哈哈。
more >>

  上篇使用HMM进行中文分词，HMM存在两个比较严格的假设条件：观测独立性和当前状态只与上一状态有关，相比于HMM，CRF不受这两个假设的限制，并且可以自定义特征。为了保持分词方法的连贯性，CRF的推理会在下篇给出，本文主要是使用CRF++分词，CRF虽然理解起来困难，但是CRF++使用起来却是很容易，只要按照规定的格式提供训练数据模板和特征模板就好了，因此本文会将重点会放在两个模板的理解上面。
more >>

  基于统计的分词方法有：N-gram、隐马尔可夫（Hidden Markov Model ，HMM）、最大熵模型（Maximum Entropy Model, ME）和条件随机场（Conditional Random Fields，CRF）等，一般用的比较多的是HMM和CRF，比如简单又好用的jieba就是字符串匹配+HMM 的分词方法，HanLP等有用到CRF。一般来说CRF分词效果要好于HMM，本文主要介绍HMM分词。
more >>

  分词是NLP领域基础但极其重要的功能，作为任务的上游，其分词质量直接影响了下游任务的性能（虽然现在流行end-to-end了）。分词方法主要有三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。 more >>

  牛顿法，又称为牛顿-拉佛森方法，最开始是用来求解高次方程的根，其核心思想就是利用迭代点在曲线上的切线不断逼近曲线的根，直至收敛。我们知道，连续可微曲线的最值可以通过对曲线进行求导，并令导数为0来求解，所以牛顿法也可以作为一种最优化方法求最值。如果是把最优化（最小值）比作从山顶移动到山脚的过程，之前在文章梯度下降法有提到，梯度下降法是选择往相对当前位置来说最陡峭的地方向下移动，而牛顿法的目光会相对长远一点，牛顿法在选择方向的时候，不仅会考虑当前这一步是否是最陡峭的，还会结合下一步一起考虑，就像下象棋能够看到走完这一步之后下一步还应该怎么走才是最有利的，这是因为牛顿法是二阶收敛，梯度下降法是一阶收敛的。关于牛顿法二阶收敛的证明请看这里，根据收敛的方式，牛顿法的收敛速度显然要快于梯度下降算法。

  在回归模型中，决定系数$R^2$表示反应变量$y$的总变异中可由回归模型中自变量解释的部分所占的比例，它是衡量所建立模型效果好坏的评价指标之一。根据$R^2$的计算方法，显然$R^2$越大越好，但是有一点需要注意的是，向模型中增加变量会导致$R^2$增大，或者至少保持不变，这就会造成一种假象，只要我不断地向模型中增加变量，$R^2$会越来越大，模型效果貌似越来越好，即使所增加的变量对于目标变量来说没有任何意义。为什么会这样子呢，下面从理论证明之。
more >>