技术 | 定向智能推荐

智能化的舆情评价，让你三秒看到车的心

假定这样一个场景：用户正在汽车之家网站的论坛上查看他有意买的车和车系，同时也发表自己对于这些车型车系的见解。Duang，这时我们想要给他推送汽车之家广告主的广告。如果能够监测到历史上这个用户看到过的评价体系和他自身对车型车系的偏爱程度，那么无论对于汽车之家网站还是汽车之家广告主来说，离提升系统的转化率又近了一步。因此，一套智能化的舆情评价系统是十分必要的，毕竟我们不能把用户讨厌的东西推送给他，这样很浪费流量。

引言

那么，什么是舆情评价系统呢？它主要由三部分组成：信息采集系统，舆情分析系统以及舆情服务系统。信息采集主要用来收集想要监测对象的各种行为数据，例如评论、浏览、与其他用户交互等等。舆情分析系统主要利用收集到的数据进行数据层面的处理和分析，对于监测对象的舆情有自己的判断。舆情服务系统则是利用上一步的处理结果对于有相应需求的对象提供舆情评价的对外输出。一个基础的框架如下图所示：

下面我们从技术层面的角度对汽车之家广告投放的一套舆情评价系统内部实现细节展开说明。

数据收集和数据标注

建立一套智能化的舆情分析和舆情评价系统，必须先要让系统知道什么是评价，什么样的语句或者环境代表着什么样的评价，什么是正面的反馈而什么又是负面的反馈。我们通过汽车之家广告营销网站上大量的用户行为以及用户评论数据获取这部分信息，之后利用人工或者机器的办法对相应语料或者其他数据作出正面或者负面（抑或是中立）的标注。

为了支持这样一套数据收集系统和标注系统，我们需要开发一套相关的大数据支持系统，它需要支持日常的数据存储和数据读取、写入功能，满足数据仓库和ETL等需求。而在数据标注层面，常用的方式有crowdsourcing（如让网站用户对某条评论进行正负向的判断）以及利用机器学习模型的方法自动进行标注。

舆情分析

这部分主要涉及到算法的工作。

首先我们要对收集的数据进行特征提取，即什么样的特征有利于我们去判断一份被监测的舆情数据对应的舆情是什么。特征提取是非常重要的工作，不同的舆情监测系统需要在这部分工作上进行十分精细的设计，它对我们系统的效果起到很重要的作用。这里边列举几类比较重要的特征：n-gram，转折类特征，三元转折类特征，以及加入专家知识和常用的正面评价词典和负面评价词典的命中等等。

其次就是选择合适的算法去把正面、负面以及中立的舆情进行区分。在机器学习领域这部分主要通过分类算法完成。在实际运行的系统中，一些常用的机器学习分类办法主要包含Logistic Regression以及Support Vector Machine。最近几年兴起的GBDT（Gradient Boosting Decision Tree）也可以应用到这项任务上。具体使用什么算法取决于实际的数据分布和数据形态，也取决于实际的效果。基础流程如下：

这里面需要注意的一个点是，算法模型的训练，其基础在于之前的数据采集&标注系统，以及后边进一步的特征工程（即特征提取、特征分析）层面工作的精细化程度。常言道“巧妇难为无米之炊”，数据和特征就像我们的食材，只有把这些底料准备好，才能够做出美味可口的饭菜。

而模型的选择和调优中，也需要关注正负样本的比例、模型参数的改变对模型效果的方向性影响。例如，在支持向量机（SVM）算法中，参数C是与我们选取的正负样本有关，因此在模型调优时需要注意这一点；又例如，如果我们最后所要完成的是线上服务，那么SVM并不适合，因为存储的内容过多，做到线上不合理；又例如在树类算法GBDT中，树的棵数和每棵树的深度对于模型的效果也会有影响，相应数目太少则模型表达能力有限，数目太大则会产生过拟合的问题，因此在进行这方面的工作时要小心一些。

舆情服务、数据反馈

当我们把舆情反馈系统输出到外部服务之后，用户对我们的舆情系统应当有一个反馈的流程，这样不仅有助于我们舆情分析系统的性能和效果改进，同时能够形成一个数据闭环，打造更健康的数据生态，真真正正的利用数据驱动产品的前进和用户体验的提升，带来更大的收益。

拥有更智能的舆情评价系统，让你三秒钟看透车的心，当然，还有人心。