简介这份资源面向新闻文本情感分析方向的初学者与算法实践者提供一套可运行的完整项目代码用于对新闻语料进行情感倾向计算。项目以TF-IDF完成文本向量化结合余弦距离度量文本相似度并引入情感依存分析思路配套DOC文档给出数学模型说明便于理解算法原理与实现细节。压缩包共11个文件包含7个Python脚本、2个YAML配置、1个Markdown说明及1张模型示意图脚本分别承担语料处理、TF-IDF计算、情感值计算与句子抽取等任务配置与说明文档辅助快速上手整体约88KB轻量易部署。目前已有839人学习下载。读者可借此掌握从语料读取、特征提取到情感判定的完整流程理解TF-IDF与余弦距离在文本分析中的配合方式并参考目录结构自行扩展数据集或替换算法模块适合作为课程设计、毕业项目或算法练手的参考实现。1. 计算新闻文本类情感分析从 TF-IDF 到情感依存的落地路径新闻文本的情感分析和电商评论、社交媒体短文本完全不是一回事。电商评论里“质量太差”“物流很快”这种句子情感词和评价对象挨得很近一个词典加规则就能跑出不错的结果。但新闻文本讲究客观叙述情感往往藏在措辞选择、信源引用和事件框架里比如“某地发生冲突”和“某地爆发冲突”一字之差情感倾向就变了。更麻烦的是新闻里大量出现“据消息人士称”“有分析认为”这类转述结构情感主体和情感表达之间隔了半句话单纯靠词频统计很容易翻车。这个方向要解决的问题很具体给定一批新闻文本判断每篇的整体情感倾向正面、负面、中性并且能定位到是哪些句子、哪些词在驱动这个判断。适合谁做做舆情监测的团队、做媒体内容分析的从业者、以及需要处理中文新闻语料的研究人员。技术路线上TF-IDF 负责把文本变成可计算的向量余弦距离负责衡量文本之间的相似度情感依存分析负责把句法结构里的情感关系抽出来。三者配合比单独用任何一个都稳。下面按“先立住原理、再动手复现、最后避坑”的顺序展开。2. 新闻情感分析的特征工程TF-IDF 怎么调才不白干2.1 为什么新闻文本不能直接套用评论区的 TF-IDF 参数TF-IDF 的核心思想是一个词在当前文档里出现越多、在整个语料里出现越少它就越能代表这篇文档。公式本身不复杂但参数选择直接决定结果好坏。新闻语料有几个特点用词规范、长句多、专有名词密集、情感词占比低。如果直接拿 sklearn 的TfidfVectorizer默认参数跑你会发现大量高频词是“记者”“报道”“表示”“认为”这类中性词它们 TF 高但 IDF 不够高反而挤占了真正有情感区分度的词的空间。我一般会做三件事第一自定义停用词表把新闻套话全部加进去比如“据悉”“记者了解到”“相关负责人表示”第二调整max_df和min_dfmax_df0.85过滤掉超过 85% 文档都出现的词min_df3过滤掉出现少于 3 次的低频噪声第三考虑 n-gram 范围新闻里“不动词”这种否定结构很关键ngram_range(1,2)能捕捉到“不支持”“不同意”这类二元组。from sklearn.feature_extraction.text import TfidfVectorizer import jieba # 新闻领域自定义停用词按实际语料补充 news_stopwords set([ 记者, 报道, 据悉, 表示, 认为, 相关, 负责人, 消息, 来源, 编辑, 责任编辑, 新华社, 日电 ]) def tokenize_news(text): # 结巴分词后过滤停用词和单字 words jieba.lcut(text) return [w for w in words if w not in news_stopwords and len(w) 1] vectorizer TfidfVectorizer( tokenizertokenize_news, max_df0.85, # 过滤过于通用的词 min_df3, # 过滤低频噪声 ngram_range(1, 2), # 捕捉否定短语 sublinear_tfTrue, # 对 TF 做对数缩放抑制高频词 norml2 # L2 归一化配合余弦距离 ) tfidf_matrix vectorizer.fit_transform(news_corpus)这段代码的关键在sublinear_tfTrue和norml2。新闻里同一个词可能在一篇长报道里反复出现线性 TF 会让这个词的权重虚高对数缩放能压住这个效应。L2 归一化则是为了让后续余弦距离计算不受文档长度影响——新闻长短差异极大短讯几百字深度报道上万字不归一化的话长文档会主导整个相似度矩阵。参数怎么改如果语料里专有名词特别多比如财经新闻里的公司名、人名可以把min_df降到 2避免把关键实体过滤掉。如果发现结果里还是有很多通用词干扰把max_df降到 0.7 试试。ngram_range上到 (1,3) 会显著增加特征维度新闻语料本身不大通常几千到几万篇的话可以试但要注意内存。2.2 余弦距离在新闻相似度计算中的正确用法TF-IDF 把每篇新闻变成一个高维稀疏向量接下来要衡量两篇新闻有多像或者一篇新闻和某个情感种子词集有多近。余弦距离在这里比欧氏距离合适因为它只看方向不看长度——两篇新闻用词分布相似但篇幅差十倍余弦相似度依然接近 1。实际落地时有两个场景。场景一找相似新闻做聚类或去重。场景二计算新闻与正面/负面种子词集的相似度作为情感打分的一个特征。场景二更贴近情感分析的需求。from sklearn.metrics.pairwise import cosine_similarity import numpy as np # 假设已有正面种子词集和负面种子词集 pos_seeds [增长, 改善, 突破, 合作, 稳定, 提升] neg_seeds [下降, 冲突, 事故, 亏损, 恶化, 制裁] # 把种子词集也转成 TF-IDF 向量用同一个 vectorizer pos_vec vectorizer.transform([ .join(pos_seeds)]) neg_vec vectorizer.transform([ .join(neg_seeds)]) # 计算每篇新闻与正负种子集的余弦相似度 pos_sim cosine_similarity(tfidf_matrix, pos_vec).flatten() neg_sim cosine_similarity(tfidf_matrix, neg_vec).flatten() # 情感得分正面相似度减负面相似度 sentiment_score pos_sim - neg_sim这里有个容易踩的坑种子词集必须用同一个vectorizer做transform不能重新fit。因为 TF-IDF 的 IDF 值是从训练语料里学出来的重新 fit 会导致词表不一致相似度计算直接失效。另外种子词的选择要结合具体新闻领域财经新闻的正面词和时政新闻的正面词差别很大不能一套词表打天下。sentiment_score的阈值怎么定不要拍脑袋。拿一批人工标注过的新闻做验证集画 ROC 曲线找最佳切分点。我一般会把得分分成五档大于 0.15 强正面0.05 到 0.15 弱正面-0.05 到 0.05 中性-0.15 到 -0.05 弱负面小于 -0.15 强负面。这个分档不是绝对的要根据语料分布调整。提示余弦相似度对稀疏向量的计算效率很高但如果新闻数量超过十万篇cosine_similarity的全量矩阵会吃光内存。这时候改用NearestNeighbors做近似最近邻搜索或者分批计算。3. 情感依存分析把句法结构里的情感关系抽出来3.1 依存句法为什么能补上 TF-IDF 的短板TF-IDF 加余弦距离能给出一个整体倾向但它有个硬伤分不清情感的主体和对象。举个例子“公司利润下降导致股价下跌但分析师认为长期看好”——TF-IDF 会同时抓到“下降”“下跌”“看好”正负抵消后可能判成中性但实际上这句话的核心情感是负面的因为“看好”是转述观点不是事实陈述。依存句法分析能解决这个问题它把句子拆成“主谓宾”“修饰关系”“否定修饰”等结构让我们知道哪个词在修饰哪个词情感是挂在哪个成分上的。中文依存句法分析常用的工具是 LTP语言技术平台和 HanLP。LTP 的pyltp版本安装略麻烦HanLP 的 Python 接口更友好一些。下面用 HanLP 做依存分析提取“情感词-修饰关系-评价对象”三元组。import hanlp # 加载依存句法分析模型 dep_parser hanlp.load(hanlp.pretrained.dep.CTDP_BIAFFINE_DEP_ZH) def extract_sentiment_triples(sentence): 从句子中提取情感三元组 返回格式: [(评价对象, 情感词, 依存关系)] doc dep_parser(sentence) triples [] words doc[tok/fine] heads doc[dep/head] rels doc[dep/rel] for i, (word, head, rel) in enumerate(zip(words, heads, rels)): # 找情感词这里简化处理实际应结合情感词典 if word in sentiment_lexicon: # 找它的修饰对象 for j, (w2, h2, r2) in enumerate(zip(words, heads, rels)): if h2 i and r2 in (nsubj, dobj, amod): triples.append((w2, word, r2)) return triples # 示例 sentence 公司利润大幅下降导致股价持续下跌 triples extract_sentiment_triples(sentence) # 输出可能包含: [(利润, 下降, nsubj), (股价, 下跌, nsubj)]这段代码的逻辑是先找到情感词再通过依存关系找到它的主语、宾语或修饰对象。nsubj是名词主语dobj是直接宾语amod是形容词修饰。实际使用时情感词典要自己构建或引入外部词典如知网 HowNet 情感词典依存关系标签体系也要根据所用工具的标注规范调整。参数方面HanLP 的依存分析模型对长句的处理会截断默认最大长度 512 个 token。新闻句子通常不会超但如果是整段输入需要先分句。分句用re.split(r[。], text)就行注意保留标点做边界判断。3.2 把依存三元组和 TF-IDF 得分融合的两种策略单独用依存分析也有问题它依赖句法解析的准确率而中文新闻里长句、嵌套句多解析错误会直接传导到情感判断。所以我的做法是把依存三元组作为 TF-IDF 得分的修正项而不是替代项。融合策略有两种。策略一加权求和。TF-IDF 得分给 0.6 权重依存分析得分给 0.4 权重。依存分析得分怎么算统计三元组里正面情感词和负面情感词的数量差再除以总情感词数做归一化。策略二规则修正。当 TF-IDF 判为中性但依存分析发现明确的“负面词主语”结构时把结果修正为弱负面。反过来如果 TF-IDF 判为负面但依存分析显示负面词都在“否认”“驳斥”的辖域内就修正为中性或正面。def fuse_scores(tfidf_score, dep_triples, sentiment_lexicon): 融合 TF-IDF 得分和依存分析结果 pos_count 0 neg_count 0 for subj, sentiment_word, rel in dep_triples: if sentiment_word in sentiment_lexicon[positive]: pos_count 1 elif sentiment_word in sentiment_lexicon[negative]: neg_count 1 total pos_count neg_count if total 0: dep_score 0.0 else: dep_score (pos_count - neg_count) / total # 加权融合 final_score 0.6 * tfidf_score 0.4 * dep_score # 规则修正TF-IDF 中性但依存分析有明确倾向 if abs(tfidf_score) 0.05 and abs(dep_score) 0.3: final_score dep_score * 0.5 return final_score权重 0.6 和 0.4 不是固定的如果你的语料句法结构比较规范比如官方新闻稿可以把依存权重提到 0.5。如果语料偏口语化或碎片化依存解析质量下降就把 TF-IDF 权重提到 0.7。规则修正里的阈值 0.05 和 0.3 也要根据验证集调整。注意依存分析对否定词的处理要特别小心。“不认为公司会亏损”里“不”修饰的是“认为”不是“亏损”如果简单按情感词计数会误判。需要在依存树上追踪否定词的辖域这步用neg依存关系标签来判断。4. 避坑与排查新闻情感分析里最容易翻车的五个地方4.1 现象模型在测试集上 F1 很高上线后效果断崖式下跌原因训练集和线上数据的分布不一致。新闻情感分析里最常见的分布偏移是时间偏移——用去年新闻训练的模型今年新闻里出现了新的情感表达方式比如新的网络流行语进入正式报道TF-IDF 词表里没有这些词直接失效。另一个原因是来源偏移训练集全是某一家媒体的稿件线上要处理几十家媒体的内容用词风格差异巨大。解决第一定期用新数据重新 fit vectorizer至少每季度一次。第二在训练集里刻意混入多家媒体的样本不要只用单一来源。第三监控线上推理时 TF-IDF 向量的稀疏度如果大量文档的非零特征数骤降说明词表覆盖出了问题需要触发重新训练。4.2 现象依存分析对短句和标题解析结果混乱原因新闻标题和导语经常是省略句没有完整的主谓结构。比如“股市震荡 投资者恐慌”依存分析可能把“震荡”和“恐慌”都挂到同一个主语上或者干脆解析失败。HanLP 和 LTP 的模型都是在完整句上训练的对省略句的鲁棒性有限。解决对标题和导语单独处理不要走依存分析流程。标题的情感判断用 TF-IDF 加情感词典就够了因为标题通常短情感词密度高不需要句法结构辅助。如果一定要用依存分析先做句子补全把省略的主语补上但补全本身又可能引入错误所以我的建议是标题走轻量流程。4.3 现象余弦相似度计算时内存溢出原因cosine_similarity返回的是 N×N 的稠密矩阵N 是新闻数量。一万篇新闻就是 1 亿个浮点数约 800MB十万篇就是 80GB直接爆内存。解决不要一次性算全量相似度矩阵。如果目的是找每篇新闻最相似的 K 篇用sklearn.neighbors.NearestNeighbors的kneighbors方法它内部用树结构或近似算法内存占用是 O(N×K) 而不是 O(N²)。如果目的是聚类用MiniBatchKMeans代替KMeans分批处理。如果非要全量矩阵用scipy.sparse的稀疏矩阵存储但余弦相似度结果通常不是稀疏的所以还是推荐前两种方案。4.4 现象情感词典覆盖不全大量新闻被判为中性原因通用情感词典如知网 HowNet在新闻领域覆盖率不够。新闻里很多情感表达是隐性的比如“环比持平”其实是中性偏正面没有恶化“不及预期”是负面但词典里可能没有。另外新闻里大量使用中性动词表达负面含义比如“下调”“收紧”“承压”这些词在通用词典里可能没有情感标注。解决构建领域情感词典。方法是从标注语料里用 TF-IDF 提取高区分度词人工审核后加入词典。具体做法把标注为正面和负面的新闻分别合并成两个大文档计算每个词在两个文档里的 TF-IDF 差值差值大的词就是候选情感词。人工过一遍把“下调”“承压”“收紧”这类词加进去。这个过程迭代两三轮词典覆盖率能明显提升。4.5 现象否定词和双重否定导致情感极性反转错误原因TF-IDF 是词袋模型完全不考虑词序。“不看好”和“看好”在词袋里都有“看好”TF-IDF 得分几乎一样。依存分析虽然能处理否定但如果否定词和情感词之间隔了多个词依存关系可能断掉。解决在 TF-IDF 之前做否定词处理。常见做法是“否定词前缀”策略扫描文本遇到否定词就把后面 N 个词N 通常取 3加前缀“NOT_”比如“不 看好”变成“不 NOT_看好”。这样“NOT_看好”就成了一个独立的特征和“看好”区分开。N 的取值要实验太小覆盖不全太大引入噪声。我一般从 3 开始试根据验证集 F1 调整。5. 进阶技巧用剪枝思路压缩 TF-IDF 特征维度并保持精度TF-IDF 在新闻语料上跑出来的特征维度很容易上万如果语料大几万维也正常。高维带来的问题是训练慢、内存高、容易过拟合。剪枝算法的思路在这里可以借用不是所有特征都值得保留把贡献小的特征砍掉精度未必下降。具体做法分三步。第一步用卡方检验或互信息做特征选择保留 top K 个特征。sklearn.feature_selection.chi2可以直接用K 取 5000 到 10000 之间通常够用。第二步对保留的特征做方差过滤把方差接近 0 的特征去掉——这些特征在所有文档里取值几乎一样没有区分度。第三步用 TruncatedSVD 做降维把稀疏的 TF-IDF 矩阵压到 200 到 500 维的稠密矩阵再喂给分类器。from sklearn.feature_selection import SelectKBest, chi2 from sklearn.decomposition import TruncatedSVD from sklearn.pipeline import Pipeline pipeline Pipeline([ (tfidf, TfidfVectorizer( tokenizertokenize_news, max_df0.85, min_df3, ngram_range(1, 2), sublinear_tfTrue, norml2 )), (select, SelectKBest(chi2, k8000)), # 卡方选择 top 8000 (svd, TruncatedSVD(n_components300)), # 降到 300 维 ]) X_reduced pipeline.fit_transform(news_corpus, labels)这套流程下来特征维度从几万降到 300训练速度提升一个数量级精度通常只掉 1 到 2 个百分点。如果精度掉太多把k提到 15000n_components提到 500。注意SelectKBest需要标签labels做监督选择如果没有标签改用VarianceThreshold做无监督过滤。验证这套流程是否有效不能只看准确率。新闻情感分析里类别不平衡很常见中性新闻占大多数准确率会被中性类主导。要看宏平均 F1 和各类的召回率。我一般会画混淆矩阵重点看正面和负面之间的误判——这两类互相误判的代价比误判成中性高得多。还有一个技巧把 TF-IDF 得分和依存分析得分做后期融合时不要用固定权重用逻辑回归学一个权重。把两个得分作为两个特征用标注数据训练一个逻辑回归让模型自己决定怎么组合。这样比手工调权重稳而且能给出特征重要性方便排查问题。最后说一个我踩过的坑新闻语料里经常混入大量非新闻内容比如网站导航文字、版权声明、广告。这些文本会污染 TF-IDF 词表让 IDF 值失真。清洗时不要只靠正则用新闻正文提取工具如newspaper3k或goose3先抽正文再进情感分析流程。这一步花的时间比后面调参省下来的时间多得多。希望帮到你。本文还有配套的精品资源点击获取