简介这份资源面向希望快速上手中文情感分析的开发者与数据科学学习者提供了一套基于BosonNLP情感词典的完整示例代码可用于舆情监控、评论挖掘、用户反馈分类等场景。代码流程覆盖读入BosonNLP情感词典与停用词表、用pandas读取.xlsx待分析文本、借助jieba分词、剔除停用词后逐条计算情感得分并依据得分正负标记积极或消极最终将结果写出为.xlsx文件形成从数据输入到结果落地的闭环。压缩包为zip格式大小约1.08MB内含示例脚本与词典等配套文件结构紧凑、便于直接运行与二次修改。目前已有5954人学习下载说明该方案在中文情感分析入门实践中具有较高参考价值。读者可据此掌握词典法情感分析的核心思路理解分词、停用词过滤与评分标记的衔接方式并快速迁移到自己的文本分析任务中。1. 一份能直接跑通的 BosonNLP 情感词典实战代码到底解决了什么手里有一批用户评论、工单记录或者问卷开放题想快速分出正负面又不想调云端接口、不想等模型推理这种场景我遇到太多次了。这份基于 BosonNLP 情感词典的情感分析示例代码走的就是最朴素也最可控的一条路词典打分。它把 BosonNLP 情感词典和停用词表读进来用 pandas 读 .xlsx 待分析文本jieba 分词去停用词后逐词累加情感分按正负打上积极/消极标签最后再写回 .xlsx。整条链路不依赖网络、不依赖 GPU一台普通办公机就能跑完几千条短文本。适合谁做舆情初筛、电商评论粗分类、客服工单打标的同学尤其是需要结果可解释、每一分的来源都能追溯到具体词的人。它不追求 SOTA追求的是「今天下午就能出结果」。2. 词典打分的原理与数据准备为什么选 BosonNLP 而不是自己标2.1 词典法的适用边界与 BosonNLP 的选型理由情感分析大致三条路词典规则、传统机器学习、预训练模型微调。词典法的天花板很明显——它看不懂反讽、看不懂「虽然贵但是真好用」这种转折也处理不了领域黑话。但它有三个别人替代不了的优势零训练成本、结果完全可解释、对短文本足够稳。BosonNLP 情感词典的价值在于它是基于大规模微博语料训练出来的每个词带一个连续的情感分值正数偏积极、负数偏消极而不是简单的 1/-1。这意味着「满意」和「还行」能拉开差距「垃圾」和「差」也能分出轻重。常见做法是把它当成基线先跑一版看分布如果准确率能到七八成很多业务场景就直接用了不行再上模型词典结果还能当特征。需要提前说清楚边界这份代码是「词级累加」不做否定词翻转、不做程度副词加权、不做转折句处理。所以「不满意」会被拆成「不」和「满意」可能误判成积极。如果你的语料里否定句占比高得自己加规则后面第 5 章会给一个补丁思路。2.2 词典与停用词表的格式确认拿到 BosonNLP 情感词典后先确认它的格式。常见版本是每行「词 空格 分值」没有表头编码多为 UTF-8。停用词表一般是一行一个词。这两份文件在读取时最容易翻车的就是编码和分隔符所以第一步不是写分析逻辑而是先把它们读进来打印前几行看看。# 确认词典格式别急着写分析逻辑 def peek_dict(path, n5): with open(path, r, encodingutf-8) as f: for i, line in enumerate(f): if i n: break # 按空白切分兼容空格和制表符 parts line.strip().split() print(parts) peek_dict(BosonNLP_sentiment_score.txt) # 期望输出类似[不错, 1.2] 或 [不错, 1.2, extra]这段代码的作用是「验货」。参数n控制打印行数一般看 5 行就够。如果打印出来是乱码说明编码不是 UTF-8得换成 gbk 试如果一行切出来超过两段说明词典带了额外列后面解析时只取前两段即可。这一步花两分钟能省掉后面半小时的调试。2.3 待分析文本的 .xlsx 结构约定pandas 读 Excel 很直接但前提是列名明确。我一般要求待分析文件至少有一列文本列名比如content或评论内容。如果文件里有多余的空行、合并单元格pandas 读进来会出现 NaN分词时会报错。所以读入后先做一次清洗。import pandas as pd # 读入待分析文本指定文本列 df pd.read_excel(comments.xlsx) print(df.columns.tolist()) # 先看列名 print(df.shape) # 看行数确认没读漏 # 常见清洗去掉空文本、统一转字符串 text_col content df df.dropna(subset[text_col]) df[text_col] df[text_col].astype(str)read_excel默认读第一个 sheet如果数据在别的 sheet 要加sheet_name参数。dropna去掉文本为空的行astype(str)防止数字型评论比如「123」在分词时报类型错误。这两行看着简单但不写的话遇到脏数据就是直接崩。3. 分词、去停用词与情感累加核心逻辑逐段拆3.1 jieba 分词与停用词过滤的写法jieba 默认的精确模式对评论类短文本够用。分词后要做的第一件事是去停用词因为「的」「了」「是」这些词虽然不在情感词典里、不影响得分但会拖慢循环。更重要的是有些停用词表里包含了标点和数字去掉后能减少噪声。import jieba # 加载停用词表 def load_stopwords(path): with open(path, r, encodingutf-8) as f: return set(line.strip() for line in f if line.strip()) stopwords load_stopwords(stopwords.txt) def cut_and_filter(text): # 精确模式分词 words jieba.lcut(text) # 去停用词同时去掉纯空白 return [w for w in words if w not in stopwords and w.strip()] # 试一条 print(cut_and_filter(这个产品用起来真的很满意物流也快))jieba.lcut返回列表比cut直接可用。load_stopwords用 set 而不是 list是因为后面判断w not in stopwords时 set 是 O(1)几万条文本时差距很明显。这里有个细节停用词表里如果有空格行if line.strip()能过滤掉避免把空字符串加进去。3.2 情感得分的累加逻辑与标签判定核心就一句话把分词结果里每个词去情感词典查分查到就累加最后看总分正负。但实际写的时候有几个参数要定一是词典里查不到的词怎么办直接跳过二是总分正好为 0 怎么标我一般归为中性或按业务需要并入某一类三是要不要做归一化短文本和长文本直接比总分不公平可以除以词数。# 加载情感词典为 dict def load_sentiment_dict(path): senti {} with open(path, r, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) 2: try: senti[parts[0]] float(parts[1]) except ValueError: continue # 分值列不是数字就跳过 return senti senti_dict load_sentiment_dict(BosonNLP_sentiment_score.txt) def score_text(text): words cut_and_filter(text) total 0.0 hit 0 for w in words: if w in senti_dict: total senti_dict[w] hit 1 # 归一化避免长文本天然分高 norm total / hit if hit 0 else 0.0 return total, norm, hit def label_of(score): if score 0: return 积极 elif score 0: return 消极 return 中性load_sentiment_dict里用try/except包住float转换是因为有些词典版本末尾有说明行或空行不处理会直接抛异常。score_text返回三个值原始总分、归一化分、命中词数。命中词数这个指标很有用——如果一条文本命中词数为 0说明词典覆盖不到这条的标签基本不可信后面可以单独筛出来人工看。label_of把 0 归为中性如果你只想二分把return 中性改成return 积极或按业务定。3.3 批量处理与结果写回 .xlsx单条能跑通后批量就是套一层循环。数据量大时用apply比for循环稍快但差别不大关键是别在循环里反复读文件。结果写回用to_excel注意indexFalse避免多出一列索引。# 批量打分 results df[text_col].apply(lambda x: score_text(x)) df[情感总分] [r[0] for r in results] df[归一化分] [r[1] for r in results] df[命中词数] [r[2] for r in results] df[情感标签] df[归一化分].apply(label_of) # 写回 Excel df.to_excel(comments_scored.xlsx, indexFalse) print(df[情感标签].value_counts())apply返回的是 Series每个元素是元组所以后面用列表推导拆开。value_counts()打印标签分布这是第一眼要看的——如果积极消极比例是 9:1 或 1:9大概率是词典和语料领域不匹配得警惕。to_excel默认写第一个 sheet文件名别和输入重名避免覆盖原始数据。4. 避坑与排查词典打分最容易翻车的五个地方4.1 现象所有文本都判成积极 / 原因词典分值分布偏正 / 解决看分布再定阈值跑完发现九成都是积极第一反应是代码错了其实往往是 BosonNLP 词典本身正分词多、负分词少加上短文本里积极词更容易被命中。解决办法不是改代码是先看df[归一化分].describe()如果中位数都是正的说明阈值不能卡 0得往上抬比如大于 0.2 才算积极。4.2 现象命中词数大量为 0 / 原因分词粒度或领域词不匹配 / 解决加自定义词典如果一半以上文本命中词数为 0说明 jieba 切出来的词词典里没有。常见于专业领域比如「续航」「散热」这类词如果被切成单字就查不到。用jieba.load_userdict(user_dict.txt)加载自定义词典把领域词加进去命中率会明显上升。4.3 现象否定句判反 / 原因词级累加不处理否定 / 解决加否定词窗口「不满意」被拆成「不」「满意」累加成正分。这是词典法的硬伤。补丁思路是维护一个否定词表分词后如果某个情感词前面 N 个词内有否定词就把该词分值取反。N 一般取 2 到 3。neg_words {不, 没, 无, 非, 别} def score_with_negation(words): total 0.0 for i, w in enumerate(words): if w in senti_dict: val senti_dict[w] # 往前看两个词有否定词就翻转 window words[max(0, i-2):i] if any(nw in neg_words for nw in window): val -val total val return totalmax(0, i-2)防止索引越界。这个补丁能救回一部分否定句但处理不了双重否定别指望它完美。4.4 现象Excel 写出的中文乱码 / 原因编码或 Excel 版本 / 解决指定 engineto_excel一般不会乱码但如果用to_csv再改后缀就会。写 Excel 时如果报openpyxl相关错误装一下pip install openpyxl。另外列名含特殊字符时某些 Excel 版本打开会提示修复尽量用中文或英文常规列名。4.5 现象处理几千条就卡死 / 原因循环里重复加载词典 / 解决词典只加载一次最常见的性能坑是把load_sentiment_dict写在score_text里面每条文本都重新读一遍词典文件。词典加载必须放在循环外全局一次。另外 jieba 第一次分词会加载模型也只需一次。5. 进阶把词典分当特征做一版可验证的混合方案纯词典跑完你手里其实多了一列很有价值的东西——归一化分和命中词数。这两个数可以直接当特征喂给一个简单的分类器比如逻辑回归用一小批人工标注数据做验证。这就是「词典 轻量模型」的混合思路比纯词典准又比直接上预训练模型省事。具体做法先人工标 200 到 500 条作为验证集把词典分、命中词数、文本长度作为特征用 sklearn 的 LogisticRegression 训一版看准确率比纯词典阈值法高多少。如果提升明显说明你的语料里词典分和真实标签有相关性值得继续如果没提升说明瓶颈在词典覆盖得先扩词典。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 假设已有标注列 label0/1 X df[[归一化分, 命中词数]].values y df[label].values X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42) clf LogisticRegression() clf.fit(X_train, y_train) print(classification_report(y_test, clf.predict(X_test)))random_state固定后结果可复现classification_report看 precision 和 recall别只看 accuracy——如果正负样本不均衡accuracy 会骗人。这一步的价值不在于模型多强而在于给你一个可量化的验证手段判断这份词典到底适不适合你的场景。验证方法上我习惯抽 30 条标签和人工判断不一致的逐条看命中了哪些词、分值多少。十有八九能发现规律要么是领域词没覆盖要么是否定句要么是反讽。这些发现比调参有用得多。从那以后我每次拿到新语料都强制先跑一遍命中词数为 0 的比例超过 20% 就先补词典不补完不往下走。希望帮到你。本文还有配套的精品资源点击获取