简介这是一份基于Python的电商买家评论情感分析完整项目面向计算机相关专业在校学生、老师及企业员工适合课程设计、毕业设计或作为入门级NLP项目实战参考。代码均调试通过并采用Streamlit搭建可视化界面可一键运行体验交互式情感分析流程。压缩包共包含1379个文件大小约53.95MB涵盖Python源码、CSV评论数据集、TXT说明文档、HTML可视化页面及模型文件等其中数据部分包含多品牌多时段的好差评评论有助于分析评论分数与文本情感不吻合、产品卖点关键词等实际问题。项目还提供了清晰的目录框架、统一的代码规范与注释、开发文档及流程图方便二次开发。目前已有1120人学习下载适合希望系统掌握评论情感分析流程并借鉴完整项目组织方式的学习者。1. 电商评论情感分析课设不是套个模型就能拿分的一个基于 Python 的电商买家评论情感分析项目数据是爬下来的 34000 条真实评论模型、代码注释、运行环境一应俱全streamlit run一键启动就能看到交互界面。做了这个课设你会明白情感分析真正麻烦的从来不是跑通一个模型而是评论内容和评分对不上、商品词不在词典里、可视化结果答辩时拿不出手这些琐碎问题。这份源码适合正在做课程设计、毕业设计的学生也适合想拿真实电商评论练手 NLP 的从业者。它的价值不在算法多深而在把「数据采集 → 清洗 → 情感判定 → 可视化展示」这条线完整走通每一个环节都有可复现的代码和踩坑记录可以参照。2. 评论数据与预处理34000 条样本背后的清洗思路2.1 数据构成这几份 CSV 分别能做什么项目压缩包里最核心的物料是五份 CSV 文件先说清楚它们各自的分工免得拿到手之后不知道先用哪份。spider_comments.csv是原始评论落盘文件字段最全是爬虫最初抓下来的样子spider_comments_34000.csv是清洗后的主数据集34000 条这个量级对文本情感分析来说不算大但做课程设计完全够用SnowNLP 或者 BERT 微调都能在普通笔记本电脑上跑完spider_meidi_comments2020.csv和spider_meidi_comments2019.csv是按年份拆分的评论数据这两份文件的作用是支持「同一商品评论情感随时间变化」的分析属于加分项美的Midea_正面.csv则是正面评论的子集主要用于词云和情感特征提取。我一般会建议先打开spider_comments_34000.csv看一眼字段结构确认评论内容列、评分列和时间列的列名后面所有清洗逻辑都依赖这三列。千万不要直接拿原始 CSV 去跑模型电商评论里混着大量无效文本不洗的话后面每个环节都会被污染。2.2 清洗步骤去重、去广告、过滤超短评import pandas as pd df pd.read_csv(spider_comments_34000.csv, encodingutf-8-sig) # 1. 去重同一用户在同一时间段内对同一商品的重复评论 df df.drop_duplicates(subset[user_id, comment, score], keepfirst) # 2. 过滤超短评少于4个字的评论信息量太低 df df[df[comment].str.len() 4] # 3. 广告评论过滤电商评论区常见的引流文本 ad_pattern r(加微信|QQ群|淘宝搜索|优惠券|返现|好评返) df df[~df[comment].str.contains(ad_pattern, naFalse)] # 4. 评分列转为数值型缺失评分直接丢弃 df[score] pd.to_numeric(df[score], errorscoerce) df df.dropna(subset[score]) print(df.shape)这段清洗代码的核心逻辑是按「重复度 → 长度 → 广告特征 → 评分完整性」四层过滤。subset[user_id, comment, score]三个字段同时相同才判定为重复避免误删同一用户对不同商品的有效评论长度阈值设成 4 是经验值电商评论里「很好」「不错」这类两字评价值得保留但「好」这种一个字的没有分析价值广告正则里naFalse是为了让空值不参与匹配否则 missing 值会被str.contains返回 NaN导致整行被直接过滤掉。清洗完再看数据量。如果发现过滤比例超过 15%说明原始爬虫代码的字段对齐可能有误建议回看爬虫部分如果过滤比例不到 5%那说明原始数据质量本身就比较高可以适当放宽长度阈值到 2 个字。2.3 评分分布与情感不一致先找出矛盾样本电商评论有个经典问题用户打了 4 分甚至 5 分但评论内容明显是抱怨。原因很简单很多用户嫌麻烦直接点五星好评然后把槽点写在文字里也有不少用户对商品整体满意给高分但针对某个配件吐槽。这种「评分—情感不一致」样本如果不处理会直接拉低情感分类模型的训练效果。# 查看评分分布确认数据是否失衡 print(df[score].value_counts().sort_index()) # 把评分映射为粗粒度标签1-2分负向3分中性4-5分正向 df[label] df[score].apply(lambda x: 0 if x 2 else (1 if x 3 else 2)) print(df[label].value_counts())评分映射这一步很关键。直接把 1 到 5 分当回归目标做是常见误区因为 3 分和 4 分之间的差距并不等于 4 分和 5 分之间的差距评论者打分带有很强的离散偏好。映射成三分类之后情感分析任务从回归变成分类后续无论是训练集测试集划分还是模型评估都会清晰得多。做完这些预处理你的数据才真正「干净」到可以喂给模型了。很多教程跳过了这一整段直接上模型结果答辩时被问「数据怎么清洗的」就卡壳这段代码就是用来补这个漏洞的。3. 情感模型选型从 SnowNLP 基线到 BERT 升级3.1 为什么先用 SnowNLP 打基线词典与规则的成本优势情感分析在这个项目里走的是一条「先易后难」的路。第一次迭代直接用 SnowNLP 跑完整条流程理由很朴素它不需要训练开箱即用对课程设计来说能快速产出一个可演示的结果比堆模型复杂度重要得多。SnowNLP 的底层是朴素贝叶斯分类器加上自带的正负情感词典对「不错」「垃圾」「超值」这类通用情感词判断比较准。它的情感分数输出范围是 0 到 10.5 以上算正向以下算负向。这个 0.5 的阈值不是拍脑袋定的而是 SnowNLP 训练语料的先验分布决定的。from snownlp import SnowNLP comment 热水器加热速度很快但安装师傅态度很差 sentiment_score SnowNLP(comment).sentiments print(f情感分数: {sentiment_score:.3f}) # 输出类似 0.712说明总体上模型觉得这句话偏正向这里有个值得注意的点这句话里同时出现了正面词「很快」和负面词「很差」模型给出的分数是两者博弈的结果。SnowNLP 对这类混合情感句的处理能力很有限它本质上是在做词袋级别的概率累加没有语法结构信息。所以如果某条评论的分数落在 0.4 到 0.6 之间基本可以判定为情感模糊样本后续需要人工复核或者用更重的模型处理。3.2 商品特有词重训为什么「美的」和「热水器」会翻车通用词典最大的问题是商品领域词覆盖不足。「安装师傅」「售后」「保修期」「镁棒」这些词在 SnowNLP 自带语料里出现频率极低甚至根本不出现导致模型对它们的权重接近于零。这就是为什么直接拿通用模型跑电商评论经常出现「热水器漏水客服态度很好」被判定为正向的荒谬结果——它只看到了「很好」。解决办法是利用已有数据重训 SnowNLP 的贝叶斯分类器。这个操作不需要自己实现算法SnowNLP 内部提供了训练接口你需要做的只是准备好正负样本语料。from snownlp import sentiment # 用清洗后的数据构造训练语料 positive_samples df[df[label] 2][comment].tolist() negative_samples df[df[label] 0][comment].tolist() # 重训模型save 之后会生成 sentiment.marshal 文件 sentiment.train(positive_samples negative_samples) sentiment.save(sentiment.marshal) # 使用时指定加载新模型 from snownlp import SnowNLP custom_snownlp SnowNLP(comment) custom_snownlp.sentiments重训之后你会看到商品相关评论的情感判断明显变得更合理「安装师傅」「售后」这类词的权重被重新分配。这里有个坑需要提醒sentiment.train默认会把传入的正负样本合并后打乱再训练所以传样本之前最好在外部先做好 label 分离train方法的正负样本顺序本身不影响结果但样本比例会影响先验概率。正负样本数量差距超过 3:1 时模型会偏向多数类分数整体偏移。3.3 进阶替换BERT 情感分类的升级路径如果你不满足于词典基线项目里也预留了升级路径——用 BERT 做情感分类。正文里明确提到「不用 snownlp」这个方向实际上指的就是替换掉整个词典方案改用预训练语言模型。BERT 的升级价值在于它能处理「虽然…但是…」这类转折句也能理解否定结构。「加热快但不省电」这种评论SnowNLP 大概率会给一个中等偏正的分BERT 则能正确识别后半句的负向倾向。代价是标注成本你需要从清洗后的数据里人工标注至少 2000 条评论划分训练集和测试集。from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments # 中文情感分析推荐用 hfl/rbt3 或 bert-base-chinese tokenizer AutoTokenizer.from_pretrained(hfl/rbt3) model AutoModelForSequenceClassification.from_pretrained(hfl/rbt3, num_labels3) # 把清洗后的评论转为模型输入 train_texts df[df[label].notna()][comment].tolist() train_labels df[df[label].notna()][label].tolist() train_encodings tokenizer(train_texts, truncationTrue, paddingTrue, max_length128)这一段的重点是max_length128。电商评论长度普遍在 50 字以内128 足够覆盖绝大多数样本再长只会浪费显存拖慢训练。hfl/rbt3是哈工大开源的中文 RoBERTa 小型版本参数量比bert-base-chinese小不少在 CPU 上也能勉强微调适合个人课设环境。4. Streamlit 界面与可视化让模型结果能直接答辩4.1 启动入口与整体框架项目运行入口是streamlit run ./Comment_analysis/Streamlit/streamlitEXP.py这是整个演示的灵魂。Streamlit 的价值在于它是纯 Python 脚本驱动的 Web 界面不需要写前端代码改完逻辑刷新页面就生效答辩时现场操作非常方便。# 在项目根目录执行注意路径中不要有中文和空格 streamlit run ./Comment_analysis/Streamlit/streamlitEXP.py启动之后浏览器会自动打开http://localhost:8501。如果没自动打开手动访问这个地址即可终端里出现的 Network URL 是局域网地址可以发给同组同学让他们在自己电脑上访问你的界面。在启动之前先确认虚拟环境已激活。压缩包里的activate、activate.bat、deactivate.bat、sysconfig.cfg、pyvenv.cfg都是 Python venv 虚拟环境的残留文件。在 Windows 上执行activate.bat在 Linux 或 macOS 上执行source activate然后再安装依赖。跳过这步直接pip install会把包装进全局环境后续版本冲突很难排查。4.2 界面逻辑上传、分析、展示三段式streamlitEXP.py里通常是这样组织代码的上传区、分析区、展示区三段式。import streamlit as st import pandas as pd from snownlp import SnowNLP import matplotlib.pyplot as plt st.title(电商评论情感分析) # 文件上传组件支持 csv 格式 uploaded_file st.file_uploader(上传评论数据, typecsv) if uploaded_file is not None: df pd.read_csv(uploaded_file, encodingutf-8-sig) # 遍历评论计算情感分数 results [] for comment in df[comment].tolist(): score SnowNLP(str(comment)).sentiments results.append(score) df[sentiment_score] results # 阈值滑块可交互调整 threshold st.slider(正向阈值, 0.3, 0.7, 0.5, 0.05) df[sentiment_label] df[sentiment_score].apply( lambda x: 正向 if x threshold else 负向 ) st.dataframe(df.head(200))st.file_uploader的typecsv限制了文件类型但没限制编码上传的 CSV 如果不是 UTF-8 编码会直接乱码所以pd.read_csv里同时加了encodingutf-8-sig兼容 Excel 导出的带 BOM 文件。st.slider的正向阈值做成可交互控件非常聪明答辩时可以现场演示「阈值从 0.5 拉到 0.7正向评论数量下降」的敏感性分析这比静态图表有说服力得多。4.3 词云、LDA 主题与 pyLDAvis可视化部分是拿分重点。除了最基础的柱状图和饼图展示正负比例项目里值得说的是 wordcloud 词云和 pyLDAvis 主题模型可视化。from wordcloud import WordCloud import jieba # 正面评论拼接后分词 positive_text .join(df[df[sentiment_label] 正向][comment].tolist()) words .join(jieba.cut(positive_text)) # 中文词云必须指定字体路径否则方块乱码 wordcloud WordCloud( font_pathSimHei.ttf, width800, height400, background_colorwhite, max_words100 ).generate(words) plt.figure(figsize(12, 6)) plt.imshow(wordcloud, interpolationbilinear) plt.axis(off) plt.show()词云最关键的一行是font_pathSimHei.ttf。matplotlib 默认字体不支持中文不指定字体的话输出图片里全是方块。max_words100是控制词云密度的参数评论数据量大的时候建议降到 50否则词太多会糊成一片。分词用 jieba 是标准做法注意 jieba 对「美的」「热水器」这类专有名词可能切得不合理可以在分词前加载自定义词典jieba.add_word(美的) jieba.add_word(热水器) jieba.add_word(安装师傅)pyLDAvis 则是把 LDA 主题模型的结果渲染成交互式网页它能展示主题间距离和每个主题的关键词分布。生成之后用pyLDAvis.save_html保存成本地 HTML 文件答辩时直接拖进浏览器打开就行比在 Streamlit 里嵌入 iframe 稳定得多。5. 踩坑记录评论情感分析五个常见翻车点5.1import snownlp报错明明 pip 安装成功了现象pip install snownlp提示 Successfully installed但 Python 脚本执行from snownlp import SnowNLP直接报 ModuleNotFoundError。原因当前终端激活的 Python 解释器和 pip 安装目标不一致。特别是压缩包自带 venv 环境时直接双击运行.py文件用的是系统 Python而 pip 装进了 venv 的 site-packages。解决先执行activate.bat激活虚拟环境再用python -m pip install snownlp重新安装。python -m pip保证安装到当前解释器对应的路径比裸pip install可靠得多。5.2 CSV 读取中文乱码utf-8 和 gbk 的编码战争现象pd.read_csv(spider_meidi_comments2019.csv)读进来之后中文全是乱码或者直接报 UnicodeDecodeError。原因爬虫脚本在 Windows 上运行时写入文件的默认编码是 gbk但pd.read_csv默认按 utf-8 解码。解决读取时先尝试encodingutf-8-sig报错就换成encodinggbk。判断编码最简单的方式是用记事本打开 CSV另存为对话框里会显示当前编码。utf-8-sig比utf-8多一个 BOM 头兼容 Excel 导出的文件建议作为默认首选。5.3 Streamlit 启动后页面空白相对路径引用失效现象streamlit run ./Comment_analysis/Streamlit/streamlitEXP.py执行后浏览器页面加载不出来终端报 FileNotFoundError错误里出现了./Comment_analysis/Streamlit/这个前缀。原因Streamlit 的工作目录是脚本所在目录不是你在终端执行命令时所在的目录。脚本里所有相对路径都基于脚本位置解析所以./Comment_analysis/Streamlit/这个前缀在 Streamlit 内部是多余的。解决把streamlitEXP.py里所有路径改成相对于脚本所在目录的写法只保留Streamlit/streamlitEXP.py这一层或者直接用绝对路径os.path.join(os.path.dirname(__file__), xxx.csv)。5.4 词云中文变方块字体文件缺位现象wordcloud 生成图片里中文全部显示为灰色方块英文正常。原因wordcloud 默认字体是 DroidSansMono不含中文字形。matplotlib 也存在同样的问题它默认的 DejaVu Sans 也不覆盖中文。解决下载一个中文字体文件放到项目目录比如SimHei.ttf或微软雅黑然后WordCloud(font_pathSimHei.ttf)。注意 Windows 的系统字体在C:\Windows\Fonts\下文件名可能不带.ttf后缀要用simhei.ttf这种实际存在的文件名。5.5 情感分数普遍偏高正负样本比例失衡现象跑完全部评论情感分数的均值达到了 0.8 以上几乎所有评论都被判定为正向。原因数据源本身正向评论占比就高电商评论区 4 到 5 星本身就占大多数。SnowNLP 自带模型的先验分布和新数据分布差异大导致分数整体偏移。解决用清洗后的数据重训模型重训前先检查正负样本比例通过下采样或者上采样把比例控制在 3:1 以内。如果重训后还是偏高可以用分位数校准比如把分数按从低到高排序后将最高的 30% 映射到 1.0最低的 30% 映射到 0.0消除分布偏移。6. 进阶玩法把情感分数和商品卖点关键词联动起来基本的正负比例分析只是入门要让这个课设真正出彩可以做一个「情感—关键词」的交叉分析从评论里找到商品的核心卖点和槽点。思路是这样先统计每个关键词在正向评论和负向评论中的出现频率计算情感偏向度。比如「外观」这个词在正向评论中出现 200 次、负向评论中出现 30 次情感偏向度就是 200 除以 230约 0.87说明外观是这款商品的加分项而「售后」如果在负向评论中出现频率更高就是减分项。import jieba from collections import Counter # 自定义领域词表 domain_words [外观, 加热, 噪音, 售后, 安装, 耗电, 容量] def sentiment_bias(word, pos_comments, neg_comments): pos_count sum(1 for c in pos_comments if word in c) neg_count sum(1 for c in neg_comments if word in c) total pos_count neg_count if total 0: return None return pos_count / total pos_comments df[df[sentiment_label] 正向][comment].tolist() neg_comments df[df[sentiment_label] 负向][comment].tolist() for word in domain_words: bias sentiment_bias(word, pos_comments, neg_comments) if bias is not None: print(f{word}: 情感偏向度 {bias:.2f})这个分析的价值在于从评论语料中提取出商品维度比如「外观」「售后」这些词是用户真正关心的点比单纯说「本品好评率 82%」有深度得多。答辩时被问到模型不好怎么办的时候把话题引向「我用关键词情感偏向度做了维度拆解」要比在模型里调参更能体现出整体思考链路的完整性。第二个进阶方向是利用 2019 和 2020 两份年份数据做时间维度的情感趋势。按月分桶统计每个月的平均情感分数画出折线图能够发现口碑变化的拐点比如某个月份之后负面评论激增可能是品控出了问题也可能是竞对刷差评这种分析能让评委看到你理解数据背后的业务含义。配合年份数据的对比把情感分数和好评率同时画出来通常会发现好评率波动和情感分数波动并不完全同步——好评率看的是打分行为情感分数看的是文字内容两者错位正是前面清洗部分提到的「评分与内容不吻合」问题在高层的体现把这个现象解释清楚整套课设的逻辑就闭环了。做完这些之后再回头看最初的花费时间最深的体会是情感分析这个题目看上去到处都是现成工具但真正上手之后每一步都有坑从编码、路径、字体到样本比例、模型偏差、阈值敏感度全部踩一遍才把流程跑顺。从那以后我每次拿到新的评论数据都会强制走一遍「编码检测 → 重复过滤 → 评分映射 → 模型重训 → 分桶验证」这个固定流程省掉的不只是排查时间还有答辩现场翻车的尴尬。希望这篇拆解能帮你少走一段弯路。本文还有配套的精品资源点击获取