模型评测AI 评测人工智能大模型【免费下载链接】LongMemEvalBenchmarking Chat Assistants on Long-Term Interactive Memory (ICLR 2025)项目地址https://gitcode.com/gh_mirrors/lo/LongMemEval点击查看免费下载LongMemEval 是一个用于评测聊天助手长期交互记忆能力的权威基准测试数据集ICLR 2025收录了 500 道高质量问题覆盖信息抽取、多轮会话推理、知识更新、时间推理与拒答判断五大核心能力。本文是一份面向新手的环境搭建与首次评测完整教程约 10 分钟内你即可完成仓库克隆、环境配置、数据准备并跑通 LongMemEval 的第一次长期记忆评测流程。一、LongMemEval 是什么为什么值得尝试LongMemEval 的设计灵感来自经典的“大海捞针”needle-in-a-haystack测试它为每道问题编译了一段带时间戳、长度可控的连贯聊天历史要求聊天系统在线上动态解析这些历史交互并完成记忆最后回答题目。如上所示五类任务各有侧重single-session-user / single-session-assistant从单轮会话中提取用户信息或助手曾说过的内容knowledge-update判断信息更新后的最新状态如“我新买了一辆混合自行车”temporal-reasoning跨时间戳的时间推理如“距离上次参观过了几个月”multi-session跨多个会话的综合推理abstention识别不可回答的问题考察系统是否会“编造”项目同时提供三个规模的数据文件longmemeval_s.json约 115k tokens适配 128k 长上下文模型、longmemeval_m.json每个问题约 500 个历史会话与longmemeval_oracle.json仅包含证据会话用于评测检索效果。数据集格式细节可参考 README.md 中的 “Dataset Format” 章节。二、快速搭建环境克隆仓库与创建 conda 环境1. 克隆 LongMemEval 仓库git clone https://gitcode.com/gh_mirrors/lo/LongMemEval cd LongMemEval2. 下载评测数据集将数据集解压到仓库根目录的data/文件夹下共三个文件longmemeval_oracle.json、longmemeval_s_cleaned.json、longmemeval_m_cleaned.json。数据集托管在 Hugging Face 的xiaowu0162/longmemeval-cleaned页面可前往该页面下载最新清洗版本2025/09 更新版已防止历史会话对答案正确性产生干扰。3. 创建 conda 环境Python 3.9LongMemEval 官方推荐 conda 环境按你的需求二选一方案 A仅评测推荐新手—— 只计算指标依赖极轻对应 requirements-lite.txtconda create -n longmemeval-lite python3.9 conda activate longmemeval-lite pip install -r requirements-lite.txt方案 B完整功能—— 需要复现论文中的记忆检索与生成系统对应 requirements-full.txt官方在 CUDA 12.1 的 Linux 环境验证过conda create -n longmemeval python3.9 conda activate longmemeval pip install torch2.3.1 torchvision0.18.1 torchaudio2.3.1 --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements-full.txt 新手建议先走方案 A 跑通评测之后再升级完整环境做检索实验。三、第一次长期记忆评测三步跑通LongMemEval 的评测逻辑很简单把你自己系统生成的回答保存为jsonl文件每行包含question_id和hypothesis两个字段然后用官方脚本 evaluate_qa.py 借助大模型自动打分。第 1 步准备你的回答文件将你的系统对 500 道题的回答写入your_hypothesis_file.jsonl格式示例{question_id: single_hop_xxx, hypothesis: 45 minutes each way}第 2 步配置 API 并运行评测evaluate_qa.py 支持gpt-4o、gpt-4o-mini或本地通过 vLLM 部署的 Llama 作为打分模型metric model。使用 OpenAI 打分模型时export OPENAI_API_KEYYOUR_API_KEY export OPENAI_ORGANIZATIONYOUR_ORGANIZATION # 单组织账号可省略 cd src/evaluation python3 evaluate_qa.py gpt-4o your_hypothesis_file ../../data/longmemeval_oracle.json脚本运行结束后在终端直接打印平均分生成[your_hypothesis_file].log日志文件每行新增autoeval_label字段便于后续逐题分析第 3 步汇总输出各项指标若需要从日志中重新聚合计分项得分运行# 在 src/evaluation 目录下 python3 print_qa_metrics.py gpt-4o your_hypothesis_file.log ../../data/longmemeval_oracle.json对应源码print_qa_metrics.py。 至此你的第一次 LongMemEval 长期记忆评测已完成四、进阶运行论文中的记忆系统实验完成评测后可以进一步复现 LongMemEval 配套的记忆检索 检索增强生成流程需完整环境本地部署开源 reader 模型通过 vLLM 以 OpenAI API 兼容方式服务见 serve_vllm.shcd src/utils bash serve_vllm.sh GPU MODEL PORT TP_SIZE长上下文生成基线直接喂入完整历史cd src/generation bash run_generation.sh DATA_FILE MODEL full-history-session TOPK [HISTORY_FORMAT] [USERONLY] [READING_METHOD]注意longmemeval_s.json与longmemeval_oracle.json适配 128k 上下文模型longmemeval_m.json过长不建议直接长上下文测试OpenAI 模型需在 run_generation.sh 中填入 API Key。记忆检索实验BM25 / Contriever / Stella / GTE 等支持 turn 或 session 粒度cd src/retrieval bash run_retrieval.sh IN_FILE RETRIEVER GRANULARITY检索日志可用 print_retrieval_metrics.py 输出指标注意评测检索时会跳过 30 个 abstention 样本它们没有真实证据位置。索引扩展与时间感知查询扩展相关批量生成脚本位于src/index_expansion/如 temp_query_search_pruning.py。此外你还可以用 sample_haystack_and_timestamp.py 自由扩展历史会话数量构造比longmemeval_m更难的任务。五、常见问题FAQQ1我只想算分一定要装 vLLM / PyTorch 吗不需要。lite 环境仅含openai、nltk、tqdm等轻量依赖足够运行evaluate_qa.py与两个指标脚本。Q2CUDA 版本不是 12.1 怎么办官方环境仅在 Linux CUDA 12.1 上验证过其他平台可能需要自行调整torch等依赖版本若只用 lite 环境则完全无影响。Q3评测为什么要求模型回答 yes/noevaluate_qa.py通过提示词让 metric model 判断回答是否包含正确答案时间推理类容忍 off-by-one 误差知识更新类只要给出更新后的答案即算对最终聚合成 QA 正确率。六、总结LongMemEval 是评测聊天助手长期交互记忆的标准基准500 道题覆盖五大记忆能力新手路线clone 仓库 → lite conda 环境 → 下载data/数据 →evaluate_qa.py三步出分进阶路线vLLM 本地部署 长上下文生成 记忆检索完整复现 ICLR 2025 论文实验祝评测顺利跑出你的第一个长期记忆成绩赞分享模型评测AI 评测人工智能大模型【免费下载链接】LongMemEvalBenchmarking Chat Assistants on Long-Term Interactive Memory (ICLR 2025)项目地址https://gitcode.com/gh_mirrors/lo/LongMemEval点击查看免费下载相关推荐如何快速上手MoCo10分钟完成环境搭建和首次运行如何快速上手MoCo10分钟完成环境搭建和首次运行 MoCoMomentum Contrast是Facebook AI Research提出的革命性无监督如何快速上手Kubernetes test-infra10分钟搭建完整测试环境如何快速上手Kubernetes test infra10分钟搭建完整测试环境 想要为Kubernetes项目贡献代码却苦于无法快速搭建测试环境KuberIOPaint 免费 AI 图像修复完整指南IOPaint 免费 AI 图像修复完整指南 素材交付前你发现图片上全是水印 交付前一天晚上你打开产品图文件夹发现每张图都压着图库网站的水印。用修图软件手人工智能AI 应用计算机视觉图像处理媒体生成后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考