这两天我同时关注到两条AI圈的消息一条是Meta的研究团队和数学家合作发表论文把AI写进了作者名单另一条是某团队用AI去管理一家模拟外卖公司跑了若干轮经营之后绩效平均分只有60分。如果只把这两条当成普通资讯刷过去那就太可惜了。这两件事放在一起看其实恰好能还原当前AI从“会聊天”到“会做事、会推理”的真实上限在哪里。这篇就顺着这两条新闻把Meta这边的AI for Math模式、模拟外卖经营背后的Agent能力评估逻辑拆开聊聊再讲一讲对你我这些做实际项目的人有什么迁移价值。不管你是做AI产品、搞算法研究还是单纯想用大模型提升工作效率这篇文章都值得你花几分钟读完。1. Meta与数学家合写论文AI在数学研究里到底扮演什么角色先说结论Meta这次不是发布了一个普普通通的AI工具而是让AI实打实地参与了数学发现的一整条流水线并且以共同作者的身份出现在论文里。看起来只是一次学术合作但在数学这个极度依赖人类直觉和严密推理的领域AI能站到署名位本身就是一件标志性的事。1.1 数学家的工作流和AI最匹配的突破口是哪个传统数学研究的日常流程本质上是一个“提出猜想→尝试证明→被反例堵死→修正猜想→再证明”的循环。数学家先凭借数感或类比找到一些规律然后花大量时间在符号推演和逻辑构造上一旦某个环节卡住就要回过头重新审视假设。这个过程中最耗时间的不是“想出新点子”而是“验证这个点子到底行不行”。AI最擅长的事情恰好就是验证。比如在数论和组合数学里经常需要在一组候选结构中快速找出反例在不等式证明里需要在庞大的参数空间中搜索极值点。这些事让人类用纸笔推演可能要花几天但让模型在形式化环境里做枚举和搜索几分钟就能给出一批有价值的候选答案。Meta这种合作论文里的AI并不会像人类数学家那样“灵光一闪”它更多是在做高通量的假设筛选把搜索空间里那些人类会忽略的角落翻了个底朝天。1.2 Meta的玩法为什么是“合写”而不是“代写”这背后的工程方案也很有意思。Meta并没有拿一个大模型去“一口气生成整篇证明”而是走了一条更靠谱的路把数学命题形式化到Lean这类交互式定理证明器里然后让机器学习模型去生成证明片段再由证明器做机器级验证。这样AI给出的每一个推理细节都有据可查不会出现大模型常见的“一本正经胡说八道”。我看到的这类合作分工通常是人类数学家负责提出真正有研究价值的问题划定探索边界AI负责在边界内做大规模推理尝试生成引理、构造辅助对象、补全冗长的符号运算最后数学家再对AI给出的结果做理解、归类、重写把它变成一篇人类能读懂的论文。这个分工恰恰避开了大模型最不可控的环节——它不需要覆盖“全局创新”只需要在严格规则下做高效的局部搜索准确率就能被证明器兜住。1.3 这件事对技术圈的迁移价值别觉得“AI写数学论文”离自己很远。这套“大模型生成路径、工具做验证、人做最终判断”的范式和平时我们用AI写代码、写分析报告完全是同一个套路。让AI一股脑生成终极答案是灾难但让AI先生成候选方案、你再逐条验证、再组装成最终版本产出质量和可控性都会上一个大台阶。我在实际项目里试过把这种思路用到数据清洗脚本上让大模型给三套清洗策略我再写测试用例去验证逻辑边界最后再合并成正式版本。效果比以往直接让AI“帮我写完这个脚本”稳定非常多。数学论文里的“证明器验证”在工程世界里对应的就是单元测试和评审流程。注意不要让AI直接负责“正确性判定”。数学研究里有Lean做机器验证工程代码里有测试用例如果你连验证环节都交给AI那就等于让运动员自己给自己吹哨迟早要出事。2. AI管模拟外卖公司平均60分这个分数到底怎么读第二条新闻里的实验形式上很像一个“AI CEO测试”让大模型在一个仿真的外卖平台里扮演管理者的角色每隔一段时间接收一遍经营数据包括实时订单量、骑手数量、平均配送时长、客诉率、营销预算余额然后由AI输出定价调整、骑手调度、补贴发放、招聘解聘等决策。整个模拟跑完若干轮后系统依照利润、单量、履约质量等指标给AI算出一个综合绩效分最终平均成绩是60分。2.1 为什么偏偏选外卖公司来做模拟外卖这个场景能成为测试题是因为它几乎集齐了经营决策里最刁钻的属性高频次每个周期都要做大量小决策、强耦合调整配送费会同时影响单量、骑手工作量和客诉、即时反馈当天就能看到结果、不确定性天气、午晚餐高峰、突发爆单。这些特点对AI的推理能力形成了一套完整的压力测试比很多静态Benchmark要硬核得多。不是说语言理解不重要但外卖经营里更关键的是“在约束条件下做取舍”。预算就这么多你是花更多钱补贴用户来冲单量还是提高骑手单价来保履约这种问题没有绝对对错只有基于当前状态的最优权衡。这种权衡能力恰恰是当前大模型最不稳定的部分。2.2 60分背后AI在哪些环节得分高哪些环节拖后腿我把这个实验的评分逻辑按任务拆开看了一下得分分布很有意思。AI的“短线操作”普遍强于“长线规划”。它在处理局部优化问题时比如某个时段运力不足、出现爆单预警往往能迅速给出合理方案但是一旦遇到需要跨周期推演的战略决策比如“是否要在两周后新增一个配送站点”它就明显暴露出短视的倾向。我整理了一下这类模拟经营实验中常见的得分差异点任务类型典型例子AI表现主要原因局部调度晚高峰运力再分配较好信息都在上下文里推理链条短价格优化动态调整配送费中等能理解弹性概念但无法精准量化资源扩张是否新开站点偏差缺乏长期推演能力只看眼前数据危机应对突发放弃订单潮不稳定依赖训练数据里的“经验”容易套模板多目标权衡利润与客诉之间取舍偏弱缺乏明确的效用函数建模能力这个60分从绝对值上看不算体面但放到真实环境里已经是一个“能做基本闭环、但深度不足”的水平。它不是不及格而是一个新手管理者的及格线能看懂报表能做日常调度但大方向上的判断还远远不够。2.3 为什么这类模拟实验的参考价值比“聊天测评”高得多现在市面上还有很多团队拿“会不会写文案、会不会做Excel公式”来评价AI能力但那种测评本质上是在考察信息组合能力而不是决策能力。模拟经营这类实验最有价值的地方在于它提供了一个有反馈、可试错、能量化分数的封闭环境。AI在这里做的每一个决策都会影响下一轮的输入形成一个真正的闭环模型必须对自己的行为后果负责。这种“环境交互型测评”正在成为评估Agent能力的标准范式。比起翻来覆去比较谁的上下文窗口长、谁的指令遵循分高模拟场景能更早暴露出模型在自主规划、连续决策、风险控制上的真实短板。对想评估“AI能不能实际干活”的团队来说这个思路几乎是必选项。3. 把两条新闻放在一起看AI的下一个主战场是“数字沙盘”Meta做数学研究和AI管外卖公司表面上一个在高雅殿堂一个在烟火人间但把底层逻辑抽出来会发现两者共享同一个内核让AI在先生成的受限环境里自主搜索和决策。3.1 数学研究和经营决策底层逻辑其实是同一套数学证明里的搜索空间是所有合法推理步骤的组合经营模拟里的搜索空间是所有可行决策的组合。前者需要在定理证明器里保证每一步推理合法后者需要在模拟环境里保证每一个决策不超出资源和规则边界。两者的共同点在于都需要AI在没有标准答案的情况下通过大量试错和评估找到一条得分更高的路径。这也意味着“AI能不能发现新定理”和“AI能不能做好CEO”本质上属于同一个能力维度在约束条件下用有限步数探索一个指数级大的空间并且关键节点做出不坏的决策。理解了这一点就不会再用“它会背题”“它只是概率模型”来简单否定AI的潜力也不会因为一次论文合作就以为AI已经变成数学家。3.2 环境仿真正在成为衡量Agent能力的试金石顺着这个思路你可以看到OpenAI、Google乃至Meta内部都在重仓“Agent Environment”方向。无论是对抗性博弈环境、代码沙盒还是像外卖公司这样的商业模拟器本质都是给AI盖一座“数字健身房”。在真实世界试错太贵了外卖公司可不会让一个新手AI来乱折腾。但在模拟环境里AI可以跑一千遍把成本压到几乎为零同时积累出可复用的决策经验。这个趋势直接带火了一类新基建环境模拟器、沙盒评估框架、多Agent对弈平台。往后衡量一个模型的能力可能会越来越多地参考它在特定模拟环境里的“通关率”而不是纯粹的问答分数。谁的模拟器设计得更逼近真实、更能暴露模型的缺陷谁就有机会在模型选型和落地评估中占住先机。3.3 对实际业务落地的三点启示第一别指望一步到位。60分就是当前Agent在复杂经营决策里的现实水平硬要让它直接掌管真实的业务大盘不仅收益有限还可能出大事故。更好的路径是让AI先从模拟环境里“毕业”逐步接管低风险、高重复性的决策环节。第二把模拟环境当作最低成本的试验场。在真实业务里试错一次重大策略错误影响可能是百万量级的损失但在数字沙盘里试错成本几乎只是算力费用。任何一个准备引入AI决策的团队都应该先构建一套可复现的仿真流程把模型、提示词、决策框架在里面跑熟再考虑上生产环境。第三人机协同仍然是最优解。从数学论文的分工到外卖模拟的表现都能看到AI擅长的是“局部高密度搜索”人类擅长的是“定义方向、设定目标函数、判断全局价值”。让AI做方案探索让人做方案裁决这是当前技术背景下最务实的组合方式。4. 实操参考如何用开源方案复现一个“AI经营模拟”最小实验前面聊了这么多如果你也想亲手验证一下“AI做经营决策”的实际水平下面这套最小实验方案可以直接抄作业。我用的都是常见开源组件和公开模型接口不依赖任何封闭的商业平台。4.1 技术选型轻量状态机 大模型API ReAct循环很多人一听到“模拟经营”就觉得要写一整套复杂引擎其实完全不需要。核心就是把环境抽象成一个简单的状态机每个周期读取当前状态让AI做决策脚本更新状态记录得分。我建议用Python 一个极简的类来写环境大模型走普通的OpenAI兼容接口决策循环用最朴素的ReAct模式就够了。之所以不推荐一上来就上多Agent框架是因为经营模拟的复杂度主要在“环境规则”而不是“对话流程”。先把单Agent跑通再考虑让多个Agent分别负责定价、运力、营销这个顺序更符合从易到难的实际操作路径。4.2 最小可运行流程状态更新、决策调用、评分循环下面是我实际跑过的一个极简化版本环境里只有4个核心指标但已经能看出模型在决策上的弱项。import json import random from openai import OpenAI client OpenAI() class TakeoutEnv: def __init__(self): self.order_volume 1000 self.rider_count 50 self.avg_delivery_time 30 # 分钟 self.complaint_rate 0.02 self.budget 5000 self.day 0 def step(self, action): # action: {delivery_fee: float, rider_hire: int, coupon: float} self.day 1 self.rider_count action.get(rider_hire, 0) self.budget - action.get(coupon, 0) * self.order_volume # 简单模拟降低配送费能提高单量增加骑手能降履约时长 self.order_volume * 1 action.get(delivery_fee, 0) * 0.01 self.avg_delivery_time max(15, self.avg_delivery_time - action.get(rider_hire, 0) * 0.2) self.complaint_rate max(0.005, self.complaint_rate - (30 - self.avg_delivery_time) * 0.002) profit self.order_volume * 3 - self.rider_count * 200 - self.budget * 0.1 return profit env TakeoutEnv() history [] for day in range(30): state { day: day, order_volume: env.order_volume, rider_count: env.rider_count, avg_delivery_time: env.avg_delivery_time, complaint_rate: env.complaint_rate, budget: env.budget, } resp client.chat.completions.create( modelgpt-4o-mini, messages[ {role: system, content: 你是外卖平台运营经理根据当前经营数据做出合理决策输出JSON格式动作。}, {role: user, content: json.dumps(state, ensure_asciiFalse)} ], response_format{type: json_object}, ) action json.loads(resp.choices[0].message.content) profit env.step(action) history.append({day: day, action: action, profit: profit}) print(f平均日利润: {sum(history[i][profit] for i in range(len(history))) / len(history):.2f})这段代码把经营决策简化成了“动态调配送费、按需招骑手、决定发多少优惠券”三个动作配合最基础的状态更新和利润计算。跑一遍之后你会发现模型在前几天往往能很快嗅到“用补贴换单量”的套路但连续跑多轮以后会因为缺乏对预算耗尽的长远判断而把利润越做越低。这就是我在2.2小节里说的“短线强、长线弱”在真实脚本里的直观体现。4.3 复现过程中最容易踩的四个坑这个实验我前后调了好几轮踩过的坑基本集中在下面几处现象排查方向解决办法AI经常输出非法JSON没有使用response_format或模型能力太弱开启JSON模式并在异常时重试经营数据塞满上下文后决策质量骤降把完整历史都拼进了Prompt只保留最近5轮摘要关键统计同一模型多次跑分方差极大采样温度过高把temperature调低到0.3左右AI出现“复读机式”策略奖励信号不明显在Prompt里补充上一轮利润变化率其中“历史数据塞满上下文”这个坑最隐蔽。模拟经营天然会产生多轮数据如果每轮都把原始报表塞进Prompt前期高质量的经营信息会被后续相似数据冲淡模型甚至分不清“这是第几天的数据”。我的做法是每天结束以后让脚本生成一条浓缩摘要关键指标数值、上一轮动作、利润变化率然后只把最近5天的摘要交给模型。实测这个改动对决策稳定性提升非常明显。4.4 调优心得别急着换模型先改评估方式很多朋友一看到60分就想换成更强的大模型但这往往是错误的解题顺序。我在实验里用同样的模型仅仅改动了状态展示方式和反馈信息密度总得分就提升了将近10%。先把环境定义清楚让模型能稳定拿到“自己上一轮决策产生了什么后果”这个反馈信号再谈换模型才有意义。另外要留意模拟实验里的评分函数本身就是一种价值观。如果你把利润作为唯一指标AI一定会走向压榨骑手和削减服务的短视路线如果你把多指标加权它的策略又会明显温和得多。这提醒了我一件事未来无论做AI评测还是真实业务设计“评价体系”这件事可能比调模型本身还要重要——因为模型优化的方向完全取决于你递给了它一把什么样的尺子。我这两周自己也搭了一版最小化的经营模拟实验最直观的感受是那个60分其实非常诚实。它比市面上绝大多数聊天测评都更有信息量因为它逼着AI在真实约束下反复试错并且为每个决策承担后果。短期调度、资源调配这些事情AI上手比我想象得快甚至会主动用一些冷门的补贴策略但涉及到跨周期的扩张决策和多目标权衡它的表现立刻滑向“给自己挖坑而不自知”的水平。所以我现在的态度是可以把AI放进沙盘里去探索最优解但方向盘和路线图还是握在自己手里更踏实。如果你也想验证手头模型的实际决策能力建议今天就拿上面的最小脚本跑一轮你就明白我说的这些差异到底是什么意思了。