第 31 篇 金融与医疗高合规行业的 AI 产品方法论小系列〔行业纵深〕第 1 篇 · 定位把通用 AI 方法论落到高合规、高 stakes 行业衔接《第 14 篇安全合规》的风险是产品风险与《第 11 篇交互设计》的人在环。通用 AI 产品方法论在金融与医疗面前会撞上一堵墙同样的先跑通再优化在互联网场景里是敏捷在这两个行业里是事故。本篇不重复前两季的结论而是把风险是产品风险人在环这两条原则推向最严苛的落地现场给出一套可操作的行业化框架——它关心的不是模型多强而是出错时谁担责、能否溯源、能否回滚。很多团队带着互联网经验进入这两个行业第一反应是模型准了就能上。这个判断忽略了行业的第一性约束。在互联网一次 badcase 的代价是用户骂一句走了在金融一次错的信贷建议可能让一个家庭背上不该有的负债在医疗一次错的影像提示可能延误治疗。错的成本结构不同产品的设计哲学就必须不同。所以本篇的核心立场是在高合规行业合规边界优先于能力边界辅助优先于替代溯源与可回滚是底线而非加分项。下面所有方法都围绕这三条展开。一、为什么这类行业落地慢而难互联网产品的失败成本通常是体验变差、用户流失而金融与医疗的失败成本可能是资金损失、人身伤害、监管处罚。这一根本差异决定了两者在方法论上的五个分叉点监管不确定性、可解释要求、责任归属、数据隔离、容错成本。把五个维度并排列出才能看清为什么通用打法在这里失效。维度互联网行业金融 / 医疗监管确定性事后监管为主先上线后规范前置审批与持续合规变更需报备可解释要求弱效果够好即可强关键决策必须能说明依据责任归属多为平台与用户之间涉及客户资产 / 生命健康主体明确且重数据隔离可共用中台、联合建模较自由强隔离、最小授权、跨域需合规审批容错成本低撤回成本低极高一次误判即不可逆后果结论先行在这两类行业做 AI 产品第一性约束不是能力边界而是合规边界。产品经理必须先把合规边界画清楚再在边界内谈能力。否则模型再准过不了审批也上不了线上线后出一次责任事故前面所有效率收益都会被一次性抹平。监管不确定性是最隐蔽的坑。互联网团队习惯政策出来再调但金融与医疗的监管往往要求上线前就证明合规。这意味着需求阶段就要把合规、法务、风控拉进评审而不是开发完再送审。可解释要求则直接改变产品形态——互联网可以接受黑盒但好用这里必须每一句输出都有迹可循。容错成本极高带来一个产品原则凡涉及资金划拨、诊疗动作默认不交给模型自主执行。数据隔离常被技术团队低估。互联网喜欢数据打通、联合建模,而金融与医疗对数据有严格的边界与授权要求,跨域使用往往要走过合规审批。产品经理在这里的职责,是把数据从哪来、谁能看、用在哪写成明确的需求,而不是默认反正都在公司内网。隔离不仅是合规要求,也是事故时责任划分的依据:数据来源不清,出了问题连归责都做不到。这五个维度合起来说明一件事:高合规行业的 AI 产品,其方法论的重心从怎么把模型用好转移到了怎么让模型在约束内可控地用。能力是入场券,可控才是通行证。二、金融场景图谱金融是 AI 渗透较早、但自动化程度差异极大的行业。核心规律只有一条辅助不替代决策。下面按场景拆开看每个场景标注AI 能做与AI 不能做避免团队在禁区里用力。场景可行形态核心约束AI 能做AI 不能做智能客服问答、业务引导、工单预填禁止承诺收益、误导销售理解意图、生成话术草稿代客做实质性业务承诺投研辅助公告摘要、数据提取、异动归因研报需分析师署名负责信息压缩、初筛线索下达买卖建议、替代投资结论风控反欺诈实时评分、异常识别、规则补位拒贷须可解释、可申诉特征挖掘、可疑模式发现单模型终局否决且无人工复核财富投顾组合建议、再平衡提醒适当性管理、风险提示方案生成、教育内容越权代客交易、保证收益合规审查合同比对、制度检索、报送校验审查结论需合规人员签字文档结构化、缺失项提示出具终局合规意见这张表的价值在于划禁区。很多团队在投研辅助上翻车不是因为模型不行而是把线索初筛悄悄做成了买卖建议。产品设计的纪律是在禁区边界上放一道人确认闸且闸的位置要写进需求文档而不是靠运营自觉。“辅助不替代决策不是口号而是产品架构选择。具体做法是把 AI 的输出固定为建议 依据 置信度”把决定 执行留给授权人。这样即便 AI 给错建议决定环节的人仍能纠偏责任链清晰。这里有个容易被忽视的细节置信度不能只是摆设。当置信度低时产品应当自动降级为仅参考或升级确认层级而不是照常呈现。把低置信即弱化做成系统行为比写十遍规范都管用。财富投顾场景还要叠加适当性管理同样一份组合建议对不同风险承受能力的客户含义完全不同。AI 生成的方案必须先过适当性校验再触达用户否则再精准也是违规。这一点提醒产品经理金融里的准不仅要对模型准还要对监管准。三、医疗场景图谱医疗的 stakes 比金融更硬——错误的代价是健康与生命。因此医疗场景的红线只有一条诊断权与责任必须在人。AI 可以极大提升效率但任何涉及下结论的环节最终签名权都在执业医师。场景可行形态核心约束AI 能做AI 不能做病历结构化语音转写、字段抽取、质控校验隐私脱敏、授权使用自动生成结构化病历草稿替代医师书写最终病历问诊分诊症状预问、科室推荐、紧急度提示不延误急症、不误导信息收集、分诊建议给出确诊结论文献 / 指南检索指南问答、证据汇总、用药提醒来源权威、版本可追溯检索聚合、要点提炼替代临床诊疗决策影像辅助病灶标注、疑似提示、量化测量需医师复核签字初筛、测量、比对独立出具影像诊断报告患者管理随访提醒、用药依从、健康教育不替代医患沟通自动化触达、风险分层调整治疗方案红线管理要有机制而非靠自觉。建议在产品里把AI 建议与医师结论做成两个独立字段、两个独立签名任何把两者混为一谈的界面都视为设计缺陷。影像辅助尤其容易越界——标注工具若默认高亮即确诊,会让医师产生依赖,反而降低复核质量。正向设计是标注 不确定区间提示,把不确定显式呈现,逼出人工判断。问诊分诊有一个特殊风险延误急症。AI 如果为了体验顺畅而把本该直送急诊的症状轻描淡写地分到了普通科室后果可能是致命的。因此分诊产品的设计原则应当是宁可错杀、不可放过——对高风险信号优先提示就医哪怕牺牲一点准确率。这和互联网追求召回与精准平衡的思路不同医疗分诊要主动偏向安全侧。患者管理同样不能越过替代医患沟通的线。自动化的随访提醒、用药提醒是减负利器但一旦涉及建议调整用药就必须回到医师。产品要在触达文案里明确这是系统提醒具体方案请遵医嘱既发挥效率又守住边界。四、可解释性与审计高合规行业的 AI 输出必须可溯源、可复核,这呼应前两季对评测与溯源的要求,但在此处变成强制项而非加分项。每个面向用户或内部决策者的输出,都应携带一组溯源字段,使任何结论都能被还原到依据什么、由谁确认、何时生成。下面是输出溯源字段模板,建议作为所有高合规 AI 输出的标准结构,直接落进数据 schema:字段含义是否必填output_id输出唯一标识,用于追溯必填source_refs引用来源列表(文档ID/规则ID/数据快照)必填model_version生成所用模型与版本必填prompt_version所用提示词 / 流程版本必填confidence置信度或风险等级必填human_reviewer复核人标识(若需人确认)按风险分级review_ts复核时间戳按风险分级rollback_ref可回滚到的前置状态涉及执行动作时必填可解释性的产品落点有三处:一是在界面上让授权用户看到为什么(source_refs 与 confidence 可见);二是在后台留存完整链路供审计;三是在事故时能通过 output_id 秒级定位到生成链条的每一环。这三点合起来,才叫可审计,而不是嘴上说说可解释。注意:置信度不是装饰。当 confidence 低于阈值,产品应自动升级到人确认或降级为仅参考,而非硬给结论。把阈值写进配置并随监管反馈调整,是持续合规的一部分。还有一点常被忽略:source_refs 必须指向可追溯的快照而非实时数据源。如果引用的是一份会变动的文档,事后审计时原文已改,溯源就失效了。所以审计链路要存储数据快照或版本号,保证当时依据什么可还原。可解释还要区分对内向监管与对外向用户两层。对外只需让用户理解这条建议基于什么、是否要咨询医生/理财师;对内则必须详尽到能支撑监管检查。产品经理要同时设计这两套表达,而不是用一套应付两边。五、人在环的分级设计《第 11 篇:交互设计》提出人在环,本篇把它落成一张可执行的分级确认表。核心思想:不是所有动作都要人确认(那样等于没自动化),也不是所有动作都能全自动(那等于赌事故),而是按风险等级匹配确认强度。风险等级操作类型是否需人确认确认方式低浏览建议、信息展示、草稿生成否无需确认,可一键采纳中生成对外内容、触发内部流程是(轻量)编辑预览 明确采纳按钮高资金动作、信贷决策辅助结论是(强)双人复核 / 电子签名 留痕极高诊疗结论、处方相关、代客交易是(强制)授权人独立判断 书面签名分级的价值在于把确认成本花在刀刃上。低风险的浏览建议若每次都弹确认,用户会疲劳性一键过,反而削弱了对高风险动作的注意力。所以确认强度要和风险等级严格挂钩,且阈值由合规与风控共同定义,产品经理的职责是保证界面把分级真实呈现,而不是把极高悄悄降级成中。一个常见反模式是伪人在环:界面上放了个确认按钮,但默认勾选、且按钮文案模糊,用户根本没看清就点了。这既骗了合规也骗了用户。真正的人在环要求确认动作有意识、可举证——用户必须做出明确、不可被默认跳过的选择,且该选择被记入审计链。分级不是静态的。同一个动作在不同上下文里风险等级会变:一笔小额转账是高,一笔大额跨行转账可能升到极高;一条常规用药提醒是低,一条涉及抗凝药的提醒可能升到中。产品经理要把上下文敏感的风险升级做成规则,而不是把风险等级写死在功能上。这是让分级机制真正有用的关键。六、与合规、法务、监管的协作机制通用产品可以把法务当上线前过一道的关卡,高合规行业必须把法务、合规、风控做成需求阶段的共创者。协作机制的要害是前置与留痕,下面给出一张协作清单,建议固化为跨职能流程。阶段协作动作产出物责任方需求前置合规 / 法务参与场景评审,标注禁区场景合规边界清单产品 合规设计评审影响评估(隐私 / 公平 / 安全)影响评估报告合规 算法开发留痕所有输出携带溯源字段审计 schema工程上线审批监管所需材料 内部评审上线批准记录合规 风控运行监测定期合规复盘 红队复测监测报告产品 安全需求前置是最容易被砍的环节,却是最值钱的。一个在需求阶段被合规否掉的自动拒贷功能,省下的是上线后整个系统的返工与潜在处罚。影响评估要落到具体维度:数据是否最小化、模型是否有偏见风险、错误输出会不会误导弱势群体。这些不是法务一个人的事,产品经理要能把这些维度翻译成需求条目。上线审批不是走形式。涉及监管报送的行业,很多变更需要事前报备,产品要做变更影响分级:哪些改动只需内部记录,哪些必须报备后再发。把分级规则写清楚,避免灰度发布救了一时、踩了监管红线的窘境。运行监测阶段要把红队复测常态化——模型换了、提示词改了,高合规场景的攻击面和风险点也会变,不持续测就等于把安全寄希望于运气。跨职能协作还有一个组织层面的坑:合规与产品目标天然张力。产品要快、要体验,合规要稳、要留痕。解决张力不能靠谁压谁,而要靠共同语言——把合规要求翻译成可勾选的检查项(见第七节清单),让双方在同一张表上对齐。产品经理的价值,正是在这里做翻译与缓冲,而不是选边站。七、责任归属与事故处理高合规产品必须回答一个尖锐问题:出错了谁担责。产品层面无法替法律定责,但可以通过设计让责任链可还原、可划分、可回滚,从而把扯皮变成定位。责任归属的产品设计原则有三条。第一,决策签名链完整:每一个最终动作都要能指向谁在什么依据下做的决定,AI 的建议与人的决定分存。第二,可回滚:涉及执行类动作(如已发出的合规报送、已触发的风控标记),必须保留前置状态,事故时能快速回到出错前。第三,事故分级响应:按影响范围(单客户 / 批量 / 系统性)定义响应时效与上报路径,避免小事故因隐瞒拖成大事故。事故处理不是事后救火,而是事前演练。建议把输出溯源字段直接接入事故看板:一旦投诉或异常,输入 output_id 即可拉出完整生成链,定位是数据问题、模型问题还是人确认失效。回滚机制则要求执行动作都有反向操作设计——这在金融尤其重要,因为很多动作具有外部性(已通知客户、已报监管),回滚要考虑对外的补救沟通。最后强调:本篇所有合规相关表述均为通用原则。具体行业的监管要求、报备流程、责任认定以官方发布为准,重大功能上线前务必咨询法务与合规部门,切勿以本文作为合规依据。产品能做的,是把可控、可溯、可回滚的产品骨架搭好,让合规与法务能在骨架上填肉,而不是事后补丁。模板:高合规场景 AI 功能立项检查清单以下清单建议在需求评审前逐项打勾,任一高风险项未闭环不得立项。复制填用即可。高合规场景 AI 功能立项检查清单 ───────────────────────────── [ ] 1. 场景是否触及监管禁区? 禁区清单已与合规确认: □是(停止) □否 [ ] 2. 该功能是辅助还是替代决策? 若替代决策: □已改为辅助形态 [ ] 3. 输出是否携带溯源字段(output_id/source_refs/model_version/confidence)? □是 [ ] 4. 风险等级(低/中/高/极高)是否已定? 对应确认方式: ________ [ ] 5. 人在环是否有意识可举证? 默认勾选/模糊文案: □已清除 [ ] 6. 影响评估是否完成(隐私/公平/安全)? 报告ID: ________ [ ] 7. 数据是否最小化且已授权? 跨域使用审批: □有 □无 [ ] 8. 执行类动作是否可回滚? 回滚方案: ________ [ ] 9. 上线是否需监管报备? 报备状态: □不需 □已报备 □待报备 [ ] 10. 事故分级响应机制是否就绪? 看板接入 output_id: □是 结论: □可立项 □需补材料(列:____) □暂缓 评审人/日期: ________一页速查金融与医疗 AI 落地 一页速查 ───────────────────────────── 第一性约束:合规边界 能力边界,先画合规再谈能力 金融铁律:辅助不替代决策;禁区代客承诺/买卖建议/终局否决/代客交易 医疗红线:诊断权与责任必须在人;AI 建议≠医师结论(双字段双签名) 输出溯源字段(必带):output_id|source_refs|model_version|prompt_version| confidence|human_reviewer|review_ts|rollback_ref 人在环分级:低免确认 / 中轻量采纳 / 高双人复核 / 极高授权人签名 协作前置:需求阶段拉合规法务;影响评估(隐私/公平/安全)必做 责任设计三原则:签名链完整 可回滚 事故分级响应 合规表述:通用原则,具体以官方发布为准,重大功能咨询法务常见坑把线索初筛悄悄做成买卖建议,在投研辅助禁区里越界而不自知。医疗影像辅助默认高亮即确诊,诱导医师依赖、削弱复核质量。可解释只做界面文章,后台不留存完整生成链,事故时无法溯源。置信度低时仍硬给结论,未自动升级人确认或降级为仅参考。人在环是伪确认:默认勾选、文案模糊,用户无意识点过。砍掉需求阶段的合规前置,上线后被监管打回整体返工。把有数据当可用数据,忽视跨域授权与最小化的合规审批。执行类动作无回滚设计,出错后对外影响(已通知/已报送)无法补救。变更灰度发布踩监管红线,未做变更影响分级与事前报备。把本文通用原则当合规依据,重大功能未咨询法务与合规部门。结语高合规行业的 AI 方法论,本质是把风险是产品风险和人在环推到最硬的场景:合规边界先于能力边界,辅助先于替代,溯源与可回滚是底线而非选项。本文为「AI 产品经理入门与进阶」系列第三季·小系列〔行业纵深〕第 1 篇总第 31 篇。数据来源:行业通用合规原则与产品实践整理;涉及具体监管要求、报备流程与责任认定以官方发布为准,重大功能上线前请咨询法务与合规部门。具体数值随技术迭代变化,请以最新数据为准。