苏晓提出“人类最终责任原则”时,会议室里有三个人同时皱眉。
第一个是法务,担心这六个字太重,以后每个责任人都像背着一口锅上班。第二个是技术负责人,担心外界误解成系统不能做任何判断。第三个是张磊,他皱眉不是反对,而是觉得这个名字像国际会议上会让人昏睡三分钟的标题。
张磊小声说:“能不能叫‘别让机器背锅原则’?”
苏晓看他一眼:“不能。”
林凡在旁边憋笑。这个原则其实酝酿了很久。从人工兜底,到解释权,到透明审计,再到老周那句“桥不能替人决定去哪儿”,所有经验都在往同一个地方汇合:凡是涉及人的权利、机会、尊严和基本生活,系统可以辅助,但最终必须有人类责任主体明确承担。
苏晓把原则写成四条。第一,任何高影响决策不得仅由自动系统作出。第二,系统建议必须可解释、可记录、可被质疑。第三,责任人不得以“系统如此显示”为唯一理由拒绝复核。第四,组织必须为责任人提供流程、证据和保护,不能把最终责任变成个人背锅。
法务听到第四条,表情松了一点。
技术负责人问:“那自动审批低风险事项呢?”
苏晓说:“可以。但低风险不是自称低风险,要有审计标准。并且一旦影响升级,必须切换人工责任链。”
张磊举手:“举例。”
苏晓说:“买电影票座位推荐可以自动,取消一个人的住房补助不可以。提醒材料缺失可以自动,判定他没有资格不可以。帮医生检索病例可以自动,告诉患者没有治疗价值不可以。”
林桂兰听完,点头:“这就懂了。小事帮忙,大事别替人做主。”
张磊立刻说:“这句能上墙。”
苏晓没有反驳,只在文件旁边写了一个括号:公众说明版。
原则最难的不是写出来,而是让各方接受。企业代表担心责任边界扩大,基层部门担心工作量上升,工程团队担心创新受限。一次讨论会上,有人说:“如果每个重要决定都要人负责,那人会不会不敢用 AI?”
苏晓回答:“会更谨慎地用。谨慎不是坏事。”
对方说:“这可能降低系统潜力。”
林凡接过话:“如果潜力建立在无人负责上,那不是潜力,是风险外包。”
会议室里安静了一下。张磊低头写:林凡今天输出也稳定。
苏晓推动原则进入制度文本时,做了一件很细的事:她要求每一项原则后面都配真实案例。不是为了煽情,而是防止它变成空话。何春梅的补助复核、梁老太太的解释误解、张磊小店的评分误伤、招聘模型对照护者的隐性歧视,都被匿名写入说明。人们看到的不是抽象责任,而是一个个如果没人负责就会被系统推过去的人。
小孟和新人们也参与了草案意见。他们提出一个实际问题:最终责任人需要足够信息,否则签名只是形式。于是原则里又加了一条执行要求:责任人必须能够查看系统主要依据、用户补充材料和历史复核记录。不能让人闭着眼签字。