过去企业讨论生成式人工智能，多数停留在能不能用、效率提升多少；首例AI幻觉侵权案之后，问题已经变成“AI对外说错一句话，谁承担责任、如何举证、能否免责、是否需要监管报告”。法院目前的主线判断是：生成式AI原则上更接近服务而非产品，一般不当然适用产品严格责任；AI自行生成的赔偿承诺，通常不当然构成企业意思表示；但服务提供者、调用者、平台方仍需围绕训练数据、内容标识、准确性提升、投诉处置、日志留存、高风险关键词人工复核等环节证明自己已经尽到合理注意义务。对企业而言，真正紧迫的不是写一份AI使用声明，而是在客户服务、投研报告、招股披露、医疗健康、教育升学、合同谈判、诉讼证据、舆情传播等场景中，把AI输出纳入可识别、可复核、可追溯、可下线、可举证的合规闭环。
一、真正的风险场景不是AI会说错，而是企业让AI在关键节点替人作出外部表达
企业最容易低估的风险，不是内部员工让AI起草一段文字，而是AI输出已经进入交易、披露、销售、客服、投研、医疗咨询、教育咨询、诉讼材料等可被他人信赖的链条之中。
典型场景包括：
1.客服机器人对消费者作出赔偿、退款、服务承诺，后续企业主张“这只是AI说的”，但客户已经据此付款、放弃投诉或者改变交易决策。
2.销售或售前系统生成技术指标、性能承诺、交付周期，客户在招投标、采购、验收中据此主张违约或虚假宣传。
3.金融、投资、保险、财富管理场景中AI输出投资建议、资产评估、风险判断，客户亏损后倒查模型依据、提示词、人工复核记录。
4.医疗、健康、教育升学、法律咨询类产品输出错误结论，用户虽然未必能立即胜诉，但企业会同时暴露于侵权、消费者保护、广告合规、平台治理和舆情风险。
5.上市公司、拟上市公司、基金、产业投资人使用AI生成公告、路演材料、尽调报告、董事会材料，若内容存在虚假、遗漏或未经核验，风险会传导至信息披露、董事勤勉义务、投资人索赔与交易终止。
6.诉讼团队使用AI检索案例、生成证据摘要、撰写法律文书，若出现虚构裁判、虚构事实或证据链错误，可能影响案件结果，并引发律师勤勉尽责、当事人诚信诉讼与证据真实性争议。
AI幻觉已经不是单纯技术误差，而是企业外部表达、内部治理、合同责任、监管问询和诉讼举证的交叉风险。
二、本轮规则变化的核心：责任标准正在被司法、部门规章、强制国标共同抬高
1.首例AI幻觉侵权案明确了短期诉讼主战场：过错责任，而非当然严格责任
首例AI幻觉侵权案中，考生使用生成式AI查询高考报考信息，AI输出错误校区信息，并在用户指出错误后继续坚持，还生成“若内容有误将赔偿10万元”的表述。杭州互联网法院最终驳回原告索赔请求。该案最重要的实务意义在于法院释放了三项责任边界：其一，生成式AI更倾向被认定为服务而非产品；其二，AI不具有民事主体资格，AI自行生成的赔偿承诺不当然构成服务提供者意思表示；其三，服务提供者责任审查将围绕是否尽到动态注意义务展开。
这意味着，短期内企业面对AI幻觉侵权诉讼，核心抗辩提交一套可验证的合规证据：模型适用边界、风险提示、内容标识、敏感词拦截、人工复核、投诉处理、日志留存、模型优化记录。
2.《生成式人工智能服务管理暂行办法》已经把准确性、可靠性、投诉处理、模型整改变成运营义务
《生成式人工智能服务管理暂行办法》自2023年8月15日起施行，适用于利用生成式AI技术向境内公众提供文本、图片、音频、视频等内容生成服务的情形；未向境内公众提供服务的内部研发、应用活动，原则上不适用该办法，但仍可能受数据、个人信息、网络安全、商业秘密和行业监管规则约束。该办法明确采取发展和安全并重、促进创新和依法治理相结合、包容审慎和分类分级监管的思路。
对企业最关键的是以下具体义务：不得生成法律、行政法规禁止的虚假有害信息；不得侵害他人肖像权、名誉权、隐私权和个人信息权益；应采取有效措施提升透明度，提高生成内容的准确性和可靠性；训练数据应具有合法来源，涉及知识产权和个人信息的应分别满足相应合法性要求，并提高训练数据真实性、准确性、客观性、多样性。
更重要的是，提供者应依法承担网络信息内容生产者责任，明确服务协议，公开适用人群、场合和用途；发现违法内容时，应及时停止生成、停止传输、消除，采取模型优化训练等措施整改，并向主管部门报告；还应建立投诉举报机制并反馈处理结果。具有舆论属性或者社会动员能力的生成式AI服务，还应开展安全评估并履行算法备案手续。
3.《人工智能生成合成内容标识办法》与强制国标已经进入执行期
《人工智能生成合成内容标识办法》自2025年9月1日起施行，要求服务提供者、传播平台、应用分发平台和用户围绕AI生成合成内容建立标识机制。官方答记者问明确，该办法聚焦哪些是生成的、谁生成的、从哪里生成的，推动生成到传播各环节全流程安全管理。同日实施的强制性国家标准GB 45438-2025《网络安全技术人工智能生成合成内容标识方法》，将标识方法从原则要求推进到技术执行层面。
企业必须注意：标识不是免责条款。它只能帮助用户识别内容来源，不能替代准确性校验、人工复核、投诉处置和侵权下架。对于文本、图片、音频、视频、虚拟场景等输出，规则要求在适当位置添加显式标识，并在文件元数据中添加隐式标识；用户申请无显式标识内容的，服务提供者也应通过协议明确用户标识义务和使用责任，并依法留存相关日志不少于六个月。
4.深度合成规则已经提供了可借鉴的“人工＋技术审核”标准
《互联网信息服务深度合成管理规定》要求深度合成服务提供者落实信息安全主体责任，建立用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等制度，并采取技术或者人工方式对输入数据和合成结果进行审核；同时应建立识别违法和不良信息的特征库，记录并留存网络日志，发现虚假信息时采取辟谣措施、保存记录并报告。
这对AI幻觉治理具有直接启示：未来法院或监管机关判断企业是否尽到注意义务，很可能看企业是否已经建立特征库、关键词库、人工审核、投诉响应、日志留存和重复生成阻断机制。
5.网络安全法修改把AI正式纳入更高层级的网络安全治理框架
2025年10月28日，全国人大常委会通过修改《网络安全法》的决定，并自2026年1月1日起施行；修改内容新增第二十条，明确国家支持人工智能基础理论研究和算法等关键技术研发，推进训练数据资源、算力等基础设施建设，完善人工智能伦理规范，加强风险监测评估和安全监管，促进人工智能应用和健康发展。
同时，网络安全法修改提高了相关网络安全义务违法的处罚力度：造成大量数据泄露、关键信息基础设施丧失局部功能等严重后果的，可处五十万元以上二百万元以下罚款；造成特别严重后果的，可处二百万元以上一千万元以下罚款，并对直接负责人员处罚。
企业应当据此调整判断：AI合规不再是产品部门或法务部门的单点事项，而是网络安全、数据安全、内容安全、消费者权益、行业监管、董事勤勉义务共同覆盖的治理事项。
三、哪些主体风险最高：关键看是否对外、自动、高信赖、高损害
四、短期不会一刀切严格责任，但注意义务会迅速具体化
1.“AI自己说的”不能成为通用免责理由
首例案件中，法院倾向于认为AI自行生成的“若错误赔偿10万元”不构成服务提供者意思表示，这对企业是利好；但这一判断不能被过度使用。若企业将AI设置为销售代理、客服窗口、报价系统或合同谈判接口，并长期允许其对外作出明确承诺，客户仍可能从表见授权、格式条款、消费者权益保护、虚假宣传、缔约过失等路径主张责任。
建议：所有对外AI界面必须加入权限边界，不得作出价格、赔偿、退款、交付、诊断、投资收益、法律结论等具有约束力的承诺，需要承诺时必须跳转人工确认。
2.免责声明不是护身符
“AI内容仅供参考”只能降低用户合理信赖程度，不能覆盖企业的基本注意义务。企业真正可用的抗辩材料包括：发布前安全评估记录；模型适用场景和禁用场景说明；训练数据合法性与质量控制记录；高风险关键词库和拦截规则；人工复核记录；用户风险提示和显式/隐式标识记录；投诉处理、下架、整改和模型优化记录；事故复盘和董事会/管理层汇报材料。
3.未来争议高发点不是AI是否会幻觉，而是企业是否本可以阻止却没有阻止
法院和监管机关更可能聚焦以下问题：企业是否知道该场景属于高风险；是否设置高风险关键词；是否有人工审核；是否保留模型版本、提示词、输出结果、时间戳、用户行为和处置日志；用户投诉后是否再次生成相同错误；企业是否将“AI可用边界”明确告知用户；企业是否因节省成本故意不设人工复核。
五、合同条款应调整：重点不是AI免责，而是谁控制、谁留痕、谁赔偿
1.AI服务采购/API接入合同
应增加以下条款：（1）供应商保证训练数据、微调数据、知识库来源合法，不侵害知识产权、个人信息权益和商业秘密；（2）明确模型版本、更新频率、重大变更通知义务；（3）明确输出内容标识义务和技术实现方式；（4）明确日志留存、争议协助、监管检查配合义务；（5）明确高风险场景禁用或需人工复核；（5）明确安全事件、错误输出、投诉集中爆发后的通知时限；（6）明确因数据、模型、标识、合规缺陷导致索赔、行政处罚、第三方侵权的赔偿责任；（7）明确供应商不得未经同意将企业输入、客户数据、交易数据用于模型训练。
2.对客户的用户协议/服务条款
应增加以下内容：（1）AI输出为辅助信息，不替代专业判断；（2）医疗、法律、金融、教育升学、重大交易等事项必须经人工或专业机构确认；（3）AI不具有作出赔偿、退款、价格、交付、收益承诺的权限；（4）用户不得删除、篡改、隐匿AI标识；（5）建立错误反馈、投诉、删除、更正渠道；（6）重大错误发生后，企业有权更正、撤回、暂停相关功能。
3.投融资和并购文件
买方或投资人应在尽调清单中新增：（1）AI产品架构与模型来源；（2）是否向公众提供生成式AI服务；（3）是否完成安全评估、算法备案、内容标识；（4）训练数据来源、授权链条、个人信息合法基础；（5）AI输出事故、投诉、监管问询、诉讼仲裁记录；（6）高风险客户场景及人工复核机制；（7）供应商合同中的审计权、赔偿条款和数据训练限制；（8）AI资产是否构成核心估值依据，是否存在重大合规瑕疵导致估值调整。
六、诉讼与争议处理：原告要证明信赖和损失，被告要证明流程和注意义务
1.受害方/原告应立即固定证据
发生AI幻觉损害时，应立即：（1）保存完整对话记录、提示词、输出内容、时间、账号、设备、页面链接；（2）对网页、App界面、下载文件、标识状态进行截图、录屏或公证；（3）固定AI输出与自身决策之间的因果关系，例如付款、投标、填报志愿、签约、放弃权利、交易损失；（4）保存投诉记录、平台反馈、客服回复、再次生成相同错误的证据；（5）在诉讼中申请调取模型版本、日志、关键词规则、人工复核记录、安全评估和投诉处置台账。
2.服务提供者/被告应立即建立抗辩证据
被诉企业不能只抗辩“AI幻觉不可避免”，应提交：（1）服务属性、适用边界和风险提示；（2）用户协议和显式/隐式标识；（3）训练数据质量控制和标注规则；（4）高风险关键词库和人工审核制度；（5）投诉处理、下架、模型优化记录；（6）事故前后的模型版本和日志；（7）证明用户自身未尽核验义务或损害因果关系不足的材料。
3.律师和法务团队必须建立AI使用底线
任何提交给法院、仲裁机构、监管机关、交易对手的材料，若使用AI辅助生成，应做到：（1）法条、案例、监管文件逐项人工核验；（2）引用来源可回溯；（3）不提交未经核验的AI生成事实；（4）证据摘要由人工与原件逐项比对；（5）对重大法律意见保留检索记录、核验记录和版本记录。
七、未来可能出现的变化
1.监管将从“内容标识”走向“高风险场景准入”
标识规则已经落地，下一步重点大概率是高风险场景。金融、医疗、教育、未成年人、情感陪伴、公共舆论、投资建议、司法辅助等领域，会逐步形成更具体的准入、备案、人工复核、报告和退出机制。国家网信办已就人工智能拟人化互动服务管理暂行办法公开征求意见，其中对拟人化互动服务提出算法机制机理审核、科技伦理审查、重大风险预案、应急处置、用户状态识别、人工接管等要求，显示监管正在向更具体的人机交互风险延伸。
2.法院会继续坚持“服务＋过错责任”主线，但高风险场景会实质加重举证负担
短期内，法院不太可能普遍将生成式AI认定为产品并适用严格产品责任。更现实的路径是：一般场景适用过错责任，高风险场景通过注意义务具体化、举证妨碍、日志调取、专家辅助、技术调查官等方式加重服务提供者负担。企业如果无法提供日志、复核记录、投诉处置记录，即使法律上仍是过错责任，实务效果也会接近“无法证明自己无过错”。
3.“标识不完整、日志缺失、投诉后重复生成”将成为监管处罚和诉讼败诉的高危组合
单次幻觉未必导致责任成立；但如果企业没有标识、没有日志、没有人工复核、没有投诉处理，或者投诉后仍重复生成同类错误内容，责任风险会显著升高。
4.投融资中AI合规将成为估值折扣项
未来投资人和并购买方会更加关注AI资产是否可合法商业化。训练数据不清、第三方模型授权不完整、输出内容无法标识、事故记录未披露、监管备案缺失，都可能成为估值调整、交割先决条件、特别赔偿条款甚至终止交易的理由。
我们建议企业不要把AI幻觉当作技术部门的bug，也不要幻想免责声明解决全部问题。所有对外AI输出都应被纳入企业正式治理：先盘点场景，再分级风险；先限制高风险输出，再补齐标识、复核、日志、投诉、合同和证据链。企业未来能否免责，关键在于证明企业已经用合理成本，把可预见的高风险错误拦在了客户、监管机关、法院和资本市场之前。
