对AI模型“越狱”后造黄牟利 法院判了：构成制作淫秽物品牟利罪

曾是游戏大厂程序员的郑某在国内AI领域有一定影响力，却将技术用错了地方——伙同他人对AI模型实施“越狱”，应用户需求生成大量淫秽图片牟利。近日，市人民法院以制作淫秽物品牟利罪，判处郑某等六人有期徒刑三年一个月至三年十个月不等，并处罚金。这场“技术致富”的美梦终究难逃法网。

2024年7月，郑某接触到境外一款AI色聊机器人，萌生了开发同类软件非法牟利的念头。他随即拉上同事谢某以及网上结识的闫某等人组建了研发团队。2025年1月，他们研发的生成式人工智能模型“OchatAi_bot”在境外平台上线，并接入“第四方支付”、虚拟币等多种渠道向用户收费。

郑某等人通过技术手段对基础模型实施“越狱”，突破了大模型内置的色情内容安全限制。用户付费后，可选定角色卡与AI进行色情聊天，还能通过消耗积分，生成淫秽的静态或动态图片。至2025年7月案发，该模型共生成静态图片37万余张、动态图片6000余张，用户充值金额折合成人民币17万余元。经鉴定，随机抽取的12500张静态图片和全量动态图片中，有9000多张静态图片、5000多张动态图片被认定为淫秽物品。

法庭上，郑某等人辩称内容是用户选择角色、输入指令后生成的，自己不该担责。法院审理认为，用户行为均被限定在被告人预先搭建的技术框架内，被告人对AI模型的内容输出具有实质性的控制力，其行为与淫秽内容产生存在刑法上的直接因果关系。通过技术手段突破模型安全限制输出淫秽内容，应认定为制作淫秽物品。最终，市人民法院作出上述判决。一审宣判后，无人上诉。

该案承办法官指出，“技术中立”不是违法犯罪的挡箭牌，不能以内容由AI生成就否定开发者的“制作者”身份；开发者主动篡改模型的安全机制，搭建便于产出淫秽内容的技术环境，对违法内容的生成具有实质性的控制力，即便由用户触发，也属于刑法意义上的“制作者”，应当承担刑事责任。同时，AI具有一键批量产出的特性，司法裁判不会机械套用传统标准，而是结合传播范围、实际危害综合评价，做到罪责刑相适应。宁波市中级人民法院刑事审判第二庭庭长陈靖表示，算法不是法外之地，任何利用技术手段规避监管、突破法律红线的行为都将受到严肃惩处。

值得注意的是，今年9月7日发布的《最高人民法院关于依法审理涉人工智能纠纷案件的意见》已明确，利用AI制作、贩卖、传播淫秽物品等行为，构成犯罪的，依法追究刑事责任，为技术应用划清了法律红线。

编辑、一审：徐坚 二审：徐斌 三审：王润