一款名为 AlienChat 的应用程序允许大量用户与人工智能代理“聊天”，导致该应用程序的主要开发者和运营商受到刑事指控。本案涉及的应用程序是一款AI陪伴聊天应用程序，主要为年轻人提供亲密陪伴和情感支持。用户注册成为会员后，就可以与人工智能聊天。两位开发人员通过更改人工智能模型的关键字，克服了大规模语言模型的道德限制。法院认为该应用程序频繁且大量的聊天日志是淫秽的。 2025年9月，上海市徐汇区人民法院一审认定两名被告人犯制作淫秽物品罪，分别判处有期徒刑四年和有期徒刑一年零六个月。此案是国内首次人工智能服务商因涉色情罪入狱。据悉，该案已二审1月14日下午，本案在上海市第一中级人民法院开庭审理，并于当日下午5点左右结束。该案的一名律师告诉记者，法庭尚未当庭作出判决，庭审过程中也没有当庭讨论。法庭将在晚些时候重新开庭。在人工智能快速发展的今天，新技术与法律的界限在哪里？ 1.“淫秽内容”是由开发者提供的平台上的AI引导用户生成的。那么到底是用户、开发者还是人工智能创造了“淫秽材料”呢？在刑法范畴内，“制作淫秽物品”的主体是个人或自然实体。北京理工大学法学院副教授陈子涵认为，本案的主要责任在于谁真正控制、设计和推动了淫秽内容不断生成的机制。在这种情况下，开发者r改变了大规模模型的关键字和参数限制，以克服模型的伦理和安全限制，使系统能够稳定地生成淫秽内容并提供给付费用户。这不再是中立的“工具提供”，而是内容生产机制的实质性转变和功能设计。这是刑法意义上的预生产和生产行为的自动化，让开发者能够控制所获得的结果。用户在使用过程中通过指令有可能与AI进行“色情聊天”。是否属于“制作色情作品”的范畴？陈紫函认为，这需要区别情况。如果用户只是在私人环境中即时生成内容，而不进行传播、交易或永久存储，一般很难满足刑法上“制作淫秽物品罪”的要求。并可能进一步纳入平台监管治理范围。如果用户具有组织、批量生成、分发、营利等行为特征，可能会被追究刑事责任。开发者是“机制层面的生产主体”，用户只是内容激活者或用户，AI只是技术工具。目前，在评估法律时，重点放在“谁设计了非法生产的制度结构”，而不是“谁给出了最终指示”。 2.很多人认为它们是他们制定的。仅仅因为提供聊天工具就应该入狱。这也太不公平了吧？陈子涵认为，开发者虽然没有直接参与淫秽物品的制作，但如果主动构建、运营或启用能够不断生成非法内容并利用其牟利或扩大传播的技术系统，就必须承担法律责任。在传统的共同犯罪中，工具提供商只是一个共犯，而在互联网时代，应用程序提供商则成为多个共犯。大量用户产生淫秽内容，借助技术能量，传统同谋已成为领导者。如果内容传播开来，它可能会成为罪魁祸首。更改消息中的文字不是中立的技术操作。打破道德界限并诱导以营利为目的的色情制作是非法的。egal。法院认定，基于技术行为与违法结果之间的高度因果关系和控制力，开发者不再是中立平台，而是实质内容生产者。 3、用户和AI“聊色情”。舞台是私人且封闭的。这会产生任何负面影响吗？从现实风险角度来看，所谓的私密、封闭式聊天场景在互联网环境下其实是非常不稳定的。聊天内容可以被捕获、广播和重新分发埃德。平台可能会保留、泄露或滥用数据。算法模型通过训练反馈进一步完善色情生成功能，在互联网空间乃至模型中形成污染效应。从行业角度看，私人虚拟色情制作合法化，将使不法主体以灰色方式逃避监管，形成巨大的隐藏内容黑市，对人身财产权利、社会秩序和公共安全构成威胁。 4.“虚拟伴侣”的法律限制是什么？ “虚拟伴侣”可以提供情感陪伴、心理支持、互动娱乐，但无法跨越公共道德、刑法、算法治理等不可逾越的界限。陈子涵表示，这一事件实际上给行业划出了一条清晰的警戒线。技术创新不是免除违法行为的理由，系统性规避内容风险将导致刑事制裁。在设计和运营层面，“虚拟伴侣”必须注意不得产生色情、暴力、极端、煽动犯罪、强奸未成年人等违法内容，并建立稳定有效的过滤、审核、安全修复和内容错误纠正机制。这是《网络安全法》、《未成年人保护法》和《生成人工智能服务管理暂行办法》的最重要要求。不允许开发者通过技术手段主动削弱安全机制，也不允许以用户体验为名突破公共道德红线。算法设计应安全可控，不得将灰色内容作为核心盈利模式或隐性推销手段。南方都市报、光明新闻编辑 来源 肖旭审稿 罗毅 王晨宇审稿 彭深雷审稿
特别提示：以上内容（含鹿鼎图、视频（如有）由自媒体平台“网易号”提供，由用户上传并发布。本平台仅提供信息存储服务。
注：以上内容（包括图片和视频，如有）由网易号用户上传发布，网易号是一个仅提供信息存储服务的社交媒体平台。
