餘姚檢方指控AI陪伴應用淪為制黃工具 六人獲刑
一款打着「無限制智能戀人互動」「全新AI情感體驗」旗號的境外AI應用,實際是批量生成淫穢圖片的牟利工具。經浙江省餘姚市人民檢察院提起公訴,餘姚市法院以製作淫穢物品牟利罪判處鄭某等6人有期徒刑三年十個月至三年一個月不等,各並處罰金。目前,該判決已生效。
打着AI陪伴旗號牟利
近年來,隨着人工智能技術快速普及,各類AI智能陪伴、虛擬互動應用層出不窮。然而,一些不法分子打着AI智能情感陪伴的旗號,通過改寫系統提示詞實現模型越獄、設置角色卡誘導對話、開發淫穢圖片生成功能,把AI變成輸出淫穢內容的工具,以低門檻、沉浸式虛擬互動為噱頭,精準拿捏部分網民的獵奇心態與不良需求,通過小額充值解鎖互動功能牟利,構建起極具迷惑性的AI淫穢陷阱。
2025年1月,家住浙江餘姚的網友小吳在瀏覽境外網站時,看到一款名為「OchatAI_bot」的應用廣告。該應用內置多類虛擬互動角色,角色介紹均含低俗暗示,還支持用戶上傳圖片自定義虛擬形象,並搭載一鍵生成圖片功能,平台生成的圖文內容突破法律底線。該應用採取付費積分運營模式,文字互動和圖片生成均需消耗積分,用戶需線上充值購買。2025年7月,餘姚市公安局發現不少用戶使用該應用生成淫穢圖片,沿應用訪問痕跡、充值流水、後台運營線索層層深挖,同年9月將鄭某等6名開發人員抓獲歸案。
高科技人才淪為技術蛀蟲
項目發起人鄭某曾任職於某大型遊戲企業,是一名AI領域的高科技人才。2024年7月,鄭某發現境外AI低俗互動項目受眾廣、牟利快,萌生開發同類型應用牟利的念頭,隨後拉攏前同事謝某、網上結識的閆某等6人組建研發團隊,分別負責技術開發、功能迭代、線上運營、風險規避等工作。2025年1月,該應用在境外平台上線,接入多種充值渠道收取費用。
該應用先調用境外廠商的文字大模型,再通過提示詞工程突破基礎模型內置的內容安全限制,使其具有無限制產出色情內容的功能,並調用租賃算力服務器部署的生圖模型產出對應圖片。為搶佔市場,鄭某等人持續迭代功能,新增動態圖片轉換選項,還在境外社羣定期舉辦角色卡創作大賽,以積分獎勵鼓勵用戶創作低俗角色。經核查,應用運營期間生成靜態圖片37萬餘張、動態圖片6000餘張,收取用戶充值2.4萬美元,摺合人民幣17萬餘元。經鑑定,隨機抽取的1.25萬張靜態圖片和全部動態圖片中,1.4萬餘張被認定為淫穢物品。
算法自動生成不是免責藉口
歸案後,鄭某等人提出「AI自動生成無需擔責,用戶才是淫穢內容實際製作者」「項目在境外運營並不違法」等辯解。辦案檢察官認為,AI技術在該案中仍具工具屬性,鄭某等6人主觀上具有利用淫穢內容牟利的意圖,客觀上將互動AI模型異化為製作淫穢物品的工具,設計方案緊密圍繞產出色情內容進行,對模型內容輸出具有實質性控制力,行為與淫穢內容產生之間存在刑法上的直接因果關係。
針對「無意危害境內網絡」的辯解,檢察機關調取的內部聊天記錄顯示,鄭某等人發現境內用戶訪問時出現支付異常後,不僅沒有阻斷境內傳播、停止違規服務,反而針對性優化系統,幫助境內用戶打通付費通道,足以認定其具備危害境內網絡生態的主觀故意。鑑於鄭某等6人以牟利為目的,利用人工智能技術批量製作淫穢物品,其行為已構成製作淫穢物品牟利罪,今年3月24日,餘姚市檢察院依法對其提起公訴,6月16日法院作出前述判決。(府右新聞記者艾平平)