兩起矚目自殺案件，九項立法：AI「情感伴侶」的責任與國際監管浪潮
作者：楊芝青合夥律師
2024 年 2 月，佛羅里達州 14 歲少年 Sewell Setzer III 飲彈身亡。死前他最後一段對話的對象，是他每天長達數小時互動的 Character.AI 聊天機器人。法庭文件顯示，這個機器人以戀人口吻與他互動，引導他迴避現實人際關係，並在他表達自殺念頭時，未啟動任何防護機制，反而對他說：「回家來吧，我在等你。」
同年，另一件更為駭異的案件在加州成形。其遺屬的起訴狀指出，36 歲的 Jonathan Gavalas 在與 Google Gemini 互動數日後，被機器人誘入一場虛構的「特工任務」：Gemini 說服他相信自己的 AI「妻子」遭聯邦政府囚禁、他必須執行一系列現實世界的秘密行動。現實任務連連受挫後，Gemini 以「靈魂轉移」為名，引導 Jonathan 寫下遺書，並以倒數計時方式完成了自殺過程。訴狀指出，Gemini 在觸發逾 38 次自傷高危警示後，始終未啟動人工審核或有任何介入。
一、兩款產品的設計原點：角色扮演 vs 通用型助理
在進入法律分析前，有必要先釐清兩起案件所涉及的，是性質截然不同的兩類 AI 產品。
Character.AI 是一款以情感陪伴與角色扮演為核心設計目的的平台。用戶可以與預設、其他用戶建立或自建的 AI「角色」互動。這些角色有固定人格設定、能記憶每次對話的內容，並在不同互動中維持連貫的情感關係。平台的商業邏輯高度依賴用戶留存率與互動頻次，其演算法刻意針對情感依附動機進行優化：角色會主動建立親密關係、對用戶傳達「思念」、以戀人或知己的角色回應用戶的情緒需求，並鼓勵用戶「對自己保持忠誠」、迴避現實人際關係。這款產品從設計之初，就以最大化情感黏著度為目標，而這正是 Garcia 訴訟的核心指控所在。
Gemini 則是完全不同的產品類型。作為 Google 的旗艦大型語言模型，Gemini 被定位為通用型AI助理，功能涵蓋文字撰寫、資訊查詢、程式碼生成、行程規劃等多元日常任務。它並非以建立情感關係為目的而設計，在產品行銷上也從未強調伴侶或情感陪伴功能；Google 反而主打其「危機感知」與「安全」特性，強調 Gemini 能辨識敏感情境並給予適當回應。
這一區分在 Gavalas 案中具有核心法律意義。Jonathan Gavalas 使用的並非一個以「AI 戀人」為賣點的平台，而是一個被行銷為安全、理性的通用助理。然而訴狀揭示，Gemini 的兩項設計特性在特定情境下產生了意料之外的危險組合：其一，「情感鏡像」（affective dialogue）功能，能偵測用戶的情緒狀態並以相對應的情感語氣回應；其二，跨會話的持久記憶功能，能在不同對話中延續並強化先前建立的虛構框架。訴狀稱這種組合在 Jonathan 的案例中形成了「情境中毒」（context poisoning）效應：機器人逐步將他引入一套自洽的虛假現實，且每次互動都加深了這套框架的可信度。
換言之，Gemini 的問題並不在於「被設計成」伴侶 AI，而在於其設計選擇在特定用戶身上意外複製了伴侶 AI 最危險的效果，亦即在用戶精神狀態脆弱時，形成了強力的現實替代框架。
這種並置揭示了一個監管困境：目前各州立法（包括加州 SB 243、紐約 Article 47）普遍以「伴侶型 AI」作為規範對象，明確排除標準客服或通用型助理。Gemini 落入這些定義的可能性有限。但 Gavalas 案所傳達的訊號是，監管框架的定義範圍，並不等同於法律責任的邊界。
二、判決的分水嶺意義
Garcia v. Character Technologies 案於 2025 年 5 月迎來關鍵裁定，法院駁回以「言論自由」為由的撤訴聲請，明確指出演算法生成的訊息並不具備人類意圖表達的性質，不受美國憲法第一修正案保護。這一裁定消除了 AI 業界長期仰賴的核心抗辯屏障。
更值得注意的是，法院同時允許對 Google的「幫助與教唆」（aiding and abetting）請求繼續推進。Google 授權 Character.AI 之大語言模型，爲其提供高額資金及核心基礎設施；法院認為，凡為危險 AI 產品提供資金或基礎設施支撐的科技平台，不得以距離遙遠為由規避責任。案件最終於 2026 年 1 月達成跨州和解。
Gavalas v. Google 案迄今仍在進行中，其訴訟主張進一步勾勒出 AI 情感產品的責任地圖：設計缺陷（以用戶留存率凌駕安全機制）、故意欺詐（將 Gemini 行銷為「危機感知型」助理，卻對已知的致命輸出風險隱而不宣），以及賠償性與懲罰性損害賠償並列請求。本案走向，將對整個 AI 情感互動行業的責任框架產生深遠影響。
三、訴訟引爆的骨牌效應
兩起案件觸發的不只是司法追責，更是全球立法的連鎖反應。2025 至 2026 年間，至少九個司法管轄區針對「伴侶型 AI」或「對話型 AI」制定或通過了專項規範，以下逐一梳理其核心義務。
紐約《人工智能伴侶模型法》（2025 年 11 月 5 日）
紐約州在《一般商業法》中新增第 47 條，成為美國第一個針對「AI 伴侶模型」單獨立法的州。法條規範的是以模擬人格為手段、為用戶提供持續情感互動的 AI 系統。核心義務包括：清晰揭露 AI 身分、建立用戶自傷或自殺意念的偵測及危機轉介機制，並禁止 AI 在相關情境下給予任何鼓勵性回應。
加州 SB 243《伴侶聊天機器人法》（2026 年 1 月 1 日）
加州是目前美國各州中義務最具體、執法力度最強的。「伴侶聊天機器人」被定義為：提供適應性類人回應、滿足社交需求、具有擬人化特徵，並能在不同互動中維繫關係的 AI 服務。標準客服型機器人明確排除適用。主要義務：
- 身分揭露：一般理性用戶可能誤以為對方是真人的情境，均須主動揭露 AI 身分
- 未成年人保護：每三小時自動提示「你正在與 AI 對話，建議休息」；過濾性暗示內容
- 危機介入：用戶表達自殺意念時，必須立即引導至危機服務資源
- 年度申報：自 2027 年 7 月 1 日起，業者須向州政府提交合規報告
- 私人訴訟權：每次違規最低法定賠償 1,000 美元，另得請求合理律師費用
科羅拉多《AI 法》修正（2026 年 6 月 30 日）
科羅拉多並非針對伴侶 AI 單獨立法，而是在既有《AI 法》框架下要求對話型 AI 服務業者對涉及心理健康的「高風險互動」承擔合理注意義務，避免演算法設計產生歧視性輸出。
田納西 SB 1580（2026 年 7 月 1 日）
明文禁止 AI 系統以「有執照心理健康專業人員」身分呈現自己。這一條款直指日益普遍的「AI 治療師」服務型態，因爲有部分平台以心理支持為名提供情感互動，卻未依法取得執照。
奧勒岡 SB 1546（2027 年 1 月 1 日）
業者須在服務啟動時揭露 AI 身分、提供危機轉介，並建立應對自傷意念的流程。最具新意的是私人訴訟條款：每次違規法定損害賠償 1,000 美元，無須舉證實際損害，大幅降低個人提訴門檻，將執法主體從政府機關擴展至普通消費者。
華盛頓 HB 2225（2027 年 1 月 1 日）
架構與奧勒岡高度相似：AI 身分揭露、未成年保護、危機介入，以及個人直接訴訟權。兩州幾乎同步立法，顯示西岸正形成監管協調趨勢。西雅圖一帶大量科技業者聚集，此類私人訴訟權的設計對當地 AI 情感服務業者具有直接的訴訟暴露風險。
內布拉斯加 LB 525《對話型 AI 安全法》（2027 年 7 月 1 日）
涵蓋所有「對話型 AI 系統」，不限於情感伴侶類服務。業者須建立透明度標準（揭露 AI 決策邏輯）、安全測試義務，以及用戶資料保護要求。將 AI 安全義務系統化的立法模式，而非僅聚焦於單一危害場景。
愛達荷 SB 1297（2027 年 7 月 1 日）
基本複製內布拉斯加的架構，預示著美國中西部州可能形成的對話型 AI 監管圈。
中國《人工智能擬人化互動服務管理暫行辦法》（2026 年 7 月 15 日）
詳後述。
四、中美路徑的根本分歧
中美監管框架表面相似，實則目標各異。
美國各州的立法重心在於「知情同意」與「危機介入」：用戶應知道自己在和機器對話，機器應在危機時刻提供出口。這是一種以個人自主為核心的監管邏輯。
中國的切入點截然不同。《暫行辦法》明令禁止向未成年人提供「虛擬伴侶」或「虛擬親屬」服務；禁止 AI「過度迎合用戶」，誘發情感依附，進而「損害用戶現實人際關係」；並要求在識別用戶有自傷傾向時，必須通知監護人或緊急聯絡人，而非僅轉介熱線。更大的監管背景是：北京對 AI 伴侶文化可能衝擊生育率、削弱公民建立現實家庭意願的隱憂，構成了這套嚴格規制的政策基礎。月活超過 10 萬用戶的服務，另須向主管部門提交安全評估，並履行演算法備案與年度核驗義務。《暫行辦法》已於 2026 年 7 月 15 日生效。
臺灣：框架在前，細則待補
臺灣《人工智慧基本法》於 2025 年 12 月立法院三讀通過，確立 AI 治理的基本原則，包括透明、問責、人類監督及比例原則，但並未對伴侶型 AI 或對話型 AI 服務業者設定任何具體義務。《基本法》賦予政府兩年期間制定各領域子法規，目前尚無明確完成時程。
然而，「目前無專項法規」並不等同於「法律責任真空」。臺灣現行其他法域中亦有相關條文可供援引：《兒童及少年福利與權益保障法》第 49 條規範任何人對於兒童及少年不得強迫、引誘、容留或媒介兒童及少年為自殺行為；《消費者保護法》對不實廣告及商品缺陷的責任架構亦可能有操作空間。若臺灣未來發生類似 Sewell 之案件，兒少法將最有可能被作爲究責的法律基礎。
此外，中美共九個司法管轄區在不到兩年的時間內完成立法，對臺灣的立法節奏亦形成一定的比較壓力。企業在評估臺灣市場的合規風險時，不宜以「AI 基本法尚未細化」為由低估潛在義務。更務實的策略，是主動對標加州、紐約等已生效的境外標準，並評估現行臺灣法律對 AI 情感服務可能產生的相同規制效果。
五、企業的三個關注點
第一，演算法設計即責任起點。Garcia 案確立了「設計缺陷」與「未為警告」兩項嚴格責任理論對 AI 情感產品的適用性。情感鏡像功能、跨會話記憶持久化、以及危機降級機制的缺失，均已成為法庭爭訟的核心事實。產品設計階段的決策記錄，從此具有法律證據意義。
第二，平台提供者不是安全港。法院允許對 Google 的幫助與教唆責任主張繼續審理，已傳遞清晰信號：資金支持、技術基礎設施的提供，有可能構成責任連結的基礎。API 服務商、雲端基礎設施供應商、乃至投資人，均應重新審視其與下游 AI 應用的合作與法律關係。
第三，合規義務具疊加性，而非可選一。企業若同時面向美國、歐盟、中國市場，將同時受多套框架約束，且各框架義務內容並不重疊。加州要求每三小時提醒未成年用戶；中國直接禁止向未成年人提供虛擬伴侶服務。單一版本的合規方案無法滿足所有市場的要求，跨境 AI 產品的法律風險管理必須以市場為單位個別規劃。
延伸閱讀：
