趙舒杰

智能體的發(fā)展速度一再超出人們的預(yù)料，筆者在近期的工作調(diào)研中發(fā)現(xiàn)智能體已經(jīng)逐步替代和接管專業(yè)領(lǐng)域的分析、判斷和決策工作，有關(guān)智能體主體責(zé)任和知識(shí)主權(quán)的討論也隨之十分熱烈。當(dāng)智能體可以自主感知、記憶、決策、交互并執(zhí)行，那么這件事的主體，到底是誰？筆者想從法律上提出一些需要厘清的深層次問題，拋磚引玉，供大家探討。

一、“自主”二字的重量

智能體正加速與網(wǎng)絡(luò)空間、物理世界深度融合，深刻改變?nèi)祟惿a(chǎn)生活方式和社會(huì)治理模式。

傳統(tǒng)工具沒有自主性，錘子不會(huì)選擇打哪顆釘子，Excel不會(huì)自行決定刪除哪一行數(shù)據(jù)。工具的行為完全由人的意志驅(qū)動(dòng)，責(zé)任歸屬?gòu)臒o疑問，人用工具做了某件事，人承擔(dān)后果。

但智能體不同。當(dāng)一個(gè)醫(yī)療智能體建議某患者停藥，當(dāng)一個(gè)法律智能體起草某份合同條款，當(dāng)一個(gè)金融智能體在市場(chǎng)波動(dòng)時(shí)自動(dòng)平倉(cāng)，這些無人介入的“決定”，真的是人做出的嗎？

從技術(shù)層面看，答案是“智能體做的”。從法律層面看，現(xiàn)行法律制度必須回答“人做的”，因?yàn)榉审w系從未設(shè)計(jì)過非人格實(shí)體承擔(dān)責(zé)任的路徑。

二、智能體的意見不采納，行嗎？

一個(gè)更現(xiàn)實(shí)的問題是，智能體提出的意見，會(huì)不會(huì)在實(shí)踐中演變?yōu)椴徊杉{不行？這種演變有其結(jié)構(gòu)性的原因。

第一是能力不對(duì)等。智能體處理的數(shù)據(jù)量、速度和維度，已經(jīng)遠(yuǎn)超人類認(rèn)知邊界。當(dāng)智能體給出意見，人類是否具備推翻它所需的知識(shí)儲(chǔ)備?！拔矣X得它說得不對(duì)”，憑的是什么？

第二是時(shí)間壓力。在高頻決策場(chǎng)景中，金融交易、應(yīng)急響應(yīng)、輿情處置，智能體的建議往往伴隨著時(shí)間窗口。等人類完成獨(dú)立判斷，窗口已關(guān)閉。“人工審核”在實(shí)踐中退化為橡皮圖章。

第三是問責(zé)回避。一旦出了問題，按智能體建議操作成為潛在的免責(zé)理由；如果不按智能體建議操作，出了問題則變成人為失誤。這種不對(duì)稱，會(huì)形成強(qiáng)烈的心理驅(qū)動(dòng)，讓智能體替人決定，并把決定包裝為人的采納。這是一種決策空洞化的過程，名義上人在做主，實(shí)質(zhì)上已然空轉(zhuǎn)。

三、幻覺風(fēng)險(xiǎn)

最近美國(guó)知名律所出現(xiàn)的錯(cuò)誤，就是智能體存在幻覺問題給使用者造成的風(fēng)險(xiǎn)，即以極高置信度輸出錯(cuò)誤信息。這不是系統(tǒng)崩潰，而是系統(tǒng)正常運(yùn)行時(shí)內(nèi)生的風(fēng)險(xiǎn)，且往往難以從外部識(shí)別。

一旦幻覺發(fā)生，擺在所有人面前的問題是，誰來判斷這是錯(cuò)的？依據(jù)什么判斷？

更棘手的是，幻覺不是概率均等的隨機(jī)錯(cuò)誤，而是往往發(fā)生在復(fù)雜決策、邊緣情境、罕見場(chǎng)景和跨領(lǐng)域推斷中，恰恰是人類最難核驗(yàn)的地方。

四、專業(yè)機(jī)構(gòu)的能力被吸收，獨(dú)立性何在？

智能體對(duì)專業(yè)領(lǐng)域的沖擊，不只是效率層面的替代，而是一場(chǎng)更根本的顛覆。

在醫(yī)療領(lǐng)域，智能體將會(huì)承擔(dān)診斷建議、用藥方案、手術(shù)風(fēng)險(xiǎn)評(píng)估等核心職能；在法律領(lǐng)域，它能完成合同審查、案例檢索、證據(jù)整理、裁判預(yù)測(cè)、合規(guī)意見出具、違規(guī)風(fēng)險(xiǎn)警示、法律意見起草；在金融領(lǐng)域，它負(fù)責(zé)投資組合管理、風(fēng)險(xiǎn)定價(jià)、信用評(píng)估乃至實(shí)時(shí)交易執(zhí)行。這些能力原本是專業(yè)機(jī)構(gòu)存在價(jià)值的核心，是醫(yī)生、律師、金融分析師經(jīng)過多年培訓(xùn)才具備的職業(yè)壁壘。

當(dāng)這些能力被批量地、低成本地、可規(guī)?；貜?fù)制進(jìn)信息技術(shù)產(chǎn)品，一個(gè)根本性的問題就浮現(xiàn)出來，專業(yè)機(jī)構(gòu)還需要做什么？它們的獨(dú)立性，還有沒有實(shí)質(zhì)內(nèi)容？專業(yè)機(jī)構(gòu)的獨(dú)立判斷功能便已形同虛設(shè)。

那么專業(yè)判斷的責(zé)任，究竟應(yīng)由信息技術(shù)部門承擔(dān)，還是由專業(yè)職能部門或機(jī)構(gòu)承擔(dān)？

若由信息技術(shù)部門承擔(dān)，技術(shù)人員并不掌握醫(yī)學(xué)倫理、法律適用或金融監(jiān)管的判斷標(biāo)準(zhǔn)，無法對(duì)專業(yè)結(jié)論的合理性作出評(píng)估，更無法為具體個(gè)案的損害后果承擔(dān)專業(yè)責(zé)任。這種歸責(zé)路徑，實(shí)質(zhì)上是把專業(yè)責(zé)任移交給了對(duì)專業(yè)一無所知的一方。

若由專業(yè)機(jī)構(gòu)承擔(dān)，則意味著醫(yī)院、律所、金融機(jī)構(gòu)要為一個(gè)信息系統(tǒng)的輸出負(fù)責(zé)。

專業(yè)機(jī)構(gòu)的獨(dú)立性，不僅是執(zhí)業(yè)資質(zhì)和機(jī)構(gòu)設(shè)置的問題，而是社會(huì)的知識(shí)主權(quán)與運(yùn)行的問題。當(dāng)專業(yè)知識(shí)的生產(chǎn)和運(yùn)用被技術(shù)系統(tǒng)接管，其獨(dú)立存在的制度基礎(chǔ)也隨之動(dòng)搖。

應(yīng)對(duì)這一危機(jī)，不能僅靠要求人工審核來維持表面上的專業(yè)主體地位。真正需要的是，重新界定專業(yè)機(jī)構(gòu)在智能體時(shí)代的不可替代功能，究竟哪些判斷必須由持牌專業(yè)人員作出，哪些場(chǎng)景中專業(yè)機(jī)構(gòu)對(duì)智能體結(jié)論負(fù)有不可轉(zhuǎn)移的復(fù)核義務(wù)，以及當(dāng)專業(yè)判斷與智能體輸出發(fā)生沖突時(shí)，誰有權(quán)作出最終裁決，依據(jù)是什么。

五、責(zé)任認(rèn)定的困境

智能體高自主性、高權(quán)限等特性帶來了隱私泄露、越權(quán)操作、行為失控等安全風(fēng)險(xiǎn)。但當(dāng)這些風(fēng)險(xiǎn)成為現(xiàn)實(shí)損害，智能體的開發(fā)者、部署者、使用者的責(zé)任如何分配？

問題在于，這條責(zé)任鏈條越來越長(zhǎng)，越來越模糊。開發(fā)者構(gòu)建了基礎(chǔ)模型，但無法預(yù)料所有應(yīng)用場(chǎng)景；部署者對(duì)接了具體業(yè)務(wù)，但調(diào)用的是他人的底層能力；使用者發(fā)出了最終指令，但未必能理解智能體的推理過程。一旦出現(xiàn)損害，法律上如何認(rèn)定過錯(cuò)？過錯(cuò)認(rèn)定需要行為與損害之間的因果關(guān)系，追溯因果鏈本身就難以實(shí)現(xiàn)。

六、外部制約機(jī)制的空缺

對(duì)于智能體非合規(guī)行為的發(fā)現(xiàn)、干預(yù)、阻斷與恢復(fù)能力，防范內(nèi)生安全風(fēng)險(xiǎn)、供應(yīng)鏈安全風(fēng)險(xiǎn)和應(yīng)用衍生風(fēng)險(xiǎn)，目前尚屬空白。

但即便建立防控機(jī)制，這些防控手段，本質(zhì)上可能還是技術(shù)領(lǐng)域的工作。用技術(shù)發(fā)現(xiàn)技術(shù)的問題，用技術(shù)限制技術(shù)的越界。這構(gòu)成了一個(gè)封閉的技術(shù)攻防自循環(huán)。缺乏來自技術(shù)體系之外的獨(dú)立制約力量。

外部制約的缺失，意味著什么？首先，合規(guī)標(biāo)準(zhǔn)的制定權(quán)實(shí)質(zhì)上旁落于技術(shù)方。技術(shù)方來決定什么算非合規(guī)行為？

其次，損害發(fā)生后的獨(dú)立調(diào)查能力嚴(yán)重不足。當(dāng)一個(gè)智能體出現(xiàn)“行為失控”造成損害，現(xiàn)行機(jī)制中誰負(fù)責(zé)開展獨(dú)立調(diào)查？如何啟動(dòng)，是否有能力獨(dú)立調(diào)查。

第三，公眾和受害方缺乏實(shí)質(zhì)性救濟(jì)通道。智能體是一個(gè)封閉系統(tǒng)，普通公民、受害個(gè)體、乃至受到智能體行為影響的專業(yè)機(jī)構(gòu)，沒有進(jìn)入這個(gè)系統(tǒng)的接口。他們無法通過非技術(shù)手段對(duì)系統(tǒng)施加影響。

破解這一困境，需要在技術(shù)攻防體系之外，真正建立獨(dú)立的外部制約機(jī)制。沒有外部制約，所謂安全可控便只是技術(shù)共同體的內(nèi)部自律。

七、幾個(gè)需要認(rèn)真對(duì)待的深層命題

在上述分析的基礎(chǔ)上，有幾個(gè)深層命題值得認(rèn)真對(duì)待。

其一，人機(jī)協(xié)作需要明確定義。當(dāng)前話語體系中，人機(jī)協(xié)作默認(rèn)人是主體、機(jī)是工具。但當(dāng)智能體的能力超越人類判斷邊界，協(xié)作的實(shí)質(zhì)已經(jīng)顛倒。在許多場(chǎng)景中，智能體正在成為實(shí)質(zhì)主體，人只是最終簽字者。

其二，幻覺風(fēng)險(xiǎn)需要獨(dú)立的驗(yàn)證機(jī)制。不能依賴智能體自我檢驗(yàn)、自我驗(yàn)證，不能假設(shè)使用者具備糾錯(cuò)能力。在醫(yī)療、法律、金融等高風(fēng)險(xiǎn)領(lǐng)域，應(yīng)建立獨(dú)立的第三方核驗(yàn)機(jī)制，且核驗(yàn)標(biāo)準(zhǔn)應(yīng)在事前公開，而非事后追溯。

其三，責(zé)任分配需要預(yù)設(shè)而非事后追償。智能體行為的復(fù)雜性使干預(yù)阻斷極為困難。更有效的路徑是明確每個(gè)角色在每個(gè)環(huán)節(jié)的義務(wù)邊界，引入強(qiáng)制保險(xiǎn)等工具，將責(zé)任內(nèi)化為部署成本。

其四，專業(yè)機(jī)構(gòu)的制度功能需要法律重申與保護(hù)。政策法律應(yīng)明確在哪些場(chǎng)景下，專業(yè)機(jī)構(gòu)的獨(dú)立判斷具有優(yōu)先效力，不得被智能體輸出所架空；哪些專業(yè)行為屬于不可委托、不可替代的人類責(zé)任，必須由持牌專業(yè)人員親自完成，且其判斷不受智能體建議的法律約束。

最后，我們一邊在推進(jìn)智能體的自主化，一邊在堅(jiān)持人類的主體地位；一邊在構(gòu)建技術(shù)防控體系，一邊卻容易忘記在技術(shù)之外布置獨(dú)立的制約力量；一邊期待專業(yè)機(jī)構(gòu)履行責(zé)任，一邊卻眼看著專業(yè)判斷能力被技術(shù)系統(tǒng)悄悄接管。

正視智能體在實(shí)質(zhì)上已經(jīng)具有決策能力這一事實(shí)，正視專業(yè)機(jī)構(gòu)獨(dú)立性正在被侵蝕這一制度危機(jī)，解決它們，不能靠回避，只能靠正視。這是留給立法者、監(jiān)管者、專業(yè)共同體和技術(shù)界共同回答的智能體時(shí)代命題。

（作者單位：天達(dá)共和律師事務(wù)所。本文僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)。）