0
| 本文作者： 鄭佳美 | 2026-02-24 14:26 |
在醫(yī)療人工智能的發(fā)展歷程中，能力評估方式在很大程度上塑造了技術(shù)演進(jìn)的方向。
過去相當(dāng)長一段時(shí)間里，醫(yī)療 AI 的進(jìn)步主要圍繞醫(yī)學(xué)知識獲取與推理展開，模型是否“足夠聰明”通常通過醫(yī)學(xué)考試題、臨床問答數(shù)據(jù)集等靜態(tài)基準(zhǔn)來衡量。在這一評價(jià)框架下，模型只需在信息完整、問題封閉的條件下給出正確答案，便被視為具備較高的醫(yī)療能力。
隨著大語言模型的興起，這一路徑迅速取得突破性進(jìn)展，多種系統(tǒng)在 MedQA 等測試中達(dá)到甚至超過人類專家水平，使得“醫(yī)療 AI 是否已經(jīng)成熟”一度成為行業(yè)內(nèi)的樂觀判斷。
然而，隨著這些模型被逐步引入更貼近真實(shí)臨床的交互場景，一個長期被掩蓋的問題開始顯現(xiàn)：真實(shí)醫(yī)療實(shí)踐并非基于完整信息給出診斷，而是一種在高度不確定條件下，通過連續(xù)提問、風(fēng)險(xiǎn)識別與信息整合來逐步逼近決策的動態(tài)過程。
模型在靜態(tài)評測中展現(xiàn)出的知識優(yōu)勢，并未自然轉(zhuǎn)化為對真實(shí)問診場景的可靠支持，反而在多輪對話中暴露出提問策略僵化、對高風(fēng)險(xiǎn)信號反應(yīng)遲鈍、過早形成結(jié)論以及缺乏基本溝通與共情能力等缺陷。
這種“高分通過考試，卻難以勝任臨床問診”的斷層，逐漸成為醫(yī)療 AI 領(lǐng)域的核心瓶頸，也迫使研究者重新思考一個根本性問題：醫(yī)療智能體真正需要被訓(xùn)練和評估的，究竟是什么能力。
在這一背景下，清華大學(xué)劉洋團(tuán)隊(duì)提出了題為《DOCTOR-R1: Mastering Clinical Inquiry with Experiential Agentic Reinforcement Learning》的研究工作，試圖從問題建模和訓(xùn)練范式層面打破以靜態(tài)知識評測為中心的既有路徑。
這項(xiàng)研究不再將模型能力簡單等同于知識覆蓋度或參數(shù)規(guī)模，而是將臨床問診本身視為一個長期、多輪、部分可觀測且高度風(fēng)險(xiǎn)敏感的決策過程，重點(diǎn)探索如何讓模型學(xué)會在信息不完整的條件下提出高價(jià)值問題、動態(tài)調(diào)整詢問策略，并在整個過程中保持安全意識與溝通質(zhì)量。為醫(yī)療智能體從工具型問答系統(tǒng)邁向具備臨床推理與交互能力的決策主體提供了新的研究范式。
論文鏈接：https://arxiv.org/pdf/2510.04284
這項(xiàng)研究的實(shí)驗(yàn)結(jié)果本質(zhì)上圍繞三個核心問題展開，即現(xiàn)有模型在真實(shí)臨床問診場景中究竟面臨哪些挑戰(zhàn)，DOCTOR-R1 在哪些具體能力層面彌補(bǔ)了這些不足，以及這些能力提升是否確實(shí)源于研究團(tuán)隊(duì)提出的方法機(jī)制而非偶然因素。
研究人員首先通過對照實(shí)驗(yàn)揭示了一個關(guān)鍵事實(shí)：在靜態(tài)醫(yī)學(xué)問答任務(wù)中表現(xiàn)優(yōu)異的模型，在需要多輪交互的動態(tài)臨床問診環(huán)境中會出現(xiàn)系統(tǒng)性失效。
這種失效并非源于醫(yī)學(xué)知識儲備不足，而主要體現(xiàn)在問診策略層面，例如提問順序缺乏針對性，傾向于使用信息增益較低的標(biāo)準(zhǔn)化體檢式問題；在患者給出潛在高危信號后，仍難以及時(shí)調(diào)整提問路徑，而是沿用固定模板繼續(xù)詢問；在關(guān)鍵信息尚未充分收集的情況下過早形成判斷，甚至給出不恰當(dāng)?shù)陌矒嵝曰蝈e誤建議；以及整體溝通方式與真實(shí)醫(yī)療場景不匹配，表現(xiàn)為共情不足、語氣過于武斷或?qū)Σ淮_定性處理不當(dāng)。
由于這些問題在 MedQA、MMLU 等靜態(tài)評測中幾乎不會暴露，研究指出傳統(tǒng)評測方式對模型真實(shí)臨床能力存在失真。與之相比，DOCTOR-R1 的性能提升并非體現(xiàn)在單一指標(biāo)上，而是整體改變。DOCTOR-R1模型除了在上述傳統(tǒng)測試的表現(xiàn)優(yōu)于已有模型，在 MAQuE等模擬評測數(shù)據(jù)集上，其最終表現(xiàn)也優(yōu)于 GPT-4.1 等模型。
這一點(diǎn)在對話輪次與準(zhǔn)確率關(guān)系的分析中也得以體現(xiàn)，DOCTOR-R1 從首輪對話開始即占據(jù)優(yōu)勢，并且隨著對話推進(jìn)持續(xù)擴(kuò)大領(lǐng)先幅度，體現(xiàn)出一種越問越準(zhǔn)的策略特征。
同時(shí)，在 HealthBench 的溝通質(zhì)量、上下文理解和回答完整性等指標(biāo)上，DOCTOR-R1 的提升幅度明顯高于準(zhǔn)確率本身，表明良好的溝通與共情能力并非附帶收益，而是其問診策略的內(nèi)在組成部分，即共情本身有助于提高信息獲取效率。
進(jìn)一步的消融實(shí)驗(yàn)驗(yàn)證了這一結(jié)論。研究團(tuán)隊(duì)發(fā)現(xiàn)，在移除過程獎勵、僅保留最終診斷獎勵的情況下，模型雖然仍能學(xué)習(xí)到正確的診斷結(jié)果，但中間問診過程明顯退化為模板化和低風(fēng)險(xiǎn)偏好模式，在高風(fēng)險(xiǎn)場景中更容易產(chǎn)生安全性不足的回答，說明如果不對提問過程本身進(jìn)行顯式獎勵，模型會傾向于忽略如何提問這一關(guān)鍵能力。
而當(dāng)經(jīng)驗(yàn)庫機(jī)制被移除時(shí)，模型在新場景中的適應(yīng)能力顯著下降，在相似病例上的表現(xiàn)也更加不穩(wěn)定，對話策略波動明顯增大，這表明僅依賴 on-policy 強(qiáng)化學(xué)習(xí)不足以模擬真實(shí)醫(yī)生通過長期經(jīng)驗(yàn)積累形成的穩(wěn)定問診策略。
因此，這些實(shí)驗(yàn)結(jié)果并非對整體性能的簡單補(bǔ)充，而是從多個角度直接支撐了研究團(tuán)隊(duì)提出的核心機(jī)制設(shè)計(jì)。
在實(shí)驗(yàn)設(shè)計(jì)層面，研究團(tuán)隊(duì)認(rèn)為必須采用強(qiáng)化學(xué)習(xí)而非單純的微調(diào)方法，其核心判斷在于兩者所能學(xué)習(xí)的能力本質(zhì)不同。
微調(diào)主要教會模型在獲取完整信息后如何生成回答，而臨床問診的關(guān)鍵并不在于“如何作答”，而在于模型在尚不清楚答案的情況下，如何決定下一步應(yīng)該詢問什么信息。
這一過程本質(zhì)上屬于行動會改變未來可獲取信息結(jié)構(gòu)的序列決策問題，因此天然更適合用強(qiáng)化學(xué)習(xí)來建模。進(jìn)一步地，研究人員指出臨床問診并非一個完全可觀測的決策過程。在真實(shí)醫(yī)療場景中，患者自身往往也無法完整理解病情，醫(yī)生只能通過患者的回答逐步反推出潛在狀態(tài)，且大量關(guān)鍵信息只有在被主動詢問后才會顯現(xiàn)。
基于這一現(xiàn)實(shí)，該研究將問診過程建模為部分可觀測馬爾可夫決策過程，而非簡單的馬爾可夫決策過程，其中真實(shí)病情狀態(tài)對醫(yī)生模型不可見，醫(yī)生所獲得的觀察信息具有噪聲和不完整性，而每一次提問行為都會直接影響下一步能夠獲得的信息內(nèi)容。
這一建模方式對于保留“問什么才有意義”這一核心問題至關(guān)重要。與此同時(shí)，研究團(tuán)隊(duì)強(qiáng)調(diào)多智能體交互環(huán)境并非形式上的復(fù)雜化，而是提升泛化能力的必要條件。如果患者僅由固定腳本模擬，模型很容易學(xué)會針對腳本進(jìn)行應(yīng)對，從而在真實(shí)場景中表現(xiàn)出極差的泛化能力。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
為此，研究人員使用大語言模型扮演患者智能體，因此即便在相同疾病背景下，患者的表述方式、回答順序以及風(fēng)險(xiǎn)信號的暴露時(shí)機(jī)都具有高度多樣性，從而讓醫(yī)生智能體真正學(xué)習(xí)穩(wěn)定有效的問診策略，而非記憶固定套路。
在獎勵設(shè)計(jì)方面，研究提出的雙層獎勵機(jī)制旨在解決長期存在的兩個關(guān)鍵難題。一方面，如果僅依據(jù)最終診斷結(jié)果給予獎勵，模型往往會傾向于過早猜測并提前結(jié)束對話，導(dǎo)致中間問診過程不可控，高風(fēng)險(xiǎn)錯誤也難以及時(shí)被懲罰；另一方面，醫(yī)療決策中普遍存在否決型錯誤，即一次危險(xiǎn)建議或嚴(yán)重誤判無法被多次禮貌或合理表達(dá)所抵消。
不同于傳統(tǒng)的權(quán)重平均得分，研究團(tuán)隊(duì)引入了分層懲罰機(jī)制，將安全性、推理合理性和醫(yī)學(xué)準(zhǔn)確性置于最高優(yōu)先級，一旦觸發(fā)底線錯誤即直接給予強(qiáng)負(fù)獎勵。這種在強(qiáng)化學(xué)習(xí)中相對激進(jìn)的設(shè)計(jì)雖然約束嚴(yán)格，但能讓模型守住臨床安全的底線，且更貼近真實(shí)醫(yī)療場景的風(fēng)險(xiǎn)要求。雷峰網(wǎng)
最后，在經(jīng)驗(yàn)利用機(jī)制上，該研究并未將經(jīng)驗(yàn)庫視為普通的記憶模塊，而是將其定位為經(jīng)過篩選的“高質(zhì)量醫(yī)生經(jīng)驗(yàn)”。研究人員通過僅存儲高獎勵軌跡、在檢索時(shí)同時(shí)考慮語義相似度與歷史獎勵，并引入新穎性約束以避免模型反復(fù)依賴同一問診套路，使模型在面對新患者時(shí)更接近一名積累了大量臨床經(jīng)驗(yàn)的醫(yī)生，而非簡單依賴答案記憶的學(xué)生。
從整體意義上看，這項(xiàng)研究在醫(yī)療人工智能領(lǐng)域具有明確而深遠(yuǎn)的啟示作用。研究結(jié)果首先表明，當(dāng)前醫(yī)療 AI 的瓶頸不僅受限于模型所具備的醫(yī)學(xué)知識規(guī)模，還在于是否采用了與真實(shí)臨床實(shí)踐相匹配的訓(xùn)練范式。
通過實(shí)驗(yàn)可以看到，在參數(shù)規(guī)模僅為 8B 的條件下，結(jié)合合適的強(qiáng)化學(xué)習(xí)訓(xùn)練框架，模型在多項(xiàng)動態(tài)問診指標(biāo)上能夠超過參數(shù)規(guī)模達(dá)到 32B 甚至 70B 的知識型模型，這一現(xiàn)象對長期以來以模型規(guī)模和知識覆蓋度為中心的發(fā)展路徑形成了糾偏。
其次，研究將以往被視為難以量化和系統(tǒng)訓(xùn)練的軟技能問題轉(zhuǎn)化為可優(yōu)化目標(biāo)。研究人員通過合理的任務(wù)建模和獎勵設(shè)計(jì)，使得共情表達(dá)、溝通質(zhì)量以及對不確定性的處理等能力能夠被穩(wěn)定評估并持續(xù)強(qiáng)化，驗(yàn)證了軟技能并非只能依賴隱式學(xué)習(xí)或人工規(guī)則，而是可以納入統(tǒng)一的訓(xùn)練與評價(jià)體系之中。
最后，從方法論層面來看，研究提出的框架為真實(shí)世界智能體的構(gòu)建提供了一種具有可復(fù)制性的通用模板。其核心問題特征包括不完全信息條件下的決策、面向長期目標(biāo)的序列行為、高風(fēng)險(xiǎn)情境中的安全約束以及對經(jīng)驗(yàn)積累機(jī)制的依賴，而這些特征正是大多數(shù)真實(shí)世界智能體任務(wù)所共有的。
因此，這項(xiàng)工作的意義不僅局限于醫(yī)療領(lǐng)域，也為更廣泛的智能體研究提供了具有參考價(jià)值的范式思路。
論文第一作者為黎雍卉，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系碩士研究生，導(dǎo)師為劉洋教授。她的主要研究方向?yàn)橹腔坩t(yī)療與大模型智能體，特別是在醫(yī)療模型的交互、進(jìn)化、推理等方面的能力優(yōu)化。她已發(fā)表了ICLR等多篇成果，曾獲中國政府獎學(xué)金、北京市政府獎學(xué)金、清華計(jì)算機(jī)系 84 創(chuàng)新未來獎學(xué)金等多項(xiàng)榮譽(yù)。
論文的共同通訊作者之一是馬為之，他是清華大學(xué)智能產(chǎn)業(yè)研究院副研究員，主要從事智能信息獲取與智慧醫(yī)療的研究工作。他在 SIGIR、ICLR 等國際頂級會議以及 Nature Medicine 等權(quán)威期刊上發(fā)表了100余篇論文，曾獲得SIGIR、EMNLP等會議的論文獎項(xiàng)，入選中國科協(xié)青年人才托舉工程、北京市科技新星。目前擔(dān)任 ACM TOIS 副主編及中國中文信息學(xué)會青工委秘書長。
參考鏈接：https://air.tsinghua.edu.cn/info/1046/1196.htm
論文的另一位共同通訊作者是劉洋，他是清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系萬國數(shù)據(jù)教授、智能產(chǎn)業(yè)研究院院長、人工智能醫(yī)院聯(lián)席執(zhí)行院長。研究方向?yàn)樽匀徽Z言處理、智慧醫(yī)療和科學(xué)智能。
劉洋教授承擔(dān)國家自然科學(xué)基金委杰出青年項(xiàng)目、科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目等重要科研項(xiàng)目，獲得國家科技進(jìn)步二等獎1項(xiàng)、省部級與一級學(xué)會科技獎勵5項(xiàng)、重要國際會議優(yōu)秀論文獎4項(xiàng)。主要學(xué)術(shù)兼職包括中國人工智能學(xué)會組織工作委員會主任、中國中文信息學(xué)會計(jì)算語言學(xué)專業(yè)委員會主任等。
參考鏈接：https://nlp.csai.tsinghua.edu.cn/~ly
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
