0
| 本文作者： 鄭佳美 | 2025-10-31 15:27 |
最近，一篇名為《Language Models are Injective and Hence Invertible》的論文在學術界和科技圈引起了廣泛討論，甚至連老馬的 Grok 官方也下場轉(zhuǎn)發(fā)。
這篇論文出自意大利羅馬第一大學（Sapienza University of Rome）的 GLADIA Research Lab，文中提出了一個頗有爭議卻又耐人尋味的觀點：主流的 Transformer 語言模型在信息處理過程中幾乎不會丟失任何輸入內(nèi)容，從數(shù)學意義上看，它們是可逆的。
換句話說，模型的隱藏狀態(tài)并不是模糊的語義壓縮，而是一種能夠完整保留輸入信息的精確重編碼。這一發(fā)現(xiàn)不僅挑戰(zhàn)了人們對語言模型“理解”機制的傳統(tǒng)認識，也讓研究者開始思考一個更具體的問題：這種理論上的信息保持，在實際模型中是否真的存在？
為了回答這一問題，作者設計并實施了一系列大規(guī)模實驗，試圖從實證角度驗證 Transformer 的可逆性與單射特性。
這篇論文的核心實驗結果指出：主流 Transformer 語言模型在實際應用中幾乎總是單射的（injective），即不同的輸入文本會被映射到完全不同的隱藏狀態(tài)表示，沒有發(fā)生任何“碰撞”現(xiàn)象。
研究者在六個主流模型（GPT-2、Gemma-3、LLaMA-3.1、Mistral、Phi-4 和 TinyStories）上進行了超過 50 億次輸入對比測試，在所有模型的各個層中都未發(fā)現(xiàn)兩條不同輸入對應相同隱藏表示的情況，驗證了模型在理論上所具備的單射性在實踐中同樣成立。
此外，作者提出的 SIPIT（Sequential Inverse Prompt via Iterative Updates）算法 成功地從模型的隱藏狀態(tài)中以 100% 準確率重建了原始輸入文本，并且在運行效率上顯著優(yōu)于傳統(tǒng)方法。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
無論是自然語言文本還是代碼樣本，SIPIT 都能在理論保證的線性時間內(nèi)完成精確恢復。這一結果表明，Transformer 模型不僅在數(shù)學上是信息保持的系統(tǒng)，在實際訓練與推理中也確實保留了輸入的全部信息，驗證了語言模型的可逆性與結構性無損特征。
這項研究的實驗經(jīng)過分為兩個主要階段：首先通過大規(guī)模實驗驗證 Transformer 模型在實踐中是否真的具備單射性，其次通過新的算法驗證模型是否能夠被完全反演。整個實驗設計嚴密、層層遞進，目的是從理論和實證兩個層面證明語言模型不會丟失輸入信息。
在實驗準備階段，研究團隊選擇了六種具有代表性的語言模型，包括 GPT-2、Gemma-3、LLaMA-3.1、Mistral、Phi-4-mini 和 TinyStories。這些模型涵蓋了不同規(guī)模與訓練方式的 Transformer 架構。
為了保證實驗的全面性，研究者從多個語料庫中抽取樣本數(shù)據(jù)，包括 Wikipedia、C4、The Pile 以及 GitHub 上的 Python 代碼數(shù)據(jù)，共計十萬條輸入樣本，內(nèi)容既包含自然語言文本，也包含編程語言代碼。所有模型均在統(tǒng)一的硬件和軟件環(huán)境下運行，確保實驗結果可復現(xiàn)且無外部干擾。
實驗的第一部分旨在檢驗模型是否真的對不同輸入保持區(qū)分能力。研究者將每一條輸入依次輸入模型，提取各層中最后一個 token 的隱藏狀態(tài)，并計算所有樣本兩兩之間的歐氏距離。雷峰網(wǎng)
如果出現(xiàn)距離小于 10?? 的情況，就意味著模型把兩個不同輸入映射到了幾乎相同的表示上，即發(fā)生“碰撞”。經(jīng)過超過五十億次樣本對比，結果顯示無論模型規(guī)模或?qū)訑?shù)，所有隱藏狀態(tài)之間的最小距離都遠高于這一閾值，沒有出現(xiàn)任何碰撞現(xiàn)象。
進一步的測試中，研究者挑選出十條語義最相近的樣本，針對這些樣本生成全部可能的組合輸入，并計算了超過三千億對比樣本的結果。即便在這樣極端的條件下，模型仍未出現(xiàn)任何隱藏狀態(tài)重合的情況。
這表明，Transformer 模型在實際運行中確實能保持輸入信息的唯一性。
第二部分實驗驗證模型是否具有可逆性，即能否從隱藏狀態(tài)恢復出原始輸入文本。研究者提出了一種名為 SIPIT 的新算法，其思想基于 Transformer 的因果結構：第 t 個隱藏狀態(tài)僅依賴前 t?1 個 token 和當前 token，因此可以從隱藏狀態(tài)逐步推理出輸入序列。
為了驗證算法的有效性，研究者僅將隱藏狀態(tài)作為輸入，不提供任何原始文本，讓算法從中反推出完整輸入。實驗結果顯示，SIPIT 能在理論保證的線性時間復雜度內(nèi)，以百分之百的準確率恢復出所有原始輸入，并且運行速度顯著快于傳統(tǒng)的暴力枚舉方法。
無論是自然語言文本還是代碼數(shù)據(jù)，算法都能高效、準確地完成輸入重建。
在驗證模型結構特性的同時，研究團隊還分析了訓練過程對單射性的影響。他們從數(shù)學上證明，梯度下降和隨機梯度下降都是可逆的連續(xù)變換，每一次參數(shù)更新都會保持模型參數(shù)分布的絕對連續(xù)性，不會讓模型坍縮到非單射狀態(tài)。
也就是說，Transformer 模型從初始化到訓練完成的整個過程中，都能保持這種“信息不丟失”的特征。
總體而言，這一系列實驗以嚴格的理論推導為基礎，通過海量數(shù)據(jù)驗證和可逆算法的實踐檢驗，完整地證明了 Transformer 模型在結構上和行為上都是單射的，并且能夠被完全反演。實驗的全過程充分體現(xiàn)了這一結論的普適性與穩(wěn)健性，表明語言模型在訓練和推理中并不會丟失任何輸入信息。
突破與質(zhì)疑并存的「可逆性」研究
更進一步地，這些結果不僅回答了“模型能否保持信息”的問題，也為理解 Transformer 的工作原理提供了新的視角。
從理論上看，這項研究打破了人們長期以來的假設 —— 語言模型在內(nèi)部會壓縮信息，只保留語義層面的抽象特征。研究團隊證明，Transformer 實際上是一個信息保持的系統(tǒng)：模型在處理輸入時并不會丟失信息，而是以不同的方式對原始內(nèi)容進行重編碼，而非降維或壓縮。
換句話說，模型的“理解”不是模糊的抽象，而是一種高度精確的重參數(shù)化。這為解釋 Transformer 的內(nèi)部機制提供了新的數(shù)學框架，也為研究模型的表示空間結構和上下文依賴關系開辟了方向。
在實踐層面，這一發(fā)現(xiàn)帶來了重要的隱私與安全啟示。由于隱藏狀態(tài)在理論上可以反推出輸入文本，模型的中間層輸出在性質(zhì)上幾乎等同于原始數(shù)據(jù)。如果這些表示被存儲、傳輸或共享，可能會導致用戶輸入信息被間接暴露。
由此，開發(fā)者需要更加謹慎地處理模型內(nèi)部的激活值，重新審視安全接口設計，并在模型壓縮或蒸餾過程中考慮可逆性帶來的潛在風險。與此同時，該研究也為模型可解釋性提供了新的研究思路：通過分析隱藏層信息的重構方式，可以更清晰地理解模型語義抽象的形成過程。
然而，這一結論也在學術界和業(yè)界引發(fā)了討論。部分研究者指出，“可逆性”的數(shù)學證明并不意味著現(xiàn)實中的模型可以直接恢復輸入或提取訓練數(shù)據(jù)。實際的大規(guī)模模型受到數(shù)值近似、量化誤差和隨機性等因素影響，難以實現(xiàn)嚴格意義上的單射性，不同輸入仍可能產(chǎn)生相似的內(nèi)部表示。
因此，即使掌握了中間層激活值，也并不意味著能準確還原原文或繞過安全機制。
研究團隊在后續(xù)說明中也強調(diào)，他們的研究主要旨在從理論角度理解信息流動特征，而非提供可被濫用的攻擊途徑。其核心目標是加深對語言模型內(nèi)部機制的認識，并提醒業(yè)界在模型開發(fā)與部署中加強數(shù)據(jù)安全和隱私保護。
這個 2025 年 5 月份才注冊 ? 的神秘機構 GLADIA Research Lab 是意大利羅馬第一大學計算機科學系下的一個前沿人工智能研究團隊。
官方信息顯示，GLADIA Research Lab 目前共有 39 名研究人員，成員來自計算機科學、物理學、工程學和數(shù)學等多個學科。實驗室專注于探索人工智能系統(tǒng)的結構創(chuàng)新與高效復用，其核心研究方向涵蓋模型合并與操控、無需額外訓練的模型拼接、多模態(tài)學習，以及神經(jīng)網(wǎng)絡的重用與組合性。
而 GLADIA Research Lab 的研究愿景，是讓人工智能模型的開發(fā)與組合變得更加高效與靈活，他們希望把“構建一個新模型”的周期，從過去的幾個月縮短到幾秒鐘。
這個團隊近段時間也在國際頂級學術會議上頻頻亮相，例如在 ICML 2025 和 CVPR 2025 上展示了關于模型合并與任務干擾優(yōu)化的研究成果，展現(xiàn)出他們在模型融合和生成式人工智能領域的創(chuàng)新實力與前沿地位。
除了模型結構方面的研究，GLADIA 還在探索生成模型的更廣泛應用。他們嘗試將 AI 的能力延伸到音樂創(chuàng)作、多模態(tài)內(nèi)容生成等更具創(chuàng)造性的方向，希望推動人工智能從“計算工具”邁向“創(chuàng)意伙伴”，在藝術與認知交匯處開拓新的可能性。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
