0
圖片來源于 Pixabay
現代機器學習和人工智能在解決復雜的問題方面取得了令人印象深刻的成果。然而，復雜的問題往往意味著復雜的數據，這必然導致更復雜的模型。真正理解一個模型為什么會做出某種預測，可能會和原來的問題本身一樣復雜！
這可能是有問題的，因為這些 ML 系統中已經影響到從醫療、交通運輸、刑事司法、風險管理和其他社會生活領域。在許多情況下，這些人工智能系統的有用性和公平性受到我們理解、解釋和控制它們的能力的限制。因此，相當大的努力被投入到打開強大而復雜的 ML 模型的黑匣子，比如深度神經網絡的工作中。
可解釋的人工智能是指一系列使人們能夠理解為什么一個模型會給出特定的結果的方法和技術。模型可解釋性是我們在 Google 云高級解決方案實驗室教給客戶的一個關鍵話題，在本文中，我們將展示如何使用 Google 云的可解釋性人工智能來部署可解釋和包容的機器學習模型。
本文中使用的所有代碼都可以在這里找到：https://github.com/GoogleCloudPlatform/training-data-analyst/tree/master/blogs/explainable_ai 。
可解釋性方法分類
模型可解釋性方法概述和不同技術的示例
大多數可解釋性方法可以分為下面三類：
內在的還是后組織的。所謂內在，我們指的是內在可解釋的模型。也就是說，它們的結構足夠簡單，我們可以通過簡單地觀察模型本身來理解模型是如何進行預測的。例如，線性模型的學習權重或用決策樹學習的分割可以用來解釋模型做出預測的原理。
后組織方法包括使用經過訓練的模型和數據來理解為什么要進行某些預測。在某些情況下，后組織方法也可以應用于具有內在可解釋性的模型。
在這篇文章中，我們將重點討論后自組織模型的可解釋性，因為許多先進的方法，如梯度增強和神經網絡，都是用這種方法最容易理解。
模型不可知與模型特定。模型不可知意味著可解釋性方法可以應用于任何模型，而特定于模型的方法只能用于特定的模型類型。例如，如果該方法只適用于神經網絡，則將其視為特定于模型。相反，如果可解釋性方法將訓練的模型視為一個黑盒，那么它將被視為模型不可知的。
本地與全局：局部可解釋性方法旨在解釋單個數據點或預測，而全局方法則試圖全面解釋模型在整體上的表現。通過使用本地結果的聚合，所有本地方法都可以轉換為全局技術。
在 Google 云上部署可解釋模型
你可以使用可解釋的 AI 在 GCP 上部署可解釋模型，并使用 gcloud beta ai-platform explain 命令進行預測。
訓練、預測的步驟如下：
訓練模型并將其部署到 GCP 上。
將包含基線特征值的 JSON 文件上傳到云存儲桶。
使用此 JSON 文件創建模型版本并指定 explanation-method。
請求 gcloud beta ai-platform explain 獲取解釋。
下面我們將更詳細地展示這些步驟。
首先，你需要一個在 Google 云 AI 平臺（CAIP）上經過訓練和部署的模型。我們將查看紐約市出租車數據集（https://bigquery.cloud.google.com/table/nyc-tlc:yellow.trips?tab=details&pli=1）。你可以看看這篇博文（https://towardsdatascience.com/how-to-train-machine-learning-models-in-the-cloud-using-cloud-ml-engine-3f0d935294b3），看看如何在 CAIP 上輕松地訓練一個模型。在編寫本文時，AI 的解釋性只支持 TensorFlow 1.x，因此無論你構建什么模型，請確保使用 TensorFlow 1.x。一旦你的模型采用 SavedModel 格式（https://www.google.com/search?q=tensorflow+model+format&oq=tensorflow+model+format&aqs=chrome.0.0l2j69i61j69i65j69i60l4.2431j0j7&sourceid=chrome&ie=UTF-8），我們將在 CAIP 上創建一個新模型：
gcloud ai-platform models create taxifare
在部署我們的模型之前，我們必須配置一個 explanations_metadata.json 文件并將其復制到模型目錄。在這個 JSON 文件中，我們需要告訴 AI 解釋我們的模型期望的輸入和輸出張量的名稱。
另外，在這個文件中，我們需要設置 input_baselines，它的作用是告訴解釋服務模型的基線，輸入應該是什么。了解基線對于有效使用許多模型解釋技術非常重要。這兩種支持技術——Shapley 采樣和梯度綜合，將預測結果與基線特征值進行比較。選擇適當的基線是很重要的，因為本質上，你是在對比模型的預測與基線值的比較方式。要了解更多關于基線的信息，請查看可解釋的 AI 白皮書（https://storage.googleapis.com/cloud-ai-whitepapers/AI%20Explainability%20Whitepaper.pdf）。
一般來說，對于數字形式的數據，我們建議選擇一個簡單的基線，例如平均值或中值。在本例中，我們將使用每個特征的中值——這意味著此模型的預測基線將是我們的模型使用數據集中，每個特征的中值預測的出租車費用。
explanation_metadata = {
"inputs": {
"dayofweek": {
"input_tensor_name": "dayofweek:0",
"input_baselines": [baselines_mode[0][0]] # Thursday
},
"hourofday": {
"input_tensor_name": "hourofday:0",
"input_baselines": [baselines_mode[0][1]] # 8pm
},
"dropofflon": {
"input_tensor_name": "dropofflon:0",
"input_baselines": [baselines_med[4]]
},
"dropofflat": {
"input_tensor_name": "dropofflat:0",
"input_baselines": [baselines_med[5]]
},
"pickuplon": {
"input_tensor_name": "pickuplon:0",
"input_baselines": [baselines_med[2]]
},
"pickuplat": {
"input_tensor_name": "pickuplat:0",
"input_baselines": [baselines_med[3]]
},
},
"outputs": {
"dense": {
"output_tensor_name": "output/BiasAdd:0"
}
},
"framework": "tensorflow"
}
我們可以將此 Python 字典寫入 JSON 文件：
# Write the json to a local file
with open(‘explanation_metadata.json’, ‘w’) as output_file:
json.dump(explanation_metadata, output_file)
# Copy the json to the model directory.
然后在 bash 中，我們使用 gsutil 將 JSON 文件復制到模型目錄中。
$ gsutil cp explanation_metadata.json $model_dir
現在我們已經創建了 explaintations_metadata.json 文件，我們將部署新版本的模型。此代碼與使用 gcloud 創建模型版本的一般過程非常相似，但有一些附加標志：
gcloud beta ai-platform versions create $VERSION_IG \
-- model $MODEL \
--origin $model_dir \
--runtime-version 1.15 \
--framework TENSORFLOW \
--python-version 3.5 \
--machine-type n1-standard-4 \
--explanation-method ‘integrated-gradients’ \
--num-integral-steps 25
使用「explanation method」標志指定解釋方法——當前支持綜合梯度和 Shapley 采樣。
注：當在綜合梯度和 Shapley 采樣之間進行取舍時，我們引用白皮書上的內容：
對于神經網絡和一般可微模型，推薦使用綜合梯度。它提供了計算優勢，特別是對于大的輸入特征空間（例如，具有數千個輸入像素的圖像）來說很有用。對于不可微模型，我們推薦使用 Shapley 采樣，這是由樹和神經網絡的元集合組成的 AutoML Tables 模型的情況。
此外，對于那些想知道 Shapley 抽樣方法與流行的 SHAP 庫有何不同的人，白皮書中有如下內容：
有很多方法可以應用 Shapley 值，它們在引用模型、訓練數據和解釋上下文的方式上有所不同。這導致了用于解釋模型預測的 Shapley 值的多樣性。考慮到 Shapley 的唯一性，這有點不幸。Mukund Sundararajan 和 Amir Najmi 在「 The many Shapley values for model explanation」中對此主題進行了深入的討論。我們的方法屬于基線 Shapley 類別，可以同時支持跨各種輸入數據模式的多個基線。
現在我們的模型已經部署，我們可以從 Jupyter notebook 獲取本地屬性：
resp_obj = !gcloud beta ai-platform explain — model $MODEL \
— version $VERSION_IG — json-instances=’taxi-data.txt’
response_IG = json.loads(resp_obj.s)
# Analyze individual example.
explanations_IG = response_IG[‘explanations’][0][‘attributions_by_label’][0]
我們可以將這些內容加載到 Pandas DataFrame 中，并為各個示例繪制屬性：
df = pd.DataFrame(explanations_IG)
df.head()
row = df.iloc[0] # First example.
row.plot(kind=’barh’)
最后，我們可以通過聚合本地屬性來獲得全局模型的可解釋性：
df.mean(axis=0).plot(kind=’barh’, color=’orange’)
有關使用 Shapley 抽樣全局屬性的更多信息，請參閱這篇文章：https://arxiv.org/pdf/1908.08474.pdf。
結論
就到這里了！在本文中，我們展示了如何使用可解釋的人工智能在 Google 云平臺上部署可解釋模型。可解釋的人工智能工具允許用戶從已部署的模型中獲取本地解釋。這些解釋可以結合在一起，以提供全局解釋性。除了上述步驟之外，你還可以查看 What-If 工具（https://pair-code.github.io/what-if-tool/index.html#features）來檢查和解釋你的模型。
雷鋒網雷鋒網雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
