図書：高リスク分野のための機械学習

最近、書店に赴く頻度が低くなりました。 
新知見を得られることが少なくなったからでしょうか。漸く一般的な技術論を習得する段階を卒業したと捉えてよいのかもしれません。

それでも、エッジデバイスや機械学習分野は私にとって新しく、まだまだ書店の図書や雑誌レベルでも役に立つことがあります。
久しぶりにAI要約でなく自力で読んだ図書です。気になったキーワード等を備忘録として残しておきましょう。

高リスク分野のための機械学習 - O'Reilly Japan

2章 解釈、説明
NIST AI RMF: 米国国立標準技術研究所 AI Risk Management Frarmework

信頼性:妥当性、有効性、安全性、管理されたバイアス、セキュリティ、透明性と説明責任、説明可能性と解釈可能性、などの特性をもつ。

説明可能性:　どのような内部プロセスやメカニズムで出力を生成したか。
解釈可能性: 人間の背景知識を活用しながら心的表現として出力を捉える能力。AI側の説明が必要。

説明可能モデル: GAM、制約付きGBM
因果モデル: 予測対象と因果的に結びついた現象を立証可能な方法で表現。EconML

事後的説明
特徴量重要度: 大局的、プラスのみ
特徴量寄与度: 局所的、±
SHAP:　Shapely Adaditive Explanations
shapely 値:平均予測からのオフセット（差分）。因果関係や解釈を導き出そうとするのは誤り。

AIインシデント 英国Aレベルテスト: 過去の学校成績に基づいて個々のスコアを調整するという考え方に透明性はあるものの、明らかに偏っている。

3章　安全性、性能
校正: 最後に0-1の範囲の数値を得たとしても、確率であるとは限らない。

ISO
信頼性: ある条件下で、ある時間間隔の下、故障することなく要求通りに機能する能力。
ロバスト性: 様々な状況下で性能レベルを維持する能力。

仕様不足: 適合するモデルが多数存在。ランダムシード、スレッド数、GPUの仕様数で性能が大きく変化。
残差分析: 予測とモデル誤差における特徴量重要度の比較 
感度分析:デプロイ後のモデル監視: データドリフト

AIインシデント 自動運転死亡事故: 成熟した安全文化の欠如

4章 バイアス
人間的・認知的バイアス
アンカリング
利用可能性ヒューリスティック: 容易に想起される事例を過大評価する傾向。思い出しやすさと正確さの混同。
ダニングクルーガー効果、インポスター症候群: 能力の低い人ほど自己スキルを過大評価。またはその逆。
グループシンク
マクナマラの誤謬: 数値化された情報のみに基づく意思決定

不利益な影響の比率: Adverse Impact Ratio, AIR 0.8

利用可能であるという理由だけで選ばれた観察データを説明可能性のないモデルに投入し、ある性能指標が最大化されるまでハイパーパラメータを調整し続けるーこれは「データサイエンス」と称されることがあるかもしれないが、科学そのものを実践しているとは言えない。
科学的方法の基本原則の一つは仮説が検証可能であり、実験が解釈可能であり、モデルが反証可能、あるいは少なくとも検証可能であるべきという点にある。

2重最適化: 損失関数に誤差項とバイアス項を含む。FairXGBoost

6章 構造化データ、モデル説明（SHAP）
経路依存型SHAP値
feature_perturbation="tree_path_dependent" （木構造の他のルートを利用する消し方。ex.スマホがないなら、記憶と地図を頼りに目的地へ行く。）
モデルが学習した、情報同士のつながり（相関）を考慮した上で結果を出す。
モデルの具体的な動き方に忠実な貢献度が分かる。

介入型SHAP値
feature_perturbation="interventional" （適当な値に置き換える、試す消し方。ex.スマホがないなら、とりあえず適当な方向に指示されたとして歩いてみる。）
情報同士のつながり（相関）を無視して、一つ一つの情報が単独で変わった場合を何度も試行。
特定の情報を一つだけ切り離した場合の、シンプルな貢献度が分かる。

基本はinterventionalを利用。当該モデルと学習データの分布の範囲でしか通用しないことを認識する。

7章 画像データ、モデル説明
ヒートマップ: Whereを示すにとどまり、How(どのように判断したのか)までは不明
説明可能モデル ProtoPNet, SENN: Howまで明示。
How が良い説明に不可欠な要素。

事後説明（post-hoc）によるロバスト性の確認: エッジ検出器と機能している可能性あり。
忠実性、ロバスト性、理解しやすい説明を求める場合には、説明可能なモデルを利用する。

8章 構造化データ、モデルデバッグ
正則化、単調性制約、グリッドサーチ、モデル選択
感度分析: ストレステスト（極端な入力値）
敵対的サンプル探索: ICE plot
残差分析: 残差の可視化、セグメントエラー分析、残差モデリング（決定木）

重要なのは、次にモデルを学習させる際には、必ずデバッグを試みるという姿勢である。

９章 画像データ、モデルデバッグ
リーク: ランダム分割（同一人物）、データ拡張（Alubumentations、Label-errors project）、転移学習
学習、検証、テスト分割後に学習データのデータ拡張を実施。
転移学習: 初回はトリミング前の画像。2回目にトリミング画像を利用。
ラベルの誤り: ドメイン専門家との連携、AUM
感度分析: ドメインシフト, BREEDS
学習段階においてデプロイ環境におけるすべてのリスクを事前に把握することは不可能。実際に発生しうる分布シフトに備えたモデルを構築する努力を。
敵対的サンプル攻撃： 高速勾配符号法 FGSM
ハイパーパラメータの摂動： GPU数、ランダムシード
複雑な学習処理事態を避ける： Pytorch Lightning