known unknown

機械学習で「未知の異常を見逃したくない」といったオーダーを受けました。

その上で、「既知の異常は多クラス分類したい」ということで異常検知はダメ。少し考えて、ふと思い浮かんだのが softmax 関数の出力値をそのまま使う方法。argmax を通す前に、ある閾値以下を unkonown とする方法です。調べてみると、既に似たような方法が提案されていましたが、あまり上手い方法ではなさそうでした。

このような問題は「オープンワールド認識」の一部として機械学習の研究者が精力的に取り組まれているようです。不勉強により全く知りませんでした。一つ山を登ったと思えば、未開拓の平原が見えてきたようで焦ります。
必要性が高いにもかかわらず、あまり知られていない分野と書かれている文献がありましたので、一般的に知られていないのでしょう。

Open-Set Recognition: a Good Closed-Set Classifier is All You Need?
サブフィールドとして以下のものがあるようです。OSR と OOD検出との違いがワカラナイ。
・オープンセット認識（OSR: open set recognition）
・分布外検出（OOD検出: out-of-distribution detection）
・新規性検知（ND: novelty detection）
・異常検知（AD: anomaly detection）
・新規カテゴリ発見（novel category discovery）

また、「未知」「既知」に関する用語は、以下の４つに区別されています。KUC と UKCが ワカラナイ。GPTに聞いて埒が明かない状態です。
・ known known classes（KKC）
・ known unknown classes（KUC）
・ unknown known classes（UKC）
・ unknown unknown classes (UUC)

[2110.11334] Generalized Out-of-Distribution Detection: A Survey (arxiv.org)
こちらも５つに分類しています。
・anomaly detection (AD)
・novelty detection (ND)
・open set recognition (OSR)
・out-of-distribution (OOD) detection
・outlier detection (OD)

In safety-critical applications such as autonomous driving, the driving system must issue a warning and hand over the control to drivers when it detects unusual scenes or objects it has never seen during training

とても大事ですね。ぼーっと生きていますので、言われて初めて気づきます。