動画での異常検知といえば DL ベース。
と思いきや、その他の手法も健在のようです。土木分野では単純な映像処理が好まれているようですね。最近見かけたものを書き残しておきます。
******************************************************
【土砂移動検知を目的とした既往研究】
五十嵐ら（2017）画像のRGB値・輝度値に着目した，山地河川における流況変化の自動検知アルゴリズム構築の試み，平成29年度砂防学会研究発表会概要集，p．8―9
五十嵐ら（2017）山地河川の濁りによるRGB値に着目した土石流発生検知手法開発に向けた試み，土木技術資料，Vol．59，No．6，p．20―23
- 手法：画素情報の輝度値・RGB値を用いた流況変化の検知
- 検証対象：北海道黒岳沢川の土石流動画（2016年8月23日）。
- 課題：４分間という短い映像時間を用いての解析であったため，自然光の日較差の影響を考慮できていない。画素情報には，日射による違いが及ぼす影響が課題として挙がっており，監視技術を確立する上で検討すべき重要な課題である。
五十嵐ら（2019）画像の RGB 空間における濁水の立体分布と３次元ベクトル空間モデルを用いた流況変化検知手法の基礎的検討
- 手法：RGB値を単位ベクトル化。RGB輝度の合成ベクトルの大きさではなく方向を導くことで，日射量（光の強度）の影響を軽減。
- 検証対象：利根川水系大谷川支流稲荷川（流砂量観測渓流）２０１１年９月２日に発生した土石流のCCTV映像（AM６：３２：１１～AM６：３６：００，３０fps）を示す。
- 課題：
・カメラ機器の違いを分析する必要がある。
・閾値を適切に設定することで，土石流が発生した際に，前兆現象の濁水発生を検知できる可能性が期待される。
・濁度との相関の他，水位変化などと組み合わせたアルゴリズム構築と閾値の設定などが必要。
・夜間は不可。夜間間降雨時の照明環境下では，雨滴等による照明の乱反射の影響や，照明コストといった課題が残る。
・白波の影響除去。
・夕日の映り込みは濁水発生の誤検知が懸念されるため，朝日の反射光も含め光源条件の影響を精査する必要がある。
・濁度計測値と RGB 値の変化との関係について今後検討。
辻野ら（2017）住民の迅速な避難行動に資する土砂災害避難警報装置の開発
- 手法：ウェブカメラ映像のリアルタイム差分による崩壊斜面上のターゲット移動および落石の検知（OpenCV利用）。検知メール転送可。悪天候時、雨粒や雪による影響を受けない。検知範囲１１m。
- 検証対象：崩壊斜面（設定範囲内）
- 課題：記載なし
【土砂移動検知への流用可能な既往研究】
大石ら（2019）CCTVを用いた画像解析による河岸・堤防侵食の返上検知とアラート配信に関する検討,寒地土木研究所月報 No.798 2019年11月
- 手法：画像の背景差分（OpenCV の BackGroundSubtractorMOG2、マスク処理、平滑化処理含む）による河岸侵食のリアルタイム変状検知とアラートメール配信システムの開発。土石流やアイスジャムなどに特化した開発も可能。
- 検討対象：試行：十勝川本川の千代田実験水路脇に盛土を敷設、検証：
- 課題：精度向上。運用する上での信頼性は十分とは言えない。AI技術の活用など開発を検討
上石（2004）セ ンサーを用いた雪崩の検知・予知技術
- 雪崩検知を目的とした事例のレビュー。振動センサーや画像検知システムが列挙されている。
【動画の異常検知】（近年、深層学習が主体）
https://paperswithcode.com/sota/abnormal-event-detection-in-video-on-ubi
dataset:UBI-Fights：AUC：0.906
Weakly and Partially Supervised Learning Frameworks for Anomaly Detection
https://github.com/DegardinBruno/human_self_learning_anomaly
Iterative weak/self-supervised classification framework for abnormal events detection
For abnormal events detection purposes
- [3] temporal auto-encoder that is exclusively fed with normal events.
- +GAN[15], conditional GANs(cGANs), [14]
- HOF＋AutoEncoder[19]
- [17] method to learn anomalies through leveraging weakly labeled normal and abnormal videos under a multiple instance learning (MIL) paradigm.
Dividing each video into non-overlapping temporal segments, each video represents a bag, where the temporal segments are used as instances. Since the specific information of a video containing an anomaly (positive bag) is not provided, the implemented loss function uses the maximum score in each bag to learn a ranking model, producing low scores and high scores for negative and positive instances, respectively, and improving the state-of-the-art performance significantly.
参考
FULLY CONVOLUTIONAL MULTI-CLASS MULTIPLE INSTANCE LEARNING
https://arxiv.org/pdf/1412.7144.pdf
Multiple instance classification: Review, taxonomy and comparative study
https://www.sciencedirect.com/science/article/pii/S0004370213000581
https://lionbridge.ai/ja/articles/weakly-supervised-learning/
- 画像内の物体のリスト（画像レベルのアノテーション）
- マルチインスタンス学習は、インスタンスに個別にアノテーション付けしないタイプの学習フレームワークです。
- 個別にラベル付けする代わりに、バッグと呼ばれるインスタンスの集合にアノテーションを付与します。
- バイナリ分類の場合、少なくとも一つのインスタンスが正であれば、正のバッグ、バッグ内の全てのインスタンスが負であれば、負のバッグとします。
- ラベル付けされた一連のバッグから、個々のインスタンスのアノテーションを推測しようと試みます。
- 画像の全ピクセルを「インスタンス」、画像そのものを「バッグ」と捉えると、画像レベルのアノテーションはバッグのアノテーションとして機能します。
AUC0.892
Real-world Anomaly Detection in Surveillance Videos
https://paperswithcode.com/paper/real-world-anomaly-detection-in-surveillance#code
- We propose a MIL solution to anomaly detection by leveraging only weakly labeled training videos. We propose a MIL ranking loss with sparsity and smoothness constraints for a deep learning network to learn anomaly scores for video segments.
C3D feature extraction for each video segment
