文献：Characterizing and clustering debris flow and environmental noise seismic signals using unsupervised deep learning

Characterizing and clustering debris flow and environmental noise seismic signals using unsupervised deep learning | Geophysical Journal International | Oxford Academic

AI要約

1. 背景
土石流は山岳地帯において極めて破壊的な自然災害であり、その対策として微震モニタリングが有効なリアルタイム検知手法となっています。しかし、従来の技術では土石流、落石、地震、環境ノイズといった異なる発生源からの混合信号を識別することが困難であり、土石流イベントの完全な動的進化を理解する上での制約となっていました。また、既存の教師あり学習は大量のラベル付きデータを必要としますが、地震データの多くはラベルがなく、人的なラベル付けには誤りも伴うため、ラベルなしデータから信号の固有構造を自動的に識別できる教師なし学習手法の確立が求められていました。

2. 手法

スペクトログラムの作成:
信号選択: 信号対雑音比（SNR）が高い垂直成分を選択。
窓関数適用: 信号の連続性と完全性を確保するため、60秒の固定窓長を採用。
基本的処理: instrument response（計器特性）の除去、デトレンド、デミーンを実施。
フィルタリング: 5Hz以上の高周波エネルギーを強調するため、4次バターワースハイパスフィルタを適用。
時間・周波数変換: 短時間フーリエ変換（STFT）を実施し、ハニング窓と50%のオーバーラップを設定。
正規化: 最大エネルギーで全特徴量を正規化。

データの分割方法とデータ数:
総データ数: 42,057個のスペクトログラムを使用。
分割方法: ACEの学習において、70%を訓練データ、30%を検証データとして非復元ランダムサンプリングにより分割しました（ホールドアウト検証）。過学習対策として、検証損失が30エポック連続で減少しない場合に停止する「早期停止（Early Stopping）」を採用しています。
ラベル付きデータの割合: 本研究は基本的に教師なし学習ですが、最適なクラスター数（K）の決定などの評価のために、合計データのうち2,000個（約4.7%）のランダムに選択され手動でラベル付けされたサンプルが使用されました。

機械学習手法:
モデルの流れ: 生の地震動信号 → 前処理 → 2Dスペクトログラム生成 → ACEエンコーダによる16次元潜在特徴量への圧縮 → GMM/DECによるクラスタリング（K=24）→ クラスター内頻出ラベルによるクラス分類。

特徴量抽出（深層オートエンコーダ: ACE）: 2次元スペクトログラムを入力とし、4層の畳み込み層を持つエンコーダを用いて、高次元データ（38,400次元）を16次元の「潜在空間（Latent Space）」に圧縮し、コンパクトな特徴表現を獲得します。

クラスタリングとクラス分類の詳細: 抽出された潜在特徴量に対し、Deep Embedded Clustering (DEC) 、 ガウス混合モデル (GMM) を適用して自動分類を行います。最適なクラスター数は、外部評価指標（ARI、NMI、Purity）に基づき、複雑な信号構造を捉えるのに最適な K=24 と決定されました。最終的なクラス分類（ラベル付け）は、名前のない各クラスター内を確認し、「そのクラスター内で最も頻繁に出現する既知のラベル」をそのクラスターの代表ラベルとして定義することで行われます。

目的変数（分類対象）: 土石流、落石、地震、環境ノイズの4カテゴリです。

3. 結果
分類精度とF1スコア:GMMの全体精度は92.32%に対し、DECは複雑な土石流信号の識別に優れ、全体精度93.21%を達成しました。各手法のカテゴリ別F1スコアは以下の通りです。

土石流: GMM 0.891 / DEC 0.9392
環境ノイズ: GMM 0.9134 / DEC 0.9233
地震: GMM 0.9758 / DEC 0.9759
落石: GMM 0.9184 / DEC 0.8661

精度向上：
同じガウス混合モデル（GMM）を用いて以下の2パターンで実験を行いました。

全データ一括処理: 42,057個のデータを一度にクラスタリングした場合、精度は92.32%でした。
サブセット分割処理: データを5つのサブセットに分割してそれぞれクラスタリングを行った結果、平均精度は96.81%にまで向上しました。

複雑なパターンの認識: データセットが巨大すぎると、AIはその中に隠れている非常に複雑なパターンを見落としてしまうことがあります。データを小さく分割することで、AIは各サブセット特有の細かい特徴に集中できるようになります。
データ間の密接な関係性の把握: 分割された後のデータ群では、個々のデータポイント同士の結びつきがより強まり、AIがデータの「潜在的な構造（ underlying structure）」をより効果的に特定できるようになります。
計算の効率化と負荷軽減: 大規模なデータを一度に計算するよりも、分割して処理するほうが計算上の複雑さが抑えられ、結果としてより洗練されたクラスタリング結果を得ることが可能になります。

潜在特徴量の物理的な意味: 抽出された16個の潜在特徴量は、従来の地震学的属性との相関分析により、以下の物理的意味を持つことが確認されました。
時間領域の反復性: 自己相関関数のピーク数（信号の周期性や規則性）と最も強い相関があります。
周波数領域の特性: 中心周波数の第1四分位数、正規化DFTの分散および中央値（エネルギーの分布特性）と強い正の相関を示します。
これらは、土石流の各段階で変化する物理特性を効果的に捉えています。

4. 考察
土石流の「発生・輸送・堆積」の違い: クラスタリングにより、単一の土石流イベントを物理的な段階に対応する3〜4つのクラスターに自動分割することに成功しました。
発生（初期・メインサージ）: 振幅が劇的に増大し、パワースペクトル密度（PSD）が最大になりますが、大量の物質の摺動により中心周波数は比較的低くなります。また、強い攪乱により楕円率と入射角が大きくなります。
輸送（通過）: サージ（段波）の影響により、10〜50Hzの範囲で周波数とエネルギーが進化します。
堆積（終息）: 流速と粒子サイズの減少により、エネルギーは低く、中心周波数は高くなる傾向があります。波の運動はより規則的で垂直志向になります。

教師なし学習の有効性: 大規模なラベルなしリアルタイムデータの処理に適しており、高密度観測ネットワークでのパターン発見において教師あり学習よりも汎用性が高いことが示されました。

早期警戒への応用: 潜在特徴量を教師あり学習（ランダムフォレスト）の入力に用いることで、93.15%の精度でリアルタイム早期警戒が可能になる展望が示されました。

1分データでも、ラベリングの手間はかなり大きくなります。それを回避すべく教師なし手法を利用する、という方針です。ただし、評価が必要なのでいくらかはラベリングされています。ある程度のドメインシフトにも対応できそうな手法に思えます。

24クラスタ → 4クラスなので、土石流の「発生・輸送・堆積」などへ自動的に対応できるところも当手法の特徴です。これは教師あり学習でラベルの境界を決定するのが難しいところですので、人為的ミスを回避する点でも魅力的です。

サブクラスタに分けておき、それぞれの結果を Voting するようにしてもリアルタイム運用は可能でしょう。

文献：Adaptive Machine Learning Framework for Debris Flow Monitoring

Adaptive Machine Learning Framework for Debris Flow Monitoring in Nonstationary Environments in Illgraben, Switzerland by Jui-Ming Chang, Qi Zhou, Hui Tang, Jens M. Turowski, Ko Ko :: SSRN

AI要約

1. 背景
土石流は山岳地帯における主要な災害であり、地震動データを用いた機械学習モデルによる検知が有効です。しかし、地球物理データの性質が時間とともに変化する「コンセプトドリフト」という現象が、モデルの長期的かつ汎用的な運用において大きな課題となります。
本研究は、このデータ分布の変化（非定常性）に直接対応し、高い検知精度を維持できる適応型機械学習フレームワークを開発することを目的としています。

2. 手法
機械学習手法
複数のモデルを組み合わせた Stacked Heterogeneous Ensemble を採用しています。

ベース学習器
LSTM+MLP: 10分間のシーケンスを処理するLSTMと、最新の値を処理するMLPを統合したハイブリッド構造で、時間依存性と瞬時の特徴を捉えます。
XGBoost (XGB): 静的な勾配ブースティングモデル。
ランダムフォレスト (RF): 静的な決定木アンサンブルモデル。

メタ学習器
ロジスティック回帰: 各ベースモデルの出力を統合し、単一の堅牢な確率スコアを算出します。

ハイパーパラメータ最適化
Optunaフレームワークを使用し、40回の試行を経て各ベースモデルを最適化しました。

変数
目的変数: 1分間の観測ウィンドウにおける「土石流（debris flow）」または「土石流なし（no debris flow）」のバイナリラベル。
説明変数: 当初は5つのドメイン（ベンフォードの法則、波形、スペクトル、スペクトログラム、ネットワーク特性）からなる80個の特徴量を使用していました。これに時間力学やエネルギー分布を捉える22個の新しい変数を加え、合計92個の特徴量を候補としています。

インバランスデータ
土石流イベントは極めて稀であり、データセットには深刻なクラス不均衡（クラスインバランス）が存在します。
不均衡比: 2017-2018年で0.0023、2019年で0.0078、2020年で0.0094と非常に低くなっています。

データ分割（図1bフローチャートに基づく）
各年6月から8月までの厳密な時系列データを使用しています。
学習（Training）: 2017年から2018年のデータを使用。モデルの初期構築に用いられます。
検証（Validation）: 2019年のデータを使用。これをさらに80/20に分割し、80%をメタ学習器の訓練に、残り20%を微調整（Tuning）用に保持します。
テスト（Testing）: 2020年のデータ（Hold-out test year）を使用。最終的な汎用性を評価します。
データ数: 2020年のテストデータでは、ステーションごとに約13万サンプル（1分単位）が含まれています（例: ILL18でTN=131,371）。

適応機構とドリフト検知
ドリフト検知: 2019年の検証期間と2020年のテスト期間の間の分布変化を、2標本コルモゴロフ–スミルノフ検定（KS検定）を用いて判定します。
有意水準: p < 0.05 で有意なドリフトを検知します。
対応動作: 有意なドリフトが検知された場合、事前に保持していた2019年のデータ（20%分）を用いて、事前に訓練されたLSTM+MLPモデルを**微調整（fine-tuning）**し、新しいデータ分布に適応させます。

3. 結果
全体性能: 3つのモニタリングステーションにおいて、F1スコア0.873から0.927という高い精度を達成しました。

ステーション別の特性: 最上流のILL18で最高のF1スコア（0.927）を記録した一方、下流のステーションでは環境ノイズの影響により、7月に精度が低下する傾向が見られました。

特徴量の寄与: 全92個の特徴量から、ドリフトに強い上位25個を選択して学習に用いる「ドリフト対応特徴量選択」が、モデルの汎用性向上に最も寄与することが明らかになりました。

4. 考察
適応戦略の重要性: 単一のグローバルモデルでは時間的・場所的な変化に対応できず、ステーション固有かつ適応型のシステムが必要不可欠です。
時間的モデルの役割: LSTM+MLPのような時間的依存性を学習するモデルは、見逃し（False Negative）を減らす上で不可欠な要素であることが確認されました。

今後の課題: モデルの長期的な安定性を確保するためには、最新データを用いた定期的またはスライディングウィンドウ方式による再学習プロトコルの確立が重要です。

特徴量のリンクは張られていませんが、以下がベースになっています。
agupubs.onlinelibrary.wiley.com/action/downloadSupplement?doi=10.1029%2F2024JF008094&file=2024JF008094-sup-0001-Supporting+Information+SI-S01.pdf

ドリフト（ドメインシフト）への対処療法が書かれた文献です。

• シグナルの「時間的進化」を捉えることが精度維持の鍵。
• 統計的な変化（ドリフト）を検知した場合のみ、直近のデータを用いて時系列モデルを再訓練する。
• ドリフトを考慮した特徴量選択が必要。

同じ渓流でも上流と下流、経過時間によって振動は変化し、最適な特徴量は異なる。変化を考慮したモデルが必要、という考えに沿ってモデルが作成されています。ドリフトの有無の判断にKS検定を用いており、その結果を特徴量重要度にも反映しています。
既存の手法を組み合わせて対応するといった、実務向きな内容だと思います。