2025年2月26日水曜日

土石流発生予測+機械学習の傾向

土石流発生危険度を機械学習を利用して示した文献のレビューです。
Machine-Learning-Based Prediction Modeling for Debris Flow Occurrence: A Meta-Analysis

要旨

  1. 84文献を調査(英文のみ)。
  2. MLに基づく土石流発生予測に関する研究は、計13カ国で実施。
  3. ベースライン作成として、logistic regression (LR) 、random forest (RF) が一般的。LR(43編)、SVM(24編)、BPNN(21編)、RF(21編)。ただし、直近5年間では、XGBoost、GBDT、CNN、MLP。
  4. 特徴量エンジニアリング(53編)とモデル比較(46編)が一般的に利用されている。前者は、多重共線性分析(26編)、stepwise(18編)、importance(13編)。
  5. 解釈手法が活用されることは少ない(16編)。
  6. ROC‐AUCが最も多く報告された評価指標であった。
  7. LRはRF、BPNN、SVMに比べて劣っていた。SVMはRFに匹敵。
  8. データ作成、モデルの構築・評価、予測結果の3つのステップから構成。
  9. ポリゴン?49編、ポイント36編。ポイントはグリッドセルを利用。
  10. 特徴量

    Category

    Description

    Topography

    Factors related to topography, such as slope, curvature, main channel length, etc.

    Morphology

    Factors related to the morphology of the surface evaluation unit, such as area, shape coefficient, perimeter, etc.

    Geomorphology

    Factors related to geomorphic type and evolution, such as landform, hypsometric integra, geomorphic information entropy, etc.

    Geology

    Factors related to geological structure, geological movement, and geological type, such as active fault density, seismic intensity, lithology, etc.

    Meteorology

    Factors related to meteorological factors such as rainfall, temperature, snow cover, etc.

    Hydrology

    Factors related to water flow movement, such as flow accumulation, stream power index, distance to rivers, etc.

    Soil

    Factors related to soil type, property, and thickness, such as soil texture, soil types, soil depth, etc.

    Vegetation

    Factors related to vegetation type and state, such as vegetation coverage index, normalized difference vegetation index, forest density, etc.

    Fire

    Factors related to forest fires, such as fire severity (low, moderate, high), proportion of watersheds burned at high or moderate severity, etc.

    Material source

    Factors related to loosen accumulation of internal solids, such as collapsed areas, landslide areas, debris reserves, etc.

    Human activity

    Factors that directly or indirectly characterize human behavior, such as land use, population density, distance to road, etc.

    Past debris flow

    Factors related to past debris flows in the evaluation unit, such as maximum volume, occurrence frequency, etc.

     

実際に検討を進める上で、1技術者が最近の傾向を口頭で説明しても根拠になりません。このような文献はお客様に根拠として受け入れてもらいやすいので、価値があります。土石流以外にもあるでしょう。探してみましょう。

砂防分野の機械学習利用

砂防分野では砂防施設の点検にUAVを使用する動きが活発です。

UAV動画から変状の自動抽出も研究されています。が、国の研究機関が成果を自治体に伝達する形ではなく、事務所毎で個別に検討するスタイルのようです。常に民間で競わせて、その時々で良い技術のみが利用されることを期待されているのでしょうか。

砂防学会の研究発表概要集を見てみますと、R5、6年度で3件の発表が掲載されていました。

場所、管理者

手法

フレームワーク等

対象

発表名

年度

桜島
九州地方整備局 大隅河川国道事務所

物体検出

YOLO5

AIにより自動検出する対象は、既知の変状の細かな進行度合い(変状レベル)でなく、新規で生じた大き な変状(陥没等)の有無とした。

AIを用いたUAV砂防巡視点検結果からの変状箇所自動抽出について

R5

川辺川流域
九州地方整備局 川辺川ダム砂防事務所

物体検出

VIS&TFC 処理、Mask R-CNN

解析対象の変状は川辺川流域の砂防施設で 多く発生している摩耗とした。

川辺川流域における AI 等を活用した砂防施設変状箇所抽出および変状量把握の試み

R5

稲荷川、般若沢
関東地方整備局 日光砂防事務所

セグメンテーション、マッチング、差分計算

DINOv2、AKAZE、BFMatcher、RANSAC

臨時点検の効率化のため,半自動で大きな変状の有無を判定し,効率化を図ることを目指す。

UAV 画像解析による砂防施設の緊急点検時の変状自動判定手法の検討

R6

 

いずれも実用化には至るレベルには到達していない印象を受けますが、大きな変状を対象としていますので、ある程度の精度に至るのは時間の問題でしょう。



2025年2月24日月曜日

道路分野の機械学習利用

少し前に、運転中にビデオカメラを利用している交通量調査に遭遇しました。
数年前からAIカメラと称して民間や国が研究していましたが、ようやく生活の中に感じるまでになりました。

webでは交通渋滞の把握、事故分析、変状抽出などに機械学習を利用されている宣伝を見かけます。建設工業新聞にも出ていましたが、道路分野、河川分野で予算が付いたようですので、今年はますます機械学習が浸透していくのでしょう。
国交省/道路の被災や事故を生成AIで検知高精度化、迅速な初動対応に寄与 – 日刊建設工業新聞

もし道路分野で変状抽出に対する機械学習が浸透していた場合、八潮市内での道路陥没事故を防げたかを考えると、難しかったのではないかと思います。表面の調査だけでは地下を把握することは難しい。ニュースでは地上からレーダー探査を実施している状況が写されていましたが、これも数mしか把握できません。現状では対応が難しいのですが、下水管の臨時点検で異常が見つかった付近にセンサーを設置して、トモグラフィーをかけるぐらいしか思い浮かびません。

これから新設する場合、センサーとしての光ファイバーを抱き込んでおけば、異常の発生しつつある場所を把握しやすいと思われます。リアルタイムで長期間、長距離、高密度でデータの取れる手法というと、DASしか思い浮かびません。DASで取得した大量のデータに対し、機械学習(この場合は異常検知でしょうか)を利用することで異常箇所を抽出します。そこを技術者が点検する、という流れが効率的に安全を確保する一手段になると思います。

土木分野での IoT、DX 利用は、管理者や企業のためではなく、社会のためというのが本質でしょう。見えない場所に張り巡らしたセンサーでデータを取得し、機械学習を利用して効率的に人の安全に役立つような仕組みを考え提供することは一つの利用法だと思います。将来の世代のためにも研究対象を選択し、お金を費やす場所を選ぶ必要があります。


2025年2月22日土曜日

Post-failure analysis

崩壊後の土砂流動を再現/予測するシミュレーション手法は、複数あります。

個人的には2次元平面‐浅水方程式(LSFLOW)、3次元DEM(PFC)、3次元SPH‐弾塑性+ビンガム流体(自作)を利用したことがあります。
2次元平面の計算が軽く、3次元が重いのは仕方がありません。再現性はどれも同じでしょうか。
LSFLOWが流体っぽく対岸への乗り上げまで再現できていましたが、天然ダムの形成を再現するにはパラメーターを場所ごとに細かく設定する必要があり、予測には不向きです。
SPHは弾塑性ベース、pre-failure stage からスタートするので、土塊がまとまりながら落ちる(最初から広がらない)という実際の痕跡に近い挙動を示します。すべり面の発達過程や位置がわかる点で、他の2つよりも有利でしょうか。
DEMもSPHも、LSFLOWほどパラメータに敏感ではない印象があり、予測でも取り扱いやすいのが良い点でしょう。

以下では CEL: Coupled Eulerian-Lagrangian (ABAQUS)、MPM(ANURA3D )、SPH(GEOXPM) を比較されています。意外と見かけない、ありがたい文献です。

再現性優先でパラメータスタディするのではなく、パラメータ固定で再現性と速度、ファイルサイズを比較しています。MPIでも複数のノードを使わない条件での比較ですのでコードの能力を十分に発揮していないのですが、それでもSPHが速くて良いというのは予想と逆の結果でした。うーん、他の手法はそんなに重いのか?

もう少し情報が欲しいですね。

2025年2月13日木曜日

Non-Landslide Sampling

後輩君から非発生のサンプリングについて相談がありました。
個人的には崩壊斜面と非崩壊斜面の差を求めるのが最も厳しい条件なので、低地を除くことを勧めました(相対的に結果は悪化しますが)。前に話したバッファの話題が出なかったので忘れてしまったのかもしれませんが、非発生のサンプリングについて考えて迷ったのは良いことだ思います。

あらためて非発生のサンプリングにかかわる文献を見てみますと、ひどいサンプリングが多い。低地のみから非発生データを取得して見かけの判別精度を上げています。この方法は簡単に精度を上げることができるのですが、使い物になりません。「9割超えの結果はまず疑え」と、どこかで読んだことがありますが、素人さんからみると良い結果に見えるのでしょう。
文献の著者から見ると、ひどいと思う日本人の感覚の方がおかしいのかもしれません。たまたまその斜面が崩壊しなかっただけで、危険性が高いのは変わらない。そこから非崩壊サンプルを取得するのは合理性に欠ける。そもそも、地形量から推定できる崩壊・非崩壊の予測精度はそれほど大きくないですから、著者のように斜面は危ないと割り切ってしまう潔さも必要なのかもしれません。
力学の視点で LSM を作ると精度がよさそうに思えますが、これも含水率や土砂の厚さなど様々な条件を正しく設定できない限り当たらないはずです。この設定は相当困難。そう思うと、地形量のみから作成できる LSM のレベルがそれほど高くないことは容易に想像できるでしょう。達成できる精度を念頭に置きつつ、こだわる場所を選択すべきなのでしょうね。

現状でのサンプリング方法は以下でしょうか。
・ランダムサンプリング < バッファ < 斜面単位
・重心、コア < 頭部 < 滑落崖

非発生のサンプリング方法は重要です。引き続き考えて参りましょう。
以下、文献のメモ(感想付き)です。

感想〇
斜面単位でのサンプリングは、バッファ500m等よりも優位
予測結果をK-meansクラスタリングによりゾーニング。これが最も優れている。

感想X(保守的すぎる予測、機械学習不要)
過小評価されがちな重要な要素は、非発生地域のサンプリング(Rabby et al., 2023)。
LSMの信頼性と精度は、データ選択の卓越性とその形成に採用された方法論と本質的に関連している。
一般的に使用される非発生のサンプリング方法は次の通り。
1)非発生エリアからサンプリング
2)地形特性と専門家の判断によって決定される傾斜閾値よりも低いエリアの使用。
(Adnan et al., 2020)は2度、(Ali et al., 2021)は3度の閾値を使用。
3)地すべりから一定の距離を超えるエリアから選択。
(Taalab et al., 2018)は、200mバッファを使用。

当研究では以下の2種を比較、シナリオ1の方が高いF1ROC-AUCを示した。
1.傾斜角(シナリオ 1): 指定された傾斜角の閾値を下回るエリアに基づくサンプリング方法。
この研究では、10°の傾き閾値を採用。調査範囲内の地すべりのうち <10° の傾斜で発生したのは 2% に過ぎず、このクラスの頻度比はわずか 0.06 である。
この低頻度比は、地すべり発生との相関が極めて弱いことを示している。
2.バッファー(シナリオ 2): 本研究では、250mバッファを利用。

感想△(危険度抵からのみ取得するのは保守的)
LSA手順には、主に地すべり(ポジティブ)および非発生(ネガティブ)データセットのサンプリング、影響要因の決定、モデリングとマッピング、および結果の精度分析が含まれる(Barik et al., 2017)。
主な非発生のサンプリング手法は4つ
1)ランダムにサンプリング(例:Okalp and Akgün、2016;Bueechi et al., 2019;Azarafza et al., 2021)・・・最も一般的
2)バッファ(Xi et al., 2022)
3)自己組織化ニューラルネットワーク(Huang et al., 2017)、類似性に基づくアプローチ(Zhu et al., 2019)
4)傾斜角の小さい地形領域または平野地域からのサンプリング (Kavzoglu et al., 2014;Lucchese et al., 2021;Okalp and Akgün, 2022)
欠点
1) と 2) によって生成されたサンプルは、地すべりの発生しやすい急な斜面に配置されている可能性あり。
4)は地すべりの発生しやすい河川近くに配置される可能性あり。

当研究では以下を比較
SVM からの Very Low (VL) ゾーン
C5.0-DT からの VL ゾーン
LRからのVLゾーン
地すべりゼロエリア
バッファ距離 <200 m
バッファ距離 200–400 m
バッファ距離 >400 m

地すべりのコアのみを正のサンプルとして使用し、地すべりの危険性モデリング中に地すべりの境界をカバーするピクセルを破棄する方法が良い
バッファー距離の増加に伴って AUC の精度が向上
C5.0モデルのVLゾーンの精度が高い。

感想△(危険度抵・高から1:1で取得するのは、エリアにより保守的になる)
非発生サンプルを選択するための統一基準はない[22,23]。
①地すべりのない地域でのランダムサンプリング、地形的特徴に基づく低傾斜サンプリング、②地すべり境界のバッファー外のサンプリング等がある。
これらの方法は主観的な判断や特定の地理的要因に依存することが多く、潜在的な地すべり地域をネガティブサンプルとして誤って選択するリスクを完全に回避することはできない。
入力データが地すべり発生地域と非発生地域の両方の地理的特性を十分に表していることを確認することが必要。
現在の研究では、一般的に発生・非発生を1:1の比率で使用。ただし、このバランスの取れたサンプリング戦略は、実際のフィールド条件を完全には反映しいない[14]。
一部の研究者は、不均衡データを処理するためオーバーサンプリングやアンダーサンプリングなどの戦略を提案。それでも情報の損失やオーバーフィットのリスクに直面している。

当業務では③SHAP値を用いたサンプリングを実施。初期モデルとしてRFを構築。
シナリオ2:予測結果より、エリアを2分(危険度艇・高)、面積比1:4.23でサンプリング
シナリオ3:最も寄与の大きなNDVIのSHAP値分布により、エリアを2分(危険度艇・高)、そこから同数ずつ非発生を選択
過剰適合の可能性あり[14,35]。

感想〇
インベントリに15度未満の発生事例ナシ。
余裕をもって10度以上を対象とした。

2025年2月12日水曜日

Raspberry Pi - PC 直結

ラズパイと PC を LAN ケーブルで直結し操作する方法は、検索にてたくさん引っかかります。そのうちの一つを今日試しました(屋外でラズパイ単体を操作する必要に迫られました)。
Raspberry Pi 4をPCと有線LAN接続して外でも操作できるようにしてみた | DevelopersIO

RasPi
・LANケーブルを接続せずに起動

PC
・iPhone に Wi-Fi 接続
・USBアダプター[イーサーネット4] と LAN ケーブルで RasPi と直結
・iPhone の Wi‐Fiプロパティでネットワークを共有、ホームネットワーク接続[イーサーネット4]
・コマンド arp -a で マックアドレス b8 から始まるインターフェース(RasPi)の IP を確認
・VNC で RasPi に接続

RasPi
・USBメモリを差し込む
・wdisk 11 /media/pi/USB_Name/out


2025年2月6日木曜日

Windows11 への RDP接続

Windows11(Microsoft Entra 参加済み) への RDP接続で、うまくいかないWin PCが出てきました。

ストア版はつながる、OS付属の標準版?デスクトップ版?はダメな状況です。ストア版はマルチモニタに対応していない、再起動するまでキーマップがおかしくなるなど不満あり。だが仕方がない状況なので使っていたのですが、本日こちらもつながり難い状況に陥りました。仕方なく重い腰を上げて調べることにしました。

で、得られた答えはこちら。簡単に出てきました。もっと早く調べたらヨカッタ。

https://learn.microsoft.com/ja-jp/azure/virtual-desktop/rdp-properties

enablecredsspsupport
構文: enablecredsspsupport:i:<value>
説明: クライアントが認証に資格情報セキュリティ サポート プロバイダー (CredSSP) を使用するかどうかを指定します (使用可能な場合)。
サポートされている値:
0: オペレーティング システムが CredSSP をサポートしている場合でも、RDP では CredSSP を使用しません。
1: オペレーティング システムで CredSSP がサポートされている場合、RDP では CredSSP を使用します。
[既定値]: 1
適用対象:
Azure Virtual Desktop
リモート デスクトップ サービス
リモート PC 接続

クライアント側の rdp ファイルに enablecredsspsupport:i:0 を追記すればOK。
接続できました。