ラベル 機械学習 の投稿を表示しています。 すべての投稿を表示
ラベル 機械学習 の投稿を表示しています。 すべての投稿を表示

2026年11月1日日曜日

AI と英語学習 その2

英語でのポスター発表を終えました。

技術面では、オーストリアやノルウェーの観測事例やハザードに対する考え方を学ぶことができました。日本も負けずについていかねば、と改めて感じました。

また、「AIで作ったな」とわかるポスターやスライドが増えていたのも印象的でした。使い勝手が良いので多くの人が利用しているのでしょうが、発表から個性が失われていくさみしさも。ま、私も助長してしまっているのですが。

一方、英語の面で痛感したのは、自身の雑談力の低さです。いくつかの国の方々と話をして、日本のことを説明できない。食事の席では出汁の説明ができず、日本の文化についてもうまく話せませんでした。練習していた英語のアウトプットといえば、技術英語ばかりだったからでしょう。純粋な英会話の練習も必要でした。

スマホの音声モードでAIを使えば会話になります。が、これだけでは上達しないと思います。まずは Input からでしょう。
雑談でよく聞かれる話題について、英語で短く話せる説明をAIに用意してもらうのが効率的かもしれません。食事、温泉、お箸のマナー、季節の行事、地方の話、そして自分の趣味。それらを自分の言葉で言えるまで練習しましょうか。

技術以外のことを考えられるようになったのは、余裕が出てきたのか、それとも歳のせいか。本業の成果を年々厳しく求められていますので、次の機会を得られるかはわかりません。が、プライベートとして気長にいきましょう。

2026年9月21日月曜日

AI と英語学習

AI の進化により、国外の多くの論文を短時間で要約、把握できるようになりました。

とても便利なのですが、苦手な英語を読む必要がなくなったので、より一層、苦手になりました。計算機を使えば計算能力が落ちると考えた昔の人みたいですが、実感しているので笑ってもいられません。
どうにかしないといけない、と思い AIに頼ることにしました。AI を使う障害は AI を利用して克服しよう、という発想です。
まず作ったのは、Readerです。PDFを読み込み、1文づつEnterキーで読み進めます。同時に音声読み上げを実施してもらうので誤って覚えていた発音のチェックにもなりますし、和約、構文、単語の意味を表示しているので、わからない文、単語、イディオムが出てきたらそれらを見る、聴く、という使い方ができます。和訳等のデフォルト表示は無料枠を利用しているため回数に制限があったり精度は低かったりするのですが、都度調べるよりは思考が途切れないので助かります。特に音声は飽きなくて良いですね。

難しい文章が出てきた場合は有料枠の AI 翻訳&解説で詳しく調べます。ま、回数制限を回避するためにも基本はこちらをデフォにする使い方になるのかな。DeepL や ChatGPT の API も使えるようにしてもらいましたが、そちらは試していません。バグも出てきていますので、使いながら改善していきましょう。


もう一つ。近々、英語でのポスター発表を控えています。AI にスキルを使って作らせたポスターと原稿を与え、二十数時間の発表練習教材を作ってもらいました。ずいぶん前に書いた論文なので中身を忘れかけていましたが、10時間ほどこなす内に徐々に思い出してきました。
作ってもらったのは、主要な単語、内容のまとめ、挨拶、説明(2種)、質疑応答です。後半は Claude のチャットに1時間で実施する内容を毎回渡して、音声モードで会話する形にしました。専門的な内容でも練習ができるのが良い点。反応に一呼吸入る場合があるのと、時々暴走するのが悪い点、でしょうか。もう少し AI にフィードバックしながら練習内容を詰める必要がありそうですが、ひとまず教材はできました。
ま、20時間程度で話せるようになるわけではないのですが、今までの学習よりは効率的だとは思います。


考え方なんでしょうね。
AI が何かの障害になるのであれば、別の有利になるような使い方を考える。そういった発想も今後は頻繁に必要になってくるのでしょう。

文献:Causality-based Feature Selection: Methods and Evaluations

DOI: 10.1145/3409382
URL: https://doi.org/10.1145/3409382
書誌: Yu, K., Liu, L., & Li, J. (2020). Causality-based Feature Selection: Methods and Evaluations. ACM Computing Surveys, 53(5), 1–36.

AI要約

【背景】

  • 古典的な特徴量選択は、特徴量とクラス変数の相関(共起)に基づく。因果関係は捉えない。相関だけで選ばれた特徴(例: 喫煙者の黄色い指と肺がん)は、予測に効いても機構の説明にならない。データの分布が変わると、予測も崩れる。
  • 因果特徴量、特にMarkov boundary(MB: クラス変数の親・子・配偶者)には理論保証がある。忠実性等の仮定の下で、MBは最大予測力を持つ最小の特徴集合になる。解釈可能で頑健なモデルにつながる。
  • 多数の因果特徴量選択アルゴリズムが提案されてきた。しかし、包括的なレビューは存在しなかった。比較の基盤となるオープンソース実装も存在しなかった。

【手法】

因果ベース特徴量選択の包括的レビューと大規模実証評価である。まず、ベイジアンネットワーク・Markov blanket/Markov boundary・忠実性・因果十分性といった基礎概念を定義する。対象は、クラス変数のMBまたはPC(親子: 直接原因と直接結果)をデータから学習する枠組みである。アルゴリズムは2系統に分類される。制約ベースは、条件付き独立性検定を用いる。この系統は、さらに2型に分かれる。IAMB系は、MBを一括推定する(同時学習型)。MMMB・HITON-MBは、PCと配偶者を分けて探す(分割統治型)。スコアベースは、SLL・S2TMBなどBN構造スコアを用いる。MB内で原因と結果を区別するアルゴリズムも概観される。次に、代表的アルゴリズムを実装したオープンソースパッケージCausalFSを開発した(C言語、GitHubで公開)。評価には2種のデータを用いた。一つは、ベンチマークBNから生成した合成データである。もう一つは、特徴量数57〜100,000の8つの実データセット(spambase、madelon、gisette、arcene、dexter、dorothea、infant、bankruptcy)である。選択された特徴集合で、NB・KNN・SVMの分類器を学習した。予測精度・コンパクト性(選択特徴数)・AUC・計算時間を比較した。

【結果】

  • クラス変数のPC(親子)集合による分類性能は、MBに劣らなかった。PC学習は、MB学習よりはるかに効率的だった。実用上はPC学習が現実的と確認された。
  • 標本サイズが大きい場合、同時MB学習型(IAMB系等)は他のアルゴリズムより有意に高速だった。予測精度も競合した。FBEDが最速だった。
  • スコアベースのMB/PC学習は、MBが大きいと計算コストが法外になった(例: spambaseでMBサイズ30超のSLL・S2TMB)。制約ベースに対する明確な優位を示さなかった。
  • 合成データでは、後退戦略や対称性チェックが偽陽性の除去を通じて精度を大きく改善した。一方、実データでは、偽陽性を許容する方が分類に有利な場合があった。理由は、ノイズと小標本である。
  • クラス不均衡データ(infant、bankruptcy、dorothea)では、全アルゴリズムのAUCが大きく低下した。既存手法は、不均衡データに対処できていない。

【考察】

  • MBの理論保証を持つ因果特徴量選択は、解釈可能で頑健な機械学習への有望な方向とされる。CausalFSが、手法比較と新規開発の共通基盤になる。
  • 忠実性・因果十分性の仮定は、実データでしばしば破れる。欠測・ノイズを含む低品質データ、ストリーミングデータ、不均衡クラスへの対応が未解決課題として残る。
  • 相関ベースの予測変数は、分布シフトの下で予測を誤りうる(黄色い指の例)。本論文は、この予測と因果の乖離を明確に概念整理した。


文献:Metalearners for estimating heterogeneous treatment effects using machine learning

DOI: 10.1073/pnas.1804597116
URL: https://doi.org/10.1073/pnas.1804597116
書誌: Künzel, S. R., Sekhon, J. S., Bickel, P. J., & Yu, B. (2019). Metalearners for estimating heterogeneous treatment effects using machine learning. PNAS, 116(10), 4156–4165.

AI要約

【背景】

  • 平均処置効果(ATE)を超えて、属性で条件付けた効果=条件付き平均処置効果(CATE)を推定したい需要が高まっていた。しかし、教師あり学習アルゴリズムはCATEを直接推定するようには設計されていない。
  • 既存の代表的なメタ学習器には、T-learnerとS-learnerがある。前者は、処置群と対照群を別々に回帰して差をとる。後者は、処置の有無を通常の特徴として1本のモデルで回帰する。どちらも、群サイズが不均衡な場合やCATEが応答関数より単純な場合に非効率になる。
  • 同一の対象では、「処置あり」「処置なし」の両方の結果を観測できない。そのため、個別の処置効果は直接には識別できない(因果推論の根本問題)。

【手法】

任意の教師あり学習アルゴリズムをCATE推定器へ変換する「メタ学習器」の枠組みを整理した。その上で、新手法X-learnerを提案した。X-learnerは3段階からなる。第1段では、対照群・処置群それぞれの応答関数(共変量から結果を予測する関数)を任意の基学習器で推定する。第2段では、「代入処置効果」を作る。処置群では、観測結果から対照側モデルの予測値を引く。対照群では、処置側モデルの予測値から観測結果を引く。この代入処置効果を目的変数として、各群でCATEを回帰する。第3段では、2つのCATE推定を重み関数(傾向スコアの推定値を推奨)で加重平均する。この構成の利点は2つある。一方の群の情報を、他方の群の推定に活かせる。CATEの線形性・疎性・平滑性といった構造を、第2段の回帰で直接利用できる。理論面では、応答関数の収束レートとCATEの収束レートを分けて解析した。実装では、ランダムフォレスト(honest RF)とBART(ベイズ的な回帰木のアンサンブル)を基学習器に用いた。広範なシミュレーションに加え、政治学の2つのフィールド実験(社会的圧力による投票率向上実験・戸別訪問による偏見低減実験)を再解析した。実装はソフトウェアパッケージhteとして公開されている。CATEのブートストラップ信頼区間も備える。

【結果】

  • シミュレーションでは、どのメタ学習器も一様には最良でなかった。ただし、X-learnerは最悪になることが無かった。群サイズが不均衡な場合や、CATEに線形・疎などの正則性がある場合に特に良好だった。
  • 理論では、CATEが線形で対照群が十分大きいとき、X-learnerが処置群サイズnについてパラメトリックレートn^(-1)を達成することを証明した(Theorem 2)。CATEに正則性を仮定しない場合は、T-learnerと同じミニマックス最適レートを達成する。
  • 投票率向上実験(対照191,243人・処置38,218人、ATE 0.081)の再解析では、過去の投票が1回のみの層に有意な負の反動(backlash)を検出した。効果は投票履歴3回の層で最大だった。この異質性は標的化に有用である。
  • 偏見低減実験(最終標本n=501、ATE 0.22)では、原著者が線形モデルで見つけられなかった効果の異質性をX-RFが検出した。S-learnerは推定を0へ縮小し、T-learnerは散らばりが最大で、X-learnerは中間だった。
  • 実データに基づくシミュレーションでは、小標本でX-RFのRMSEがS-RF・T-RFより小さかった。

【考察】

  • X-learnerの本質的な強みは、「CATEが応答関数より滑らかで単純」という実データで頻繁に見られる状況を利用できる点にある。逆に、CATEがほぼ0ならS-learnerが有利になる。応答関数が群間で全く異なるなら、T-learnerが有利になる。この使い分けの指針を与えた。
  • 基学習器の選択も精度を大きく左右する。小データ・大域的構造にはBART、大データ・局所的構造にはRFが向く。因果フォレストの性能は、RFを基学習器とするメタ学習器と同程度だった。
  • CATEの信頼区間はブートストラップに依拠する。形式的な保証のある区間の構成は、今後の課題と明記されている。


文献:Double/Debiased Machine Learning for Treatment and Structural Parameters

DOI: 10.1111/ectj.12097
URL: https://doi.org/10.1111/ectj.12097
書誌: Chernozhukov, V., Chetverikov, D., Demirer, M., Duflo, E., Hansen, C., Newey, W., & Robins, J. (2018). Double/Debiased Machine Learning for Treatment and Structural Parameters. The Econometrics Journal, 21(1), C1–C68.

AI要約

【背景】

  • 高次元の局外(ニュイサンス)パラメータの存在下で、低次元の因果パラメータθ0を推定したい。しかし、局外パラメータ空間の複雑さが標本サイズとともに増える現代的設定では、古典的セミパラメトリック理論の前提(Donsker性など)が破綻する。
  • 機械学習で局外関数を推定して素朴に推定式へ代入すると、正則化バイアスと過学習がθ0の推定量に一次で流れ込む。その結果、√N一致性が失われる。
  • lasso・ランダムフォレスト等の任意の機械学習手法を局外推定に使いながら、θ0の妥当な信頼区間を得られる一般理論が必要だった。

【手法】

本論文は、部分線形回帰モデル Y=Dθ0+g0(X)+U、D=m0(X)+V を主導例とする。まず、素朴なプラグイン推定量の誤差を分解し、g0の学習バイアスに由来する項の発散を示す。この問題を除去する要素として、2つが提案される。第一は、Neyman直交スコアの使用である。これは、局外パラメータの推定誤差への感度が一次でゼロになるモーメント条件を指す。具体的には、処置Dから調整変数Xの効果を回帰m0で取り除いた残差と、結果Yからg0の寄与を取り除いた残差の双方を使って回帰する。この「二重の予測」が、double machine learning(DML)の名の由来である。第二は、cross-fitting(交差適合)である。標本を分割し、局外関数を補助標本で学習し、主標本でθ0を推定する。役割を入れ替えて平均すると、過学習による自己バイアスを避けつつ全標本の効率を回復できる。理論条件は、局外推定量の収束レートに関する弱い要請のみである。このため、lasso・ridge・ランダムフォレスト・ブースティング木・深層ニューラルネットやそれらのアンサンブルを利用できる。この一般理論は、部分線形回帰、部分線形IVモデル、非交絡下のATE・ATT、IV設定のLATEの推定に適用された。さらに、3つの実証例(ペンシルベニア再就職ボーナス実験、401(k)の資産効果、Acemoglu et al. (2001)の制度と経済成長のIV)が使用法を例示する。

【結果】

  • DML推定量は、真値のN^(−1/2)近傍に集中する。近似的に不偏で、正規分布に従う。妥当な信頼区間も構成できる。これらの性質が、弱い条件下で証明された。
  • 数値実験では、非直交の素朴な機械学習推定量の分布が真値から大きく偏った。正規近似も破綻した。直交化したDML推定量は、ほぼ不偏だった。正規近似も良く成立した。
  • ボーナス実験の再分析では、失業期間(対数)へのATEがどの機械学習手法でも−0.073〜−0.085となった。いずれも、5%水準で有意だった。
  • 401(k)適格性の純金融資産へのATEは、無調整で$19,559(SE 1413)だった。柔軟な調整により、推定値は大幅に減衰した。適格性を操作変数とする加入のLATEは、全手法で正かつ有意($8,944〜$11,764)だった。
  • lasso・回帰木・フォレスト・ブースティング・ニューラルネット・アンサンブルの推定値は、広く整合した。この結果は、直交化の理論的予測と一致する。

【考察】

  • Neyman直交化とcross-fittingという2つの単純な要素が、任意の高性能な機械学習器を因果パラメータ推定へ安全に組み込む汎用手続きを与える。
  • 局外関数の推定には、収束レート条件が必要である。極端に複雑な局外関数では、推定は依然として失敗しうる。
  • 401(k)の例では、5分割の交差適合が2分割より標準誤差を小さくした。ただし、分割数と精度の一般的関係はないと注意されている。



2026年7月6日月曜日

AI と"考える"技術者

AI を使うことで、コーディングの壁がなくなりました。
これまで土水問わず多様なシミュレーションコードを触ってきましたが、これらは全てAIが組めるようになりました。プログラムの組み方を知らなくても、AI に教えてもらいながらシミュレーションができる時代になってしまいました。この点で、シミュレーションを専門にする技術者のアドバンテージはなくなりつつあります。生き残るには、これまでにないアイデアを出し続けられる人か、AI の誤りを正せる人か。そう考えると、若い方々をどのように育てるべきか悩むところです。効率化のためには AI に頼るべきですが、生き残るためには AI に頼らず時間をかけて考え、失敗を繰り返しながら判断力をつけて頂きたい。いずれにせよ、AI によって一定レベルの技術者の需要が失われるのは確実でしょうから、それを見据えて今何をするか、何をしたいかを考えてもらう必要があるでしょう。

建設コンサルタントが委託されている設計業務も、ある程度 AI ができるレベルになっています。各種基準書は AI にやさしい形で提供され始めましたし、点群、平面図、用地、各種制約条件等を与えて判断ポイントを教えると、どの会社でも 1, 2 年で実用化できる環境は整っています。もしかすると、国が設計スキル群を公開するかもしれません。そうなると、設計者の数が今ほど必要なくなります。より短時間で誰でもできる仕事になるので、設計単価も安くなるでしょう。そもそも、誰でも一定品質で設計できるように基準やマニュアルが整備されてきた背景があるため、画一化、統一化と相性の良いAIこそ、この理念の行きつく答えなのかもしれません。ま、コンサル業界がそこまで見ていたら、失業を伴う方向に本気で取り組むことはないと思いますが。

そう考えると、重要となるのは測量や調査です。人はもちろん、AIであっても地下の状態はわかりません。いかに精度よく、効率的に3Dデータを現場から持って帰られるか?地下の状態を的確に把握することができるか?近い将来、地質踏査やボーリング調査がこれまで以上に重要視されると思います。ま、さらに先はそれらも自動化されるのでしょうが。

そしてもう一つ。現状の AI は国産ではありません。先日の Mythos や Fable 5 をめぐる一件では、そのサプライチェーンリスクを改めて突きつけられました。頼りすぎるのも危ういが、頼らなければ後れを取る。AI を使うことを前提としながらも、それに依存しきらない考える技術者をどう育てるか。これが、短期的には避けて通れない課題なのだと思います。


2026年7月2日木曜日

Claude

Claude で Fabale5 を再び使えるようになりました。

早速、過去のコード群を修正。あきらめかけていた資料収集を深堀。で、1時間でクレジットを消費。強いけど、高い。

「デフォルトでリモートコントロールを有効にする」を ON にすると、Code に 別PC のプロジェクトが表示されるようになりました。他PCの計算をリモートで制御できるようになっています。Linux版 Desktop が出たので、Windows , Linux へスマホからでも、指示ができるようになりました。知りませんでした。

Claude Science も発表されました。何ができるのでしょうか。


ひとつづつ、試していきましょう。


2026年6月20日土曜日

生成AIとオジサンのシナジー

後輩君「表面波の分散曲線を得られない」とのこと。

データの一部を見せてもらいました。
まずはコリレーション。そしてCMP重合。で、位相シフト。Claude に指示したところ、何の問題もなく結果が出ました。彼も Claude を使用して試行錯誤していたのにたどり着けていません。

この差は何なのか?と考えた結果、経験か?となりました。
知識はあっても、不慣れであれば指示が大雑把になるかもしれません。求める答えにたどり着くには、AIの提案に対して細部の判断、方向性のずれの早期修正が必要です。手順、見たい周波数帯、測点の選定範囲、間隔など、基礎知識として点で持っていても、線でつながっていないと適切な指示ができないのでしょう。

以前は基礎知識を習得後、自分でプログラムを組むか市販ソフトの使い方を覚える必要がありました。が、今はそこまで必要ありません。順に何をしたいか、何に気を付けないといけないか、誤っていたら修正させるなど、口頭でそのまま AI に渡せる能力があれば十分です。若い人たちに対しては、ソフトの指導は必要なく、考え方の指導がより重要になっています。もしかすると、オジサンに優しい時代が来たのかもしれません。

基礎知識、ノウハウ、応用力がより重要になっています。オジサンの経験を Skill として記録し展開することで、停滞していた技術の伝承もある程度進むのかもしれません。


2026年6月14日日曜日

生成AIのSkillと研究

Fable5 が使用停止になっている Claude。

UBUNTU では Code を CLI で利用しています。
Windows では GUI?。こちらには Chat, Cowork, Code が含まれています。Chat, Cowork は アカウント共通で、別 PC でも(Chatは)スマホでも同じセッションを扱えます。カスタマイズした skill も共通です。

が、Code の Skill は PC 毎。カスタマイズした Skill とは別です。
plugin も含めて整理すると3系統です。

① アカウント共通のSkill(クラウド型)— Chat / Cowork
保存先: Anthropic アカウント(クラウド)
同期範囲: ログインした全端末で共通。Skill は自分のアカウント専用(プライベート)。Enterprise はオーナーが組織全体へ配布可。
追加方法: アプリ内 Customize > Skills →「+」→ Browse skills / Create skill(Create skill 内で ZIP アップロード)
実行環境: コード実行コンテナ(要:Code execution 有効化 / Settings → Capabilities)
対応形式: 自己完結した単体 Skill のみ。ZIP はルートに Skill フォルダごと入れ、中に SKILL.md。

② PC別のSkill(ローカル型)— Code(Claude Code)
保存先: このPCのファイルシステム。-g 指定時は %USERPROFILE%.claude\skills\、-g なしはそのプロジェクトの ..claude\skills
同期範囲: PCのみ(端末ごとに個別インストール。アカウント同期なし)
追加方法: ターミナルで npx skills add ... -a claude-code(-g=全体 / なし=そのフォルダ(プロジェクト)限定)
実行環境: ローカル

③ Plugin
中身: Skill+エージェント+コマンド+フックの束
保存先: PCの %USERPROFILE%.claude\plugins\(ローカル)
同期範囲: PCのみ(アカウント同期は公式に無し)
追加方法: Claude Code 内で /plugin marketplace add owner/repo → /plugin install 名前@マーケット名
実行環境: ローカル(Claude Code)

node が入っていない PC では、Code に頼めば両方ともいれてくれます。
npx skills add https://github.com/vercel-labs/skills --skill find-skills -a claude-code -g
npx skills add https://github.com/anthropics/skills --skill frontend-design -a claude-code -g
npx skills add remotion-dev/skills --skill remotion-best-practices -a claude-code -g

論文作成に使えそうな Plugin, Skill では、以下が引っ掛かりました。
npx skills add dsebastien/ai-skill-scholar --skill  "*" -a claude-code -g
npx skills add dsebastien/ai-skill-arxiv --skill "*" -a claude-code -g

https://github.com/tam07pb915/ethical-academic-writing
これはclaude.aiでの利用が推奨されています。①クラウド型 Chat / Cowork ZIP 用です。
ダウンロード → claude.ai の Customize > Skills → Create skill でアップロード。
中身は Skill なので、②としても可能。
npx skills add https://github.com/tam07pb915/ethical-academic-writing --skill ethical-academic-writing -a claude-code -g

以下はフックの自動実行が将来的に不安だったので入れていません。が、プラグインの入れ方として残しておきます。
https://github.com/Galaxy-Dawn/claude-scholar/blob/main/README.ja-JP.md

インストール
/plugin marketplace add Galaxy-Dawn/claude-scholar
/plugin install claude-scholar@claude-scholar
/reload-plugins

削除
/plugin uninstall claude-scholar@claude-scholar
/plugin marketplace remove claude-scholar


研究にAIを使わないという選択肢はもうありません。有効な使い方、プロセスが提供されていますし、若い方にとっては標準ツールの一つになっているでしょう。
どう使うかが問われる中で、自分の使い方を模索しつつ、同時に対応も求められている──そのような状況です。




2026年6月9日火曜日

FGAM2

地形も入れたFGAM1よりも、雨だけFGAM2の方が汎化性能が良さそうなので、そちらでコードを動かしてみました。

が、得られた降雨応答局面 F(t, X)がおかしい。崩壊直前より33日前の方が効きが良い。実際は逆です。最初に確率を稼いでおいて、段々減じるような非物理的モデルになっています。



論文では「近い日が効いている」とのことなので、逆転しています。でも、得られた確率はあっている。うーん。
ふと、空間CVの一つを見てるからか!と気づきました。全データ使えばどうか?と思い、予測していた能登も学習データ(紀伊+宮城)に混ぜてみました。
結果はOK。論文通り、近い日も効きました。

mgcvのように省けそうなルーチンが含まれて手数が多くなっているのですが、その割に物理モデルとまでは言えない結果。これなら従来の実行雨量の方がシンプルでは?と思い試してみました。
実効雨量を説明変数にしたロジスティック回帰と、FGAM2 を、同じ学習/検証分割で比較。


半減期が短いほど能登で良い(3日 0.846 > … > 60日 0.770 > 単純累積 0.747)。=最近の雨ほど効く。これは能登の実態に合っています。
FGBM2が合うイベントではなかったのでしょう。

2026年6月7日日曜日

文献:On the use of rainfall time series for regional landslide prediction by means of functional regression

On the use of rainfall time series for regional landslide prediction by means of functional regression - ScienceDirect

コード/データ: GitHub - Vitorecacho/Functional-Regression-Landslide: This is a comprehensive R script designed for Landslide Susceptibility Modeling. It compares Functional Generalized Additive Models (FGAM) against standard Generalized Additive Models (GAM). · GitHub— R言語、`refund` / `mgcv` パッケージ使用

時空間という視点は以前私が寝かせた案の一つ。どのように扱っているのかな?と見れば日本のデータ。これは見なければ、ということで早速AIに投げました。

AI要約

 1. 背景
 降雨誘発型地すべりの早期警戒は、50年以上にわたり降雨閾値に依存してきた。降雨の強度・継続時間・累積量がある臨界値を超えると地すべり発生確率が急増するという経験的・統計的アプローチで、直感的で一般市民にも伝わりやすく世界的に成功してきた。
 降雨閾値は地形特性とは独立に推定され、後段で「掛け合わせ」によって統合されることが多い。しかし統計的には、確率の単純な積で同時確率を求められるのは変数が互いに独立な場合のみ。実際には地形は降雨の時空間分布に強く影響する(植生による蒸発散など)。したがって降雨と感受性は独立と仮定できず、両者の事後的統合は統計的に問題がある。
これを受けて、降雨を感受性モデルに直接組み込む時空間モデリング(space-time modeling)が登場。データを「データキューブ」(平面=空間、高さ=時間)として捉え、地すべりの有無を応答変数とする。
これまでの時空間モデルのほぼすべてが、降雨を時間窓ごとの累積値(スカラー値)に集約してしまい、時系列本来の豊かな情報を失っている。一方、連続した降雨信号をそのまま扱う試みでは、スカラー手法を大きく上回る性能が報告された。
深層学習(LSTM・CNN)の課題:①ブラックボックス性、②大量のラベル付きデータが必要(正確な発生時刻を持つインベントリは希少)、③学習された時間特徴に物理的意味づけができない。
関数回帰(functional regression)の利点:降雨時系列上に滑らかな係数関数 β(t) を明示的に与えるため、「どの時点の降雨が最も効くか」を直接解釈でき、早期警戒システム設計に有用。
Moreno et al. (2025) は関数回帰を試したが、地形+降雨を入れた場合、長い時間窓ではスカラー版と関数版の性能差が消えた。著者らは「これは時系列がわずか6日と短すぎたため」と仮説を立て、より長い時間窓で再検証することを本研究の目的とした。

 2. 手法
 2.1 対象データ(日本の3つの地すべりインベントリ)
国土地理院(GSI)の資料を基に、降雨誘発型地すべりの3事例を使用。

| 地域 | 誘発イベント | 時期 | 地すべりポリゴン数 |
| 紀伊半島 | 台風Talas | 2011年9月 | 1,902 |
| 能登半島 | 豪雨 | 2024年9月 | 1,540 |
| 宮城・福島 | 台風Hagibis | 2019年10月 | 847(土石流・表層崩壊のみ) |

2.2 データキューブの構築
マッピング単位: グリッドではなく斜面ユニット(Slope Units, SU)を採用(`r.slopeunits` + QGISのSZ-pluginで最適化)。
総観測数 64,250 SU(Kii 49,306 / Noto 6,056 / Miyagi 8,888)。不安定SUの割合はそれぞれ3%, 10%, 4%。
静的共変量(5つ): 傾斜(Slope)、断面曲率(Profile curvature)、斜面方位を分解した Eastness / Northness、岩相(Lithology:堆積岩・付加体・火成岩・変成岩の4分類)。すべてGSI DEM等から導出。
動的(関数)予測子:CHIRPS-GEFS による日降水量(予報データ、空間解像度5km)。発生日とその33日前まで=計34日の降雨時系列を、先行降雨(準備的)+誘発降雨を含む形で構築。

2.3 GAM と FGAM
GLM → GAM → FGAM という拡張系列
GLM(一般化線形モデル): 予測子と地すべり発生のlog-odds(対数オッズ)の間に線形関係を仮定する。この線形性が制約となる。
GAM(一般化加法モデル, Generalized Additive Model): 応答変数の期待値を、予測子の滑らかな(非線形の)関数の和で表せるようにしてGLMを一般化する。この滑らかな関数にはスプライン(spline)を用いる。加法構造(additive structure)のため、各共変量の寄与を個別に分離・解釈できる(機械学習のブラックボックス性と対照的)。
指数型分布族の応答を扱え、本研究では地すべり有無を二値(Bernoulli分布)して扱いロジットリンク関数 logit(p) = log(p/(1−p)) で線形予測子を [0,1] の確率に変換する。

FGAM(関数一般化加法モデル, Functional GAM): GAMをさらに拡張し、スプラインのような滑らかな関数項に加えて、関数項(functional term)=予測子そのものが時系列(関数)であるものを組み込めるようにしたもの(McLean et al., 2014)。
降雨時系列に対して回帰でき、地すべり過程に内在する非線形な時間ダイナミクスを表現できる。技術的には各時点での寄与を「ヒートマップ」として捉え、s次元×t次元のパラメータ空間になる。関数項は係数関数(無限次元)と降雨データ関数の L²内積で定義される。無限次元のままでは推定不能なので、K個の基底関数(B-spline)に展開して K次元の有限問題に変換する。

Y(s,t) ~ Bernoulli(p_s,t)

logit(p_s,t) = α + β1·eastness_s + β2·northness_s + γ·litho_s
              + f1(slope_s)          ← 1次元スプライン(基底7個)
              + f2(profcurvature_s)  ← 1次元スプライン(基底5個)
              + f3(precipitation_s,t) ← 2次元スプライン(各次元4基底)=関数項

降雨の関数項は、降雨曲線と各基底関数の積を積分してスカラー共変量 Zik を事前計算し、それを滑らか項としてモデルに投入する(**Penalized Functional Regression, PFR**)。

 2.4 推定
REML(制限付き最尤法)で平滑化パラメータを推定(Rの refund + mgcv バックエンド)。GCV(一般化交差検証)は過小平滑化・局所解の問題があるため不採用。
過学習を防ぐため、係数関数 β(t) の「うねり(wiggliness、2階微分の2乗積分)」に基づくペナルティを課す(平滑化パラメータ λ で適合度と滑らかさのトレードオフを調整)。
基底数 K は有効自由度(EDF)が K より十分小さいことを基準に選択。

 2.5 ベンチマーク(4モデルの比較設計)

| モデル | 降雨の扱い | 地形共変量 |
| FGAM1 | 関数(時系列) | あり |
| FGAM2 | 関数(時系列) | なし(降雨のみ) |
| GAM1 | スカラー(累積値) | あり |
| GAM2 | スカラー(累積値) | なし |

検証戦略: 時間窓を1日ずつ増やして34日まで性能変化を観察。
ランダム交差検証(訓練比率5%〜90%、各100回ブートストラップ)。
空間交差検証(leave-one-inventory-out):2地域で訓練・残り1地域で検証(転移性能を評価)。
評価指標:AUC(カットオフ非依存)、混同行列・TP/TN率(Youden指数でカットオフ設定)、Precision-Recall。

3. 結果
3.1 共変量の効果(FGAM1)
傾斜: ほぼシグモイド状。〜10°は低確率、10〜35°でほぼ線形に確率増加、その後変曲(最大傾斜で確率約0.3)。表層崩壊・土石流という地すべりタイプと整合(緩斜面は安定、急峻すぎると土層が乗らない)。
断面曲率: ほぼ平坦地形でピーク(確率〜0.55)、凸型・凹型では急減。
岩相: 付加体のみが有意に不安定と関連。
方位: 東向き・南向き斜面で不安定性が高まる。
降雨の関数効果: 33日前(day −33)はどんな強度でも発生確率ほぼゼロ。発生日に近づくと確率が急増し、ピークは発生の1〜2日前。3事例とも約3日続いた暴風雨で誘発されたことと完全に整合。

3.2 時間窓に対する性能
GAM2が一貫して最低性能(AUC開始点〜0.73)。
GAM1は地形予測子のおかげで〜0.80から開始。
関数モデル(FGAM1/FGAM2)はスカラー版を上回り、かつ挙動が安定(滑らかに性能向上、特にday −16以降)。GAMは時間窓に対し不規則変動。
GAM1とGAM2の性能差は大きいが、FGAM1とFGAM2の差は小さい。

3.3 データ量に対する安定性
訓練データ割合を変えたときのモデル安定性ベンチマーク。AUCは補集合(検証サブセット)で計算し、手順を100回ブートストラップして箱ひげ図を作成。
FGAMは一貫してGAMを上回り、少ない訓練データで早く性能の漸近線に到達。ランダム交差検証でFGAMはAUC > 0.81(acceptable〜good)を安定維持、GAMは0.81未満。
ランダムCVは過大評価しがち(Anderssen et al., 2006)。隣接SUは地形が類似し降雨も5km格子を共有するため、訓練と検証に近接SUが混在して空間的自己相関で結果が楽観的。 FGAM2は地すべり検出(TP/P, 平均83.8%)でFGAM1(80.7%)よりわずかに高いが、安定斜面の識別(TN/N)では76.2% vs 69.9%でFGAM1が優位=降雨のみのFGAM2はFN(見逃し)を多く出す。

3.4 空間交差検証(leave-one-inventory-out)
| 訓練 | テスト | モデル | AUC | 評価 |
| Miyagi & Noto | Kii | FGAM1 | 0.749 | Moderate |
| Kii & Miyagi | Noto | FGAM1 | 0.681 | Acceptable |
| Noto & Kii | Miyagi | FGAM1 | 0.613 | Acceptable |
| Miyagi & Noto | Kii | FGAM2 | 0.746 | Moderate |
| Kii & Miyagi | Noto | FGAM2 | 0.757 | Moderate |
| Noto & Kii | Miyagi | FGAM2 | 0.723 | Moderate |

FGAM1のAUCは地域により0.61〜0.75(ランダムCVより低い=地域間の一般化は難しい)。FGAM2は3地域すべてで安定して良好(0.72〜0.76)。地形相互作用を入れたFGAM1は日本の多様な地質で性能が落ちることがある。

4. 考察(Discussion)
4.1 支持する論点(強み)
多変量フレームの統計的正当性:感受性評価と降雨閾値を別々に行うのは数値的に妥当でない。多変量回帰は共変量の相互影響を同時推定できる。
解釈性: 統計モデルは回帰係数や確率を直接見ることでモデル自体の理解が得られる。機械学習のLIME・SHAPは事後的(post-hoc)な近似にすぎず、モデル内部の指標ではない。
コンカービティ(concurvity)検証: 加法FGAMが地形(静的)と降雨(動的)の効果を適切に分離できることを確認(降雨0.61/0.35、傾斜0.40等、いずれも0.8閾値以下)。
降雨閾値の概念を継承: 降雨を発生日から遡って累積する手法は従来の降雨閾値と類似で、過去50年の早期警戒の知見を関数回帰に直接統合できる。
運用上の意義: 誤りの種類が重要。FN(見逃し)は人命に直結、FP(空振り)は信頼低下を招く。
予報降雨を使用: あえて観測でなく予報降雨を使い、前向き(forward-looking)に検証。早期警戒システムの要件を満たす設計。

4.2 反対する論点・限界
時間窓の問題: 性能はday −23付近で漸近(GAMはday −29でピーク)。適切な時間窓の定義が未解決の大きな課題。
地すべりタイプ未分類: 3事例は主に表層崩壊・土石流(≒単一タイプ)。タイプ別早期警戒(浅い/深い地すべりの区別)ができず、降雨時系列の地形学的解釈にも制約。深い・大規模な地すべりはより長い時系列が必要と推測(浸透に時間がかかるため)。
データ要件の厳しさ: 高頻度降雨データと正確な発生時刻を持つインベントリが必須。多くのインベントリは時刻が月・季節単位で曖昧。時間的不確実性は係数関数 β(t) にノイズを注入し、特に発生直前の重要な数日で降雨効果を過小評価する。データ希少地域では従来の静的感受性マップ・経験的閾値の継続使用が依然適切。
空間転移の難しさ: Leave-one-out検証(未学習の別地域+別イベントへの転移)で性能が低下(FGAM1で0.61〜0.75)。日本の地質的多様性により、地形相互作用を含むFGAM1は学習データと条件が異なる地域で性能が落ち、降雨のみのFGAM2の方が転移には安定(0.72〜0.76)。

  検証の整理:①ランダムCV=同一イベント内でのSU内挿(リーク込みで楽観的)、②空間CV=未学習の別地域への転移(0.6〜0.76)。
社会・運用的側面: 降雨閾値が今も主流なのはシンプルさゆえ。「○○mm降ったら警戒」は専門知識不要で誰でも理解できるが、関数回帰の確率はそうではない。多くの人に理解される警報ほど従われやすく、結果的にリスク低減につながる。性能だけが最良の基準とは限らず、行政機関・住民との協働による警報設計が必要。

4.3 結論
連続降雨時系列を用いた関数回帰(FGAM)は、スカラー集約モデルより一貫して優れた地すべり予測を与えることを、日本の3事例・多様な交差検証で実証。総合的にはPrecision-RecallでFGAM1が最良。
研究コミュニティに対し、スカラー降雨集約値の慣習的使用を批判的に見直すよう提言。
地域→他地域の転移は性能が落ち(0.6〜0.76)、全国共通の単一式は難しい。転移設定では降雨のみFGAM2が比較的健闘。検証例はまだ少なく、地形・降雨・地すべりタイプを変えた系統的検証が必要。

今後の課題: ①地域差を説明する変数・階層/転移モデルでの汎化、②タイプ別かつ発生時刻精度の高いインベントリでの検証、③降雨の高解像度化・地域別の時間窓最適化、④発生確率(感受性)に加え規模(intensity)・完全なハザードへの拡張、⑤確率出力を行政・住民が受け入れる警報へ翻訳する社会実装。


雨についてはRのライブラリを利用しながら33日前からの崩壊確率を出されてています。実効雨量や近年の機械学習ではもっと前の雨を使いますが、3つのイベントは台風のような短期指標があればよいので、33日とされたのかもしれません。目的が長期なのであれば、違ったイベントで見たいですね。
ランダムCVはリークの可能性があるというのはよく見かけます。汎化の妥当な見積りは空間CV側でしょう。そのFGAM1,2の結果を見ると、地形・地質を加えた効果が相対的に小さい=地形・地質を交えた汎化が難しい→降雨だけの方(FGAM2)がまだ良い、でしょうか。結論を得るには、もう少し地域を増やす必要があるのでしょう。
各地域は1イベントのみのため、「同一地域の“次の”豪雨を当てる(時間的転移)」は本研究では検証されていません。その場合はもっと性能が上がると期待します。

ちょっと雨量の関数化がややこしいのでコードを見てみましょうか。


2026年5月10日日曜日

文献:High-resolution raindrop counting via instantaneous frequency sensing

High-resolution raindrop counting via instantaneous frequency sensing on hydrophobic elastic membranes | PLOS One

AI要約

1. 背景
雨粒の数やサイズを測定する装置であるディスドロメータは、気象観測において重要ですが、従来の装置には課題がありました。高精度な標準機器(JWDなど)は高価で、交流電源や専門知識を必要とするため、広範囲な設置が困難です。
一方で、安価な圧電素子を用いたセンサーは「振幅閾値方式」を採用しており、一度衝撃を検知すると一定時間計算を停止(ロックアウト)するため、時間解像度が低く、連続して衝突する雨粒を見逃したり、小さな雨粒を過小評価したりするという欠点がありました。
本研究は、市販のマイクと疎水性弾性膜を組み合わせ、低コストながらこれらの限界を克服する新しい検知手法を提案しています。

2. 手法
本手法は、振幅ではなく「瞬時周波数」の変化に着目している点が革新的です。

  • ハードウェア構成: 一般的なPVCパイプの片端に、安価なプラスチック膜(PETやHDPEなど)を張り、ドラムのような構造にしています。この膜に雨粒が衝突した際の音をマイクで集音します。
  • 物理的原理: 雨粒が疎水性弾性膜に衝突すると、膜の固有振動(低周波)とは別に、12–18 kHzの非常に短い高周波過渡振動が発生することを発見しました。この高周波信号は雨粒の衝突に特有のものであり、低周波の背景ノイズと分離しやすい特性があります。
  • Acoustic Feature Model (AFM): 音声データから、信号の局所的なピーク(山)と谷の位置を抽出し、ノイズを除去した上で「局所的な周波数推定値」へと変換します。
  • 機械学習 (1D-CNN): AFMで得られた特徴量を、1次元畳み込みニューラルネットワーク(CNN)に入力します。このネットワークは、風などのノイズと雨粒の衝突を判別し、衝突の確率を算出します。
  • 軽量設計: リソースの限られたマイコンやスマートフォンで動作(TinyML)させることを目的としており、モデルのパラメータ数は1000個未満と極めて軽量です。

3. 結果

  • 高い時間解像度: 従来の手法が30ms程度の解像度だったのに対し、本手法は約10ミリ秒の時間解像度を達成しました。
  • 精度: 評価実験において、予測されたイベントの80%~90%が実際の衝突時刻から10ms以内に収まっており、高い精度で雨粒を数えられることが示されました。
  • ノイズ耐性: 振幅を計算に使用しないため、低周波の振幅ノイズ(風など)に対して頑健であり、高い感度を維持したまま背景ノイズの影響を抑えることに成功しました。
  • モデルの有効性: DensenetやResidualブロックを用いたCNNモデルは、基本的なモデルよりもノイズ抑制能力が高いことが確認されました。

4. 考察
本研究の最大の特徴は、材料の物理的な減衰に頼るのではなく、信号処理と機械学習によって時間解像度を向上させた点にあります。

  • 利点と応用: 非常に低コストな材料で構築できるため、教育現場や発展途上国での気象観測ネットワーク、短期間のキャンペーン調査などに適しています。
  • 現在の課題: 強風による高周波ノイズが誤検知の原因となることがあり、さらなるノイズ除去技術や風防の検討が必要です。また、一度の衝突を二重に数えてしまうアルゴリズム上の課題も指摘されています。
  • 今後の展望: 今回は雨粒の「カウント」に焦点を当てていますが、将来的には個々の雨粒の運動エネルギーの推定や、平均的な粒径分布に基づいた降雨強度の算出へと拡張することが期待されています。
  • 未解明の物理: なぜ軟らかな疎水性膜への衝突で高周波振動が発生するのかという微視的な物理メカニズムは完全には解明されておらず、さらなる研究の余地を残しています。

塩ビパイプに膜を張って雨音を計測するだけという、これ以上ない実用的なアイデアです。
パイプのサイズや膜の張力は低周波の共振には影響しますが、検知に用いる高周波過渡振動(12–18kHz)には影響しないとのこと。また、 PETやHDPEといった異なる材質でも同様の信号が観察されています。身近な材料かつDIYによる物理的な製作誤差に対しても極めて高い堅牢性を持っている点が素晴らしい。
機械学習モデルも最初からエッジAI向きに作られています。今後の雨量推定がどうなるか、期待を込めて待ちましょう。


コード整備 その3

おまけです。

 ・振動計
200Hzサンプリング以上にするとデータ保存時にバグっていたのですが、AIに見せると問題点を指摘してくれました。浅いコピーをやめて深いコピー&数を増やすことで問題を回避。500Hzサンプリングでも問題なく保存できるようになりました。

・3次元安定解析
これもAIがバグを発見してくれました。学習量の多いであろうPythonで書いていたためか、割と早く修正が完了しました。正しい部分も怪しそうなところは指摘することもありましたが、そこに注意しておけば、コードの照査にかなり有効です。

・RegionGrow3D
MATLABコードをPythonに変換。近い将来できるようになると思っていましたが、もう既に可能だったとは。
1回目の変換で結果はピクセルベースで86%合致。もう少し詰める必要はありそうですが、なかなか賢い。

全体を通してみると以下のような感触。
◎既存コードを他の言語に変換したり修正したりする。
◎コードの照査
◎WEBサイトの解析
〇新たな実装
〇機械学習の自動化

まだまだ性能が上がっていくのでしょう。楽しみです。


2026年5月9日土曜日

AIがAIを鍛える

GWの間、コア写真から柱状図を作成する機械学習モデルの訓練を、ほぼAIに任せきりにしていました。先日記載したとおり、ほとんど人手を加えず、AIの提案を承認・却下するだけ。最後は、気が向いたときにRQD等のスコアの伸びを確認する程度でした。手をかけなくてもスコアが徐々に伸びていくのは、精神的に楽。連休も終わりましたので、ひとまずここで一区切りとします。

昨年まではモデルをどう構築するか、比較対象としてどれだけのモデルを用意するか、最適化をどう進めるかなどを考えながら自ら組んでいました。これらの作業も、今年からはほぼAIに任せられそうです。相手は人ではありませんから、提案方針に何度ダメ出しをしても気を使う必要はありません。納得がいくまで試行錯誤させることができます。文献収集力や実装の速さは人を上回り、初歩的なミスに目を瞑れば、24時間無休で働いてくれる部下ができたようなものです。

一方で、誰でも機械学習モデルを組める状況になったことで、AI活用そのものを差別化要因とするのは難しくなるでしょう。土木分野でも、画像や動画を使った異常検出や点検、数値データを使った予測といった難しいとまでは言えない作業の自動化があります。これらに投資してきた企業が案件を獲得してきた側面もあります。しかしAIの進化により、誰もが短期間で同等のモデルを構築できる時代になってしまったため、こうした先行投資・利益回収型のビジネスモデルは終焉を迎えつつあるように感じます。短期的には実績がある分、有利な状況が続くとは思いますが。

これからは、より一層アイデアと新規性が求められる時代になるでしょう。発想の豊かな技術者こそが重宝されるはずです。そのためには、基礎力を疎かにしないことが欠かせません。若い方々には、便利なAIを活用しつつ、時間をかけてこそ身につく基礎力を養ってほしいと思います。

2026年5月6日水曜日

文献:3D semantic mapping of surface geological features

3D semantic mapping of surface geological features - ScienceDirect 

AI要約

1. 背景
地学研究(地形学、災害評価、環境モニタリングなど)において、3D空間上のデータに「岩」「断層」などの意味(セマンティクス)を割り当てるセマンティックマッピングは非常に重要です。しかし、以下の課題が大きな障壁となっていました。

  • アノテーションの困難さ: 数百万点におよぶ大規模な3D点群データに、手作業で正確なラベル(注釈)を付けるのは極めて困難で時間がかかります。
  • トレーニングデータの不足: 地質学分野に特化した、機械学習用の汎用的な3Dデータセットが不足しています。
  • 既存モデルの限界: コンピュータビジョン分野の既存3Dセグメンテーションモデルは、構造化されていない屋外の広大な地質データには最適化されていませんでした。
本研究は、これら「学習データの不足」と「大規模データの処理」という2つの大きな課題を解決することを目指しています。

2. 手法:独自の統合アルゴリズム「SegMo3D」
提案手法の核となるのは、既存の大規模視覚モデル(LVM)セグメンテーション・モザイキング・アルゴリズムの統合です。

  • 2Dセグメンテーション(意味の抽出): ドローン画像に対し、学習不要(ゼロショット)で動作するSAM2を適用し、画像内のオブジェクトを自動で切り出します。さらに、Grounding DINOを併用することで、テキスト(例:「rock(岩)」)による検索・抽出を可能にしました。
  • 3D-2D投影(空間の紐付け): SfM(Structure-from-Motion)を用いて、写真から3D点群を生成し、カメラの位置・向きを推定します。この情報を使い、3Dの点を2D画像上に投影することで、どの点群がどの画像ピクセル(およびセグメンテーション)に対応するかを計算します。この際、手前の物体に隠れた点を除去する「デプスフィルタリング」を適用します。
  • セグメンテーション・モザイキング(新規性の核): 異なる角度から撮影された多数の画像による認識結果を、3D空間で一つに繋ぎ合わせます。
  • 投影フィルタリング済み3D IoU: 異なる視点からの認識結果をマージする際、3D点を一度別の画像平面に再投影して重なりを確認する独自の基準を導入し、視点違いによるノイズを排除しました。
  • 確率的投票戦略: 個々の画像の認識結果をそのまま信じるのではなく、複数の画像からの「証拠」を確率的に集計して最終的なラベルを決定します。これにより、一部の画像で認識ミスがあっても、全体として正確な判断が可能になります。
  • 効率化設計: 計算時間が画像数に対して線形に増えるように設計されており、数千万点規模の膨大なデータも現実的な時間で処理できます。

3. 結果
合成データと実世界のUAV(ドローン)データの両方で検証が行われました。

  • 精度の向上: 合成データ(Kubric)を用いたテストでは、既存の最先端手法(SAM3D、SAMPro3D)と比較して、誤検出(false positives)を大幅に減らし、高い平均精度(mAP)を記録しました。
  • 実世界データへの適応: アリゾナ州の岩壁データ(約1,250万点)において、自立した岩の抽出に成功しました。競合手法のSAM3Dが大規模データに対応できず、データを間引く(ダウンサンプリング)必要があったのに対し、SegMo3Dは高解像度のまま処理を完遂しました。
  • ケーススタディ: 抽出した岩の形状から「高さと幅の比率(脆弱性の指標)」を自動計算し、地震発生時に崩落しやすい岩(PBR:不安定な岩)の脆弱性分布マップを作成することに成功しました。

4. 考察

  • 実用性: 専門的な学習データを用意することなく、既存のSfMワークフロー(Agisoft MetashapeやOpenDroneMapなど)に組み込んで、誰でも高精度な3Dセマンティックマップを作成できる道を開きました。
  • 技術的な進歩: 従来の「下から順に繋ぎ合わせる(エラーが蓄積しやすい)」方式から、複数の視点を統合する「確率的決定」方式へと転換したことで、複雑な地質環境での安定性が飛躍的に向上しました。

今後の課題:

  • メモリ消費: 大規模な関連付けデータを保持するために、非常に大きなRAM容量(実験では約40GB)を必要とします。
  • SfM精度への依存: カメラ位置の推定精度が低いと、空間的なズレが生じます。
  • 2Dモデルの限界: 最終的な精度はSAM2などの2D認識能力に依存するため、地質学に特化した2D学習モデルが登場すれば、さらに精度が向上すると期待されます。

UAV画像による点検にも使えそうです。
voting による視点間のセグメンテーション統合という方法は、見たことがありません。素晴らしいですね。

資料では、不安定な岩(PBR: Precariously Balanced Rocks)が転倒するために必要な最小のPGA(PGA overturning)は下式とされています。

PGA  =1.3g・tan(W/H)

g: 重力加速度
W/H: 幅と高さの比(幅を高さで割ったもの)

この関係性は、地震時のハザード分析や落石リスクの評価に直接活用できるとのことですが、どの程度役立つかは未知。スクリーニングに使う程度でしょうか?落石源としての独立性指標も入ると、より実務で使いやすくなるでしょう。


2026年5月4日月曜日

地理空間MCP Server

地理空間情報:地理空間MCP Server - MLIT Geospatial MCP Server - (α版) - 国土交通省

国交省さんが公開されたMCPサーバーです。第一印象は「対応が早い」でした。河川砂防技術基準の学習用データセット公開に続き、これです。今後、さらに展開されるのでしょう。

動画では Claude Code を利用されています。これ、かなり使い勝手が良いので私も利用しています。もうChat に戻れません。

私の勤めている会社は Chat 止まりです。MCPサーバーにアクセスするためのツールはホワイトリストに入っていないため利用できません。が、そのうち対応してくれるでしょう。たぶん。
Office365  もMCP 経由で操作できるようになりましたので、早く業務メールも処理できるようにして欲しいのですが。

コード整備 その2

・ボーリングコアから柱状図作成
以前は手抜きで生成AIに丸投げ。そりゃダメよね、という結果でした。
今回は画像認識、評価を正攻法で積み上げる仕様で着手。古典的な画像処理からSAM2, Dino v2, YOLO8など、何を使うか選択させるところから実装、比較、評価、次の方針提案までをAIさんにお任せ。こちらは出てきた結果を見て方針変更の必要性を適時与えるだけ。手がかかりません。
コア、サンプリング箇所くらいは教師ナシでもXMLから判断できるだろうと思いきや、意外と難しい。仕方がないので少ない教師データを与えるとで適切に学習が進みました。教師データ作成のためのセグメント指定アプリもAIさんに作っていただきました。ありがたや。
まだセグメンテーションが完璧ではなく、その後の評価もまだまだですので方針を変える必要ありかもしれません。が、自動で試行を繰り返してくれるのは(時間がかかっても)手がかからないのでうれしい限りです。

・PCからエッジAIへ
PCで作成した巨大モデルをセンサー側に載せようと思い、方針作成をAIさんに指示。実機が手元になかったのテストまではできていませんが、数時間でプログラム作成までたどり着きました。しかも、上記の柱状図作成と並行で進行。部下を2人得たような気分です。

・過去コードのバグフィックス
過去に書いたコードを読ませてバグを調査。それなりに出てきます。もともと、これが目的の一つで有償AIを利用しているのですから、ありがたいと思うべきなのでしょうが。ま、修正もAIさんにお願いするので、それほど手はかからないか。

AIを利用したコーディングには、ある程度の知識やノウハウを有していた方が効率的です。その点、これまでのコーディング経験は役立つだろうと思います。若い方はノウハウなしで作っているので、また違った感性が育つのでしょう。
1年後、どのようにAIが変化して、技術者が対応するようになっているのか、楽しみです。

2026年5月2日土曜日

コード整備

先月、地方への出張が続いたためか、出不精がより落ち着いて家にこもっています。時間のあるうちに、いくつかのコードとマニュアルを整備することにしました。

・機械学習モデルの利用サンプル
お客様のご依頼で、Pythonを触ったことのない方でも使えるようにブラウザ上で判定させるサンプルモデルを作成。Python 環境を Docker file にまとめ、OSに関わらず動くようにしました。

・水文水質データベースのスクレーパー
国土交通省 水文水質データベースから、以下のデータをCSVファイルとして取得できるようにしました。
  • 観測所一覧 雨量・水位流量・ダム堰
  • 時間雨量 指定観測所の任意期間の時間雨量 [mm/h]
  • ダム諸量 指定ダムの任意期間の流域平均雨量・貯水量・流入量・放流量・貯水率
  • 水位・流量 指定観測所の任意期間の水位 [m]・流量 [m³/s]
このスクレーパーは、後輩さんからの依頼です。以前、Python で似たようなスクリプトを作成していましたが、Pythonを知らない方でも簡単に使えるようにC++へ移植・拡張。すべてブラウザのフォーム操作のみで完結するGUIも作成し、コマンドプロンプトでなくとも動かせるようにしました。
リクエスト間隔を2秒に固定しサーバー負荷への配慮しつつ、取得済みデータはローカルにキャッシュして二度取得しないようにしました。どの程度のアクセス頻度がOUTなのか判断できなかったため、公開は控えています。

・SPH 土ー水連成
Drag Force を考慮した2相2層でのコードを整備。もともと書いていたコードに対し、以下の点を変更しました。 
  • IDF(Peng 2022)への移植 — 水相を intrinsic density rho_tilde で記述し、自由水-飽和土界面の数値不整合を解消。ベースライン定式化を置換し、以後の全機能の土台に。
  • 境界条件の刷新 — mDBC(English 2022) へ統一(Shepard ghost + hydrostatic 補正)。
  • 数値安定化レイヤ追加 — Tait γ=7において、Riemann 圧力拡散(Zhang 2017)、δ-SPH 拡散、Bonet-Lok カーネル補正、HHT-α 積分を追加。
最も効いた改編はIDF 移植でした。
上記以外にもAIに多様な文献を集めさせて実装し試しています。便利な時代になったのですが、それら棄却した内容に対する理解が追い付いていません。復習が必要です。

つづきます。

2026年4月27日月曜日

AI コーディング

AIの助けを借りてコーディングし始めたころも「すごい」と思いましたが、今はAI主導でコーディングできるようになっています。あらためて「すごい」。これから何度驚かされるのでしょうか。

1年ほど寝かせていたコードですが、2週間ほどで問題点を見つけ、概ねそれらしく動くようになりました。その間、次々に露呈する問題に対して対策を施した文献を探し、実装し、試行したのはAIさんです。1年前と比べても、文献収集力、試行錯誤の効率が段違いです。仕事で使わない手はありません。

この時代、学生さんから見たら、AIを使ってもプログラムを書けないオジサンは老害に見えるかもしれませんね。経験ベースのオジサンたちが古いやり方を踏襲しようとすると、それだけでハラスメント?になるかもしれません。時代は繰り返す、でしょうか。昔も今も、このような構造は変わらないのでしょう。

さあ、コーディング問題は片付いたも同然です。寝かせていた子たちを起こしていきましょう。

2026年3月23日月曜日

文献:Real-time lithology identification while drilling based on drilling parameters analysis with machine learning

Real-time lithology identification while drilling based on drilling parameters analysis with machine learning | Geomechanics and Geophysics for Geo-Energy and Geo-Resources | Springer Nature Link

AI要約

1. 背景
石炭鉱山における災害(斜面崩落、ガス突出など)の防止やガス抽出の効率化には、正確な地層(岩相)情報が不可欠です。従来の技術では、技術者が掘り屑(カッティングス)の色や形状を目視で確認していましたが、精度が低く、個人の経験に依存するという課題がありました。近年、振動、音響、画像解析を用いたAI手法も研究されていますが、地下の過酷な環境やノイズの干渉により、実用化には至っていませんでした。特に、「ドリルストリングの摩擦抵抗」が掘削データに与える影響や、膨大なデータのリアルタイム処理が、機械学習を導入する上での大きな障壁となっていました。

2. 手法
研究チームは、以下のハードウェア、前処理技術、機械学習アルゴリズムを組み合わせたシステムを構築しました。

掘削機(スマート掘削リグ): MWD(Measurement While Drilling)システムを搭載した自走式スマート掘削リグを開発しました。姿勢制御、ロッド操作、遠隔制御の各サブシステムを備え、掘削データを自動的に記録します。また、地下のリグと地上のワークステーションを専用ネットワークで結ぶ遠隔データ処理プラットフォームにより、大規模なデータのリアルタイム解析を可能にしました。

前処理:
高速データ検索: 掘削ステータスを14のコード(掘削、ロッド接続など)に分類し、膨大なデータから有効な掘削情報を即座に抽出します。
摩擦検知と補正: ドリルストリングの座屈(バックリング)安定性解析を行い、座屈が起きない条件下でビットが岩石を破壊していない時の負荷を計測して、摩擦抵抗を自動検知します。
データクリーニング: 部品の起動・停止時に発生する「衝撃」などの無効な信号をフィルタリングして除外します。

機械学習手法: 複数のアルゴリズムを組み合わせる「ソフト投票型アンサンブル学習」を採用しました。個別の識別器として、SVM(Quadraticカーネル)、決定木(Medium Tree)、KNN(Fine KNN)、ニューラルネットワーク(Bilayered NN)の4つを統合し、それぞれの予測確率の重み付き平均から最終的な結果を出力します。

説明変数(入力パラメータ): 補正後の推力(Thrust)、トルク(Torque)、および貫入速度(ROP)、回転数(RPM)の4種類を使用します。

目的変数: 石炭 or 岩石(2値分類)

識別結果の継続性を分析(10セットごとのデータ群で判定)することで、さらに精度を高める手法を導入しています。

3. 結果
識別精度: アンサンブル学習モデルは、テストデータに対して98.79%という極めて高い岩相識別精度を達成しました。
掘削効率の向上: 識別された岩相に合わせて掘削パラメータ(回転数や推力)を最適化した結果、従来のシステムと比較して純掘削効率が18.12%向上しました。
省人化: 従来3人で行っていた作業を1人に削減できる可能性を示し、コスト削減と安全性の向上に寄与しました。

4. 考察
本研究の鍵は、ドリルストリングの摩擦をリアルタイムで検知し、掘削データを補正したことにあります。これにより、地層情報とパラメータの相関性が大幅に強化されました。また、地上と地下をシームレスに結ぶデータプラットフォームが実用性を支えています。
 一方で、課題も残されています。現在のモデルは単一のデータソースに基づいているため、地質条件が大きく異なる地域への適用には限界があります。今後は、掘り屑の画像や掘削振動など、複数の情報を統合した「マルチソース情報」による学習を行うことで、汎用性と精度のさらなる向上が期待されています。

TBM, ドリルジャンボなどと同様に、ノンコアボーリングでもトルクや速度をロギング可能であれば、このような使い方ができるのでしょう。地質を知りたい場合はボアホールカメラを後で挿入すれば良いだけです(実際、数m~10mピッチでノンコアボーリングを実施し、ボアホールカメラから柱状図を作成した経験があります)。ボーリングの数を必要とする場合には、有効な手段でしょう。

機械学習よりも掘削機の方が主要な成果です。既にデータさえあれば分析ができる環境が整っていますので、あとは良いデータを集めるだけですから。