下側は Rigid Body との組み合わせですが、土の物性を与えた粒子に置き換えておけば、土砂の流れもシミュできそうです。
土石流や深層崩壊の場合、最初は土や岩石で、崩壊後はほぐれた土砂が流体のように移動し、停止すれば土(堆積・天然ダム)になり、水は流れ去る、といった mass としての物性の変化(各相の物性自体は変化していません)があります。私は土石流や天然ダムのプロではないので知らないだけなのかもしれませんが、それらを1相として計算する場合、土砂の崩壊や落石の集合体に近いイメージで取り扱っているのでしょうか?
mass として簡略化するよりは、固相に水を与えて崩壊させるなど忠実にモデル化する方が、結果的には近道なのかもしれません。
これ、ゴールの遠いところが、腰の重い原因の一つでしょうね。
計算以外にも、GPGPU やメニーコア対応は当然の分野。ポスト処理としての陰関数曲面の作成や、レイトレーシングなど、数値計算とは異なった知識も必要です。手に入る情報は簡単か難しいの両極端。市販ソフトも売られている現状、それらを一つづつ追う気力が出てきません。3ds MAX などの物理演算で何とかならないか、と、近道を探したくもなります。
導出の過程(といっても中学レベルです)は地盤工学会「地盤技術者のためのFEMシリーズ2 弾塑性有限要素法がわかる」 p122です。非排水強度 cu と有効応力のφ'の関係も載っています。が、こちらはモール・クーロンとの違いを理解できていません。拡張ミーゼスを知りませんので。ちょっと調べてみましたが、「拡張」の意図する処がわかりませんでした。