昨日の NHK スペシャルを見ました。
ウェザーニューズ社の取り組みが紹介されていました。
最近、web では「気象庁の発表より早い」という意見も出ていましたが、それだけ自信がついてきたのでしょうね。
・今年2月よりAIを利用。
・14時間前に7月豪雨の予測を発表
・教師データは雨雲レーダーの画像のみ。
・過去3年分の画像を学習。
・現在の画像を与えて予測。
・予報は250mメッシュ。
防犯、医療分野での活用についても紹介されていました。
正解に近い可能性があるなら情報の一つとして利用しますし、それで結果がついてくれば信頼性が向上し、良いスパイラルにはまっていくのでしょう。
番組では 「AI」というようにざっくり、一括りにされており、具体的な手法・ライブラリ等には触れられませんでした。
また、「ブラックボックス」も協調されていましたね。これはおそらく、output を全て確認できる状態で結果が提供されていないだろうという点と、ノンパラメトリック手法故の解釈性の低下といった点の、2つの要因が含まれていると思われます。地質モデル作成における決定論的手法と統計学的手法の違いにも似ていますね。
実際のところ、何を重視したモデルなのかは、ある程度教えてくれます。個人的には、検討するための材料としては十分なように感じています。
機械学習関連のライブラリや、GUI は自由に使える時代です。素人でも結果を出せるソフトも販売されています。ノンパラメトリック手法を敬遠するのは構わないと思いますが、使えないのはまずいでしょう。両方使える技術者が有利になるのは必然です。
2018年9月13日木曜日
データサイエンス
研修でのお話。
今、求められる技術者はπ型。T型ではダメだとのこと。
なぜか？
AIが登場したかららしい。
ふわっとした答えですが、なんとなく仰りたいところはわかりました。
ま、私の仕事だと、理学（のうち2つ）・工学（のうち2つ）・情報（のうち1つ）くらいは必要なのではないかと感じています。πではなく、T×5。
先日よりT型の横線部分を太くしようと、以下の図書を読んでいました。
久野ほか「大学4年間のデータサイエンスが10時間でざっと学べる」
近年、大学で教えられ始めた「データサイエンス」。統計の延長かな？っと思っていたら、そうでもなかったようです。
授業では、計算を GPU に乗せたり、ライブラリを利用したプログラミング、データベースなども扱われているようです。ビッグデータを扱わざるを得ない状況ですので、その入れ物や入出力の方法についても基礎知識として学ぶ必要があるのでしょう。
もちろん、機械学習や近年のディープラーニングも対象となっています。今まで虫食い状に扱っていた内容が案外網羅されていましたので少し驚くとともに、このような内容を基礎知識として有している学生はありがたい、と感じますね。いまだ「プログラミングできません」「GPUって何ですか？」「データが大きくEXCELで開けません」と言われる方いますからね。問題を解決できないのではなく、解決するステージにすらたどり着けないのは残念。機会の損失リスクへの対応ができていない状態です。
この本で印象に残ったのは、以下の3点。
今、求められる技術者はπ型。T型ではダメだとのこと。
なぜか？
AIが登場したかららしい。
ふわっとした答えですが、なんとなく仰りたいところはわかりました。
ま、私の仕事だと、理学（のうち2つ）・工学（のうち2つ）・情報（のうち1つ）くらいは必要なのではないかと感じています。πではなく、T×5。
先日よりT型の横線部分を太くしようと、以下の図書を読んでいました。
久野ほか「大学4年間のデータサイエンスが10時間でざっと学べる」
近年、大学で教えられ始めた「データサイエンス」。統計の延長かな？っと思っていたら、そうでもなかったようです。
授業では、計算を GPU に乗せたり、ライブラリを利用したプログラミング、データベースなども扱われているようです。ビッグデータを扱わざるを得ない状況ですので、その入れ物や入出力の方法についても基礎知識として学ぶ必要があるのでしょう。
もちろん、機械学習や近年のディープラーニングも対象となっています。今まで虫食い状に扱っていた内容が案外網羅されていましたので少し驚くとともに、このような内容を基礎知識として有している学生はありがたい、と感じますね。いまだ「プログラミングできません」「GPUって何ですか？」「データが大きくEXCELで開けません」と言われる方いますからね。問題を解決できないのではなく、解決するステージにすらたどり着けないのは残念。機会の損失リスクへの対応ができていない状態です。
この本で印象に残ったのは、以下の3点。
- 機械学習とは、学習シナリオ（問題設定）をコンピューターに与え、それを解くように機会を訓練させる方法。（p110）
- パラメトリックモデル（解釈性が高い）とノンパラメトリックモデル（真のモデルに近い可能性が高い）。(p120~121)
- ディープラーニング：ネットワークの深層化と大規模化により高い汎化性能を実験的に実現←過学習しやすい問題をビッグデータでカバー←ハードウェアとネットの発展が下支え(p212~215)
今年度も、大量のデータを扱う必要に迫られています。
さくっと解決したいですね。
2018年8月26日日曜日
GSFLOW-GRASS（途中〉
今日は、GSFLOW-GRASS。
https://github.com/UMN-Hydro/GSFLOW-GRASS
extentions のインストールや buildDomainGRASS.py を動かす段階で何度もエラーが出るなー、と思っていたら、間違ってました。GRASS の コンソール画面からインストールするよう書いてあったのに、Win のシェルを使っていました。ま、それでもいくつかのエラーは残りましたが。
最初から GRASS 経由だとエラーは少なかったと思いますが、今後のために書き残しておきましょう。
buildDomainGRASS.py
SyntaxError: Missing parentheses in call to 'print'
https://qiita.com/pugiemonn/items/94ac57ba1b7b03548efe
（Ver.3からは()が必要）
ModuleNotFoundError: No module named 'ConfigParser'
https://stackoverflow.com/questions/14087598/python-3-importerror-no-module-named-configparser
（大文字・小文字の違い）
ModuleNotFoundError: No module named 'readSettings'
（run フォルダー内の readSettings.py を \GSFLOW-GRASS-master\domain_builderにコピー）
Error opening or parsing input file: \GSFLOW-GRASS-master\Run\settings.ini
（settings.ini にリネーム）
まだ、DEMの取り込み中にエラーがかかります。
次回にしましょう。
https://github.com/UMN-Hydro/GSFLOW-GRASS
extentions のインストールや buildDomainGRASS.py を動かす段階で何度もエラーが出るなー、と思っていたら、間違ってました。GRASS の コンソール画面からインストールするよう書いてあったのに、Win のシェルを使っていました。ま、それでもいくつかのエラーは残りましたが。
最初から GRASS 経由だとエラーは少なかったと思いますが、今後のために書き残しておきましょう。
buildDomainGRASS.py
SyntaxError: Missing parentheses in call to 'print'
https://qiita.com/pugiemonn/items/94ac57ba1b7b03548efe
（Ver.3からは()が必要）
ModuleNotFoundError: No module named 'ConfigParser'
https://stackoverflow.com/questions/14087598/python-3-importerror-no-module-named-configparser
（大文字・小文字の違い）
ModuleNotFoundError: No module named 'readSettings'
（run フォルダー内の readSettings.py を \GSFLOW-GRASS-master\domain_builderにコピー）
Error opening or parsing input file: \GSFLOW-GRASS-master\Run\settings.ini
（settings.ini にリネーム）
まだ、DEMの取り込み中にエラーがかかります。
次回にしましょう。
2018年8月25日土曜日
GMS 動きました
久しぶりに GMS。
動かないと悩んでいたのが2年前ですね。
https://phreeqc.blogspot.com/2016/08/gms.html
今回は J-SHIS で切り出したモデルを GMS に取り込み、震源と観測地点を配置して計算。きっちり動きました。
動かなかった原因の一つは、モデルの大きさ。大きすぎると止まるようです。そこをクリアーすれば、後は容易でした。
単純な横ずれ断層と逆断層の2ケースを計算してみました。が、結果は意外。波動の伝播が思った動きと違いましたね。まだ理解できないのですが、押し引きだけでない理屈があるのでしょう。
ひとます、ある現場においての私の考え方が、単純すぎることが分かりました。
なんとか理解したいですね。
また2年後でしょうか。
動かないと悩んでいたのが2年前ですね。
https://phreeqc.blogspot.com/2016/08/gms.html
今回は J-SHIS で切り出したモデルを GMS に取り込み、震源と観測地点を配置して計算。きっちり動きました。
動かなかった原因の一つは、モデルの大きさ。大きすぎると止まるようです。そこをクリアーすれば、後は容易でした。
単純な横ずれ断層と逆断層の2ケースを計算してみました。が、結果は意外。波動の伝播が思った動きと違いましたね。まだ理解できないのですが、押し引きだけでない理屈があるのでしょう。
ひとます、ある現場においての私の考え方が、単純すぎることが分かりました。
なんとか理解したいですね。
また2年後でしょうか。
2018年8月12日日曜日
接地抵抗
後輩君の仕事がきっかけで、接地抵抗について再度調べていました。
特許申請中の手法を使う必要に迫られているようです。「地下水探査杖」と名付けられた手法です。検索すると基礎地盤さんの紹介が引っ掛かりました。
http://www.chugoku-geo.or.jp/book/export/html/6
接地抵抗を測っているだけのようですが、これ、多層地盤だと判断が難しいでしょう。
サウンディングなら、ロッドの濡れた位置や、試験後の孔に水位計を入れて水位を判断しています。調査深度全体が単層である保証はないでしょうし、しかも特許料を払う必要があるなら流行らないでしょうね。
これ、地下水位だけでなく、不飽和帯の土層変化の指標になるでしょう。含水比の差をサウンディング結果の補足として利用する、そのような使い方ができないでしょうか？
今までは音と感触だけで砂か粘土を判断していましたので、接地抵抗も含めるとより精度が上るでしょう。簡単なモデルを作ってEXCELレベルで計算すれば、正否のチェックもできそうです。これは特許に含まれていないようですので、サウンディングの基準に含められると思います。
機会があれば、試してみましょう。
特許申請中の手法を使う必要に迫られているようです。「地下水探査杖」と名付けられた手法です。検索すると基礎地盤さんの紹介が引っ掛かりました。
http://www.chugoku-geo.or.jp/book/export/html/6
接地抵抗を測っているだけのようですが、これ、多層地盤だと判断が難しいでしょう。
サウンディングなら、ロッドの濡れた位置や、試験後の孔に水位計を入れて水位を判断しています。調査深度全体が単層である保証はないでしょうし、しかも特許料を払う必要があるなら流行らないでしょうね。
これ、地下水位だけでなく、不飽和帯の土層変化の指標になるでしょう。含水比の差をサウンディング結果の補足として利用する、そのような使い方ができないでしょうか？
今までは音と感触だけで砂か粘土を判断していましたので、接地抵抗も含めるとより精度が上るでしょう。簡単なモデルを作ってEXCELレベルで計算すれば、正否のチェックもできそうです。これは特許に含まれていないようですので、サウンディングの基準に含められると思います。
機会があれば、試してみましょう。
地すべり管理基準値
地すべり移動速度を用いた管理基準値の例は、地すべり観測便覧や、土木研究所資料 地すべり防止技術指針及び同解説（提案）平成1９年９月に多く掲載されています。
他にも、
例をまとめたものがコチラ。
他にも、
例をまとめたものがコチラ。
- 現場に役立つ地すべり工学 ４．監視と予測
定常移動速度0.04~1.65mm/h
3次クリープの始まり（速度が増加し始めた時のひずみ速度）1.5~7mm/h
3次クリープから崩壊までの残り時間（避難基準の2mm/hから）20~1000時間
※一般的な警戒避難基準の2mm/h、または4mm/hは3次クリープの始まりとほぼ一致しており妥当。
注意体制2mm/h目安ですが、値を明記しているのがコチラ 。
警戒態勢（避難準備）2~4mm/h
避難2~10mm/h
- 道路土工 切土工・斜面安定工指針H21.6
かなり活発な地すべり変動が発生していると判断するための変動量の目安
1mm/日以上が10日以上連続
10mm/日以上が2日以上連続
1週間の累積傾斜量が100秒以上
1週間の平均傾斜量が30秒/日以上
地すべり地内への立ち入り制限を行う目安空振りでも良いので、迷わずに避難勧告等を出していただきたいところです。
2mm/h以上が2時間以上連続
傾斜量の累積が認められ、かつ1日の最大傾斜量が100秒以上
2018年8月5日日曜日
SNAP + Sentinel-1
SNAP で SARのデータを加工していました。
基本は以下の手順です。
https://phreeqc.blogspot.com/2017/11/interferometry-process.html
SNAP + Sentinel-1の場合、以下の通り。
DInSAR
S1 TOPS co-registration orbit-stack
interferometry
deburst
filter
(unwrap)
terrain correction
簡単なRGB表示
S1 TOPS co-registration orbit-stack
deburst
terrain correction
RGB Image Window
基本は以下の手順です。
https://phreeqc.blogspot.com/2017/11/interferometry-process.html
SNAP + Sentinel-1の場合、以下の通り。
DInSAR
S1 TOPS co-registration orbit-stack
interferometry
deburst
filter
(unwrap)
terrain correction
簡単なRGB表示
S1 TOPS co-registration orbit-stack
deburst
terrain correction
RGB Image Window
結果はどちらもイマイチ。うーん。やはり、ALOS データと、500~700万のソフトが必要でしょうか？「政府衛星データのオープン＆フリー化」は進展ないようですし。
ちなみに、unwrapping は Win10 の Shell 経由で可能でした。snaphu.conf にコマンドが記載されているので、コピペするだけです。こちらも結果はイマイチでしたが。
登録:
投稿 (Atom)