今回も SONY さん。
Neural Network Console
https://dl.sony.com/
Prediction One が全自動だとすると、コチラは半自動。プログラミング不要ですが、層構成を D&D で作る必要があります。逆に言うと、GUI でネットワークを構成できるので、各層の意味を理解していたら非常に簡単。LSTM、CNN も、GUIで組めます。
ハイパーパラメータ探索のみならず、層構成もベイズ最適化等を用いて自動最適化し、パレート最適解を示してくれます。
残念ながら、手持ちのデータで3日以上回しましたが、期待したほど広範囲を探索してくれませんでした。が、有用な機能なので、もう少し触る必要ありでしょう。
GPU も使えます。複雑な設定は必要ありません。
結果の PowerPoint への書き出しも可能。かゆいところに手が届いています。
このように設計は素晴らしいのですが、まだまだバグを潰せていないようです。1週間ほど使用しただけなのですが、training 段階で走ったデータが evaluation で走らない、PowerPoint 書き出しで学習曲線の一部しか載らない、混同行列が表示されない、等。エラーには再現性あり、なしがあり、クセを掴みにくいところが悩ましいですね。ま、バグ取りがてらの無償公開なのでしょう。有償になるかもしれませんが、次のVer.に期待しましょう。
今のところ、手持ちのデータでは最後まで走らないので、自動最適化で把握した構成を Keras 等で再現・調整するといった使い方になるでしょうか。ま、使い勝手の良い探索ツールが一つ増えたという認識で良いでしょう。
2019年9月30日月曜日
2019年9月29日日曜日
現場作業の基本
週末に観測機器を設置。
既存のネットワークに追加するだけなのですが、単管や電気配線を新たに配置するため、後輩君の練習がてらお手伝いとして参加。
設計主体の後輩君だったため、現場作業は不慣れ。
インパクト、電工ペンチの使い方や番線の締め方まで、ほぼ最初からでした。
番線の締め方やモノレールの使い方などは現場作業の基本です。が、現場主体の地質屋さんでも、御存知ない場合があります。おそらく、先輩から受け継がなかったのでしょう（動画でも確認できる時代ですが）。
ま、今回は「次はできる」と言わしめたので、目的は達成。
若い方も活躍できるように、基本的なことは学べる環境ができると良いと思います。
既存のネットワークに追加するだけなのですが、単管や電気配線を新たに配置するため、後輩君の練習がてらお手伝いとして参加。
設計主体の後輩君だったため、現場作業は不慣れ。
インパクト、電工ペンチの使い方や番線の締め方まで、ほぼ最初からでした。
番線の締め方やモノレールの使い方などは現場作業の基本です。が、現場主体の地質屋さんでも、御存知ない場合があります。おそらく、先輩から受け継がなかったのでしょう（動画でも確認できる時代ですが）。
ま、今回は「次はできる」と言わしめたので、目的は達成。
若い方も活躍できるように、基本的なことは学べる環境ができると良いと思います。
2019年9月25日水曜日
Prediction One
SONY さんの Automatic ML「Prediction One」
https://predictionone.sony.biz/
H2O の Driverless AI （最近、国内販売の代理店ができたようです）とコンセプトは同じです。
まずはKaggle の Credit Card Fraud Detection でテスト。
このデータは不均衡で、陽性0.2％です。ダメだろうなあと思いつつ前処理なしで喰わせてみました。
結果は上々。AUCが0.981。驚き。
残念なのは速度。GPUを使いませんし、CPUのコアも1つしか使用していません。メモリもかなり余っていました。
次に、手持ちのデータでテスト。同様に0.1%の Imbalanced data です。
結果はエラー。「予測ターゲットのユニーク数が少なすぎます。」と出ます。交差検証必須を外しても、学習・予測データを最初から分けてもダメ。わずか0.1％の差か？データの並びか？
前処理済みのデータではどうか？と思い over sampling 済みのデータでテスト。
が、これもダメ。60万行×40列なので仕様上は問題ないはずですが、学習を始めると1時間程度で停止します。
残念ながら前処理で python を使いますし、大きなデータを扱わないわけにはいかないので、実務には向かないようです。が、そこそこ精度は出そうな点、評価に資するための十分なレポートを作成してくれる点、ドキュメントに基礎知識等の解説が丁寧に解説されている点、日本語を扱える点から、入門者には良いツールでしょう。
国産 Automatic ML。Driverless AI レベルまで進化すれば great machine learning expert の不在は重要でなくなるかも（前処理に強い方は必須です）。
https://phreeqc.blogspot.com/2019/09/rules-of-machine-learning.html
SONY さん、応援します。
https://predictionone.sony.biz/
H2O の Driverless AI （最近、国内販売の代理店ができたようです）とコンセプトは同じです。
まずはKaggle の Credit Card Fraud Detection でテスト。
このデータは不均衡で、陽性0.2％です。ダメだろうなあと思いつつ前処理なしで喰わせてみました。
結果は上々。AUCが0.981。驚き。
残念なのは速度。GPUを使いませんし、CPUのコアも1つしか使用していません。メモリもかなり余っていました。
次に、手持ちのデータでテスト。同様に0.1%の Imbalanced data です。
結果はエラー。「予測ターゲットのユニーク数が少なすぎます。」と出ます。交差検証必須を外しても、学習・予測データを最初から分けてもダメ。わずか0.1％の差か？データの並びか？
前処理済みのデータではどうか？と思い over sampling 済みのデータでテスト。
が、これもダメ。60万行×40列なので仕様上は問題ないはずですが、学習を始めると1時間程度で停止します。
残念ながら前処理で python を使いますし、大きなデータを扱わないわけにはいかないので、実務には向かないようです。が、そこそこ精度は出そうな点、評価に資するための十分なレポートを作成してくれる点、ドキュメントに基礎知識等の解説が丁寧に解説されている点、日本語を扱える点から、入門者には良いツールでしょう。
国産 Automatic ML。Driverless AI レベルまで進化すれば great machine learning expert の不在は重要でなくなるかも（前処理に強い方は必須です）。
https://phreeqc.blogspot.com/2019/09/rules-of-machine-learning.html
SONY さん、応援します。
2019年9月18日水曜日
全国の地下水流動経路
近年、GETFLOWS の利用例をよく見かけます。
昨年、地下水学会誌でも「水循環基本計画の下での地下水に関する取り組み」が特集として組まれていました。こうなると地表水、地下水の連成が必須になります。できないだけは避けたいのですが、まだまだ実務で自由に使えるほど実装できていません。
と、見ないふりをしている間に、このようなサイトが公開されていました。
https://www.getc.co.jp/webmap/
trial ということは、有償版があるのでしょう。
うーん。素晴らしいと思う反面、コード非公開のため盲信してよいのかわかりません。相変わらず微妙なのですが、一部ではネームバリュー含め利用価値はあるでしょう。
うーん。
昨年、地下水学会誌でも「水循環基本計画の下での地下水に関する取り組み」が特集として組まれていました。こうなると地表水、地下水の連成が必須になります。できないだけは避けたいのですが、まだまだ実務で自由に使えるほど実装できていません。
と、見ないふりをしている間に、このようなサイトが公開されていました。
https://www.getc.co.jp/webmap/
trial ということは、有償版があるのでしょう。
うーん。素晴らしいと思う反面、コード非公開のため盲信してよいのかわかりません。相変わらず微妙なのですが、一部ではネームバリュー含め利用価値はあるでしょう。
うーん。
2019年9月17日火曜日
Rules of Machine Learning
Rules of Machine Learning
http://martin.zinkevich.org/rules_of_ml/rules_of_ml.pdf
機械学習のプロも傍に欲しいと常々思っています。より良いモデルができるのでは？時間を短縮できるのでは？云々。
そのようなときに目にした文章です。有名なのか、全訳されている方もいらっしゃいました。ありがたい。
http://martin.zinkevich.org/rules_of_ml/rules_of_ml.pdf
To make great products:ないものねだりでしょうか。
do machine learning like the great engineer you are, not like the great machine learning expert you aren’t.Most of the problems you will face are, in fact, engineering problems. Even with all the resources of a great machine learning expert, most of the gains come from great features, not great machine learning algorithms.
機械学習のプロも傍に欲しいと常々思っています。より良いモデルができるのでは？時間を短縮できるのでは？云々。
そのようなときに目にした文章です。有名なのか、全訳されている方もいらっしゃいました。ありがたい。
不飽和地盤を対象とした現場透水試験
2年前に不飽和地盤を対象とした現場透水試験法が、地盤工学会で基準化されました。
それまで、現場透水試験といえば、飽和帯を対象としたものが主体でした。
過年度の報告書を借りてくると、不飽和帯に対し飽和帯の試験を適用して、透水係数を求めている例を見かけることも屡々。「長時間注入しているから飽和したと見なす」、「流量が一定になったから飽和帯とみなす」、などという期待のもとに実施されていたり、何も記載せず淡々と飽和帯の式を流用している例も多く見ました。背景には、不飽和の式が基準にないから飽和の式を使うといったマニュアル依存が強くあったようです（基準外の論文ベースの不飽和試験を実施している例は見ませんでした）。
「長時間注入しているから飽和したと見なす」等の期待について、論ずるに値しないことを示すデータは、以下の報告にあります。
それまで、現場透水試験といえば、飽和帯を対象としたものが主体でした。
過年度の報告書を借りてくると、不飽和帯に対し飽和帯の試験を適用して、透水係数を求めている例を見かけることも屡々。「長時間注入しているから飽和したと見なす」、「流量が一定になったから飽和帯とみなす」、などという期待のもとに実施されていたり、何も記載せず淡々と飽和帯の式を流用している例も多く見ました。背景には、不飽和の式が基準にないから飽和の式を使うといったマニュアル依存が強くあったようです（基準外の論文ベースの不飽和試験を実施している例は見ませんでした）。
「長時間注入しているから飽和したと見なす」等の期待について、論ずるに値しないことを示すデータは、以下の報告にあります。
西垣ほか「不飽和地盤を対象とした現場透水試験法に関する課題の抽出と改良に関する考察」
- 初期飽和度により求められる透水係数が異なる。これは、不飽和帯に注入することで間隙空気が封入されるため。
- CO2ガスの事前注入が有効。
大きくは上記2点の成果が中心の報告です。他にも、示唆に富む報告が数多く含まれており、個人的には「当たり」の資料でした。
過去の研究をもとに、普遍化・共有化できる部分のみがマニュアル化・基準化されているとも言えます。その観点ではマニュアルや基準の適用範囲に多様な自然をすべて合わせることはできません。適用外の自然をどのように調べるか？が地質屋の力量と言われたこともあります（素晴らしい施主でした！）。
今まで力量を問われ対応できなかった方々も、せっかく基準化されたのですから、使えばよいと思います。不飽和地盤を対象とした試験、今後は広く使われるようになることに期待しましょう。
2019年9月15日日曜日
土石流と水温
土石流発生のタイミングを水温で予測しようとする研究です。
・非発生斜面との比較（非発生斜面では温度低下が認められない？鈍い？）。
・流域の全斜面はもちろん、全国に温度計を設置するのは不可能。代替案が必要。
・短期雨量に起因する土石流発生。
1点目。研究の根源でありビジネス以前の問題です。今後、他の谷での観測結果を待ちたいところです。
2点目。文献では1つの谷に対し5箇所で観測を行っていました。5箇所でも少ないのに、他の斜面、全国展開となるとお手上げでしょう。が、契約民家裏の谷のみをビジネスの対象とする、土砂災害警戒情報にあわせてメッシュ対応にする、数値実験や SWI を利用するなど、代替え案は考えられます。
3点目への対応は厳しいでしょう。先日の岡山県北部で発生した土石流は拾えないでしょう。
いずれにしても、まだこれからの研究。
今後のデータ蓄積・分析に期待しましょう。
【研究成果】土石流発生リスクを地下水の温度で予測
この研究、ビジネスに展開するには次の3点をクリアしなければならないでしょう。降雨がある程度強くなると、地下水位が上昇するために、地盤内でも下から上に水分が広がっていきますが、通常は地表から地下に降りていく雨水によって地表面の熱が伝わっているために、地下水の温度は上昇します。ところが、平成30年7月豪雨では地下水位上昇時に水温が急激に低下することが観測されました(図)。これは、地下深いところにある岩盤内の水圧が高まって、岩盤から表層の風化層に冷たい水が供給されて地下水位が上昇したことを示しており、豪雨時に基盤から表層斜面に水が供給されることを裏付ける貴重なデータとなりました。
・非発生斜面との比較（非発生斜面では温度低下が認められない？鈍い？）。
・流域の全斜面はもちろん、全国に温度計を設置するのは不可能。代替案が必要。
・短期雨量に起因する土石流発生。
1点目。研究の根源でありビジネス以前の問題です。今後、他の谷での観測結果を待ちたいところです。
2点目。文献では1つの谷に対し5箇所で観測を行っていました。5箇所でも少ないのに、他の斜面、全国展開となるとお手上げでしょう。が、契約民家裏の谷のみをビジネスの対象とする、土砂災害警戒情報にあわせてメッシュ対応にする、数値実験や SWI を利用するなど、代替え案は考えられます。
3点目への対応は厳しいでしょう。先日の岡山県北部で発生した土石流は拾えないでしょう。
いずれにしても、まだこれからの研究。
今後のデータ蓄積・分析に期待しましょう。
登録:
投稿 (Atom)