今年は余裕でした。
年々、忙しさは緩和している気がします。それでも、余裕で目標はクリア。力を有効に発揮できる状態だとすると、企業としては良い状況でしょうか？
技術者としては、やり残し事項をほとんど解消できず、チャレンジが少なかったのでしょう。課題に挙げていなかった AI や微動はそこそこ進みましたが、他はイマイチ。うーん。どうしましょうか。
とりあえず、リストアップ。
道具
帯磁率計
ガンマ線測定器（携帯型）
技術
動的解析（耐震、液状化）
斜面設計
コード・ソフト
・DtransuのCUDA化・・・100万で購入可。
・PSIｎSAR・・・500万ほどで購入可
・GSFLOW ＋ QGIS
中期目標へも手を出し始めましたが、尽くうまくいかず。前倒し失敗。
来年から頑張りましょう。
2017年12月31日日曜日
Python exe 変換
TXT ファイルのコンバーターを EXCEL VBA で作りました。
うん、長い。遅い。
Python で作るとどうなるか？と思い、作成。
非常に簡素なコードになりました。処理も速い。
で、違う PC にて動かそうと思い気付きました。
「Python 入れてない」
後輩に渡すにしても、いちいち「python 入れてね」もない。
で、exe 化。
検索すれば、ありますね。
簡単そうな PyInstaller を選択。
コマンドプロンプトから
pip install PyInstaller
cd で py ファイルのありかに移動。
もう一度、コマンドプロンプトから
pyinstaller -F conv.py
これだけ。簡単です。
が、できたexeは220MB。でかい。
しかも処理に20秒くらいかかる。
遅すぎ。
で、cx_Freeze を試用。
pip install cx_Freeze
こちらはsetup.pyが必要。ネットから拾ってきて修正して保存。
python setup.py build
が、エラー発生。
何度か修正して、ようやくコンパイル完了。
で、実行。
が、エラー。
残念。
何度か修正しましたが動かず。
さえないですが、今年はこれまでにしましょう。
うん、長い。遅い。
Python で作るとどうなるか？と思い、作成。
非常に簡素なコードになりました。処理も速い。
で、違う PC にて動かそうと思い気付きました。
「Python 入れてない」
後輩に渡すにしても、いちいち「python 入れてね」もない。
で、exe 化。
検索すれば、ありますね。
簡単そうな PyInstaller を選択。
コマンドプロンプトから
pip install PyInstaller
cd で py ファイルのありかに移動。
もう一度、コマンドプロンプトから
pyinstaller -F conv.py
これだけ。簡単です。
が、できたexeは220MB。でかい。
しかも処理に20秒くらいかかる。
遅すぎ。
で、cx_Freeze を試用。
pip install cx_Freeze
こちらはsetup.pyが必要。ネットから拾ってきて修正して保存。
python setup.py build
が、エラー発生。
何度か修正して、ようやくコンパイル完了。
で、実行。
が、エラー。
残念。
何度か修正しましたが動かず。
さえないですが、今年はこれまでにしましょう。
2017年12月25日月曜日
極小アレイ
今日は初めてのアレー探査。
現場の制約から、極小アレーを選択。
試行するには少し問題のある現場だったのですが、解析実習も兼ねて実施。といっても、今日は測定だけなので、1日プロとおしゃべり。機器準備の手順、測定時のノウハウから、問題になっている熊本の本震波形の詳細まで。色々話を聞けて、有意義な現場でした。
BIDO も Win で動いたそうで、コンパイルしたものをいただきました。
ここから先は既に一通り試しています。分散曲線ができたら、後はいつもの WaveEq で速度構造を推定します。速度構造ができれば、あとは3次元補間しておしまいです。
調査としてはS波速度構造の推定のほか、表面波の長周期側（深部）の補間や、文献に出ていたボーリング実施前の状況把握に使えそうです。
データをクラウド処理し、速度構造まで自動表示してくれるプログラムは、まだ公開されていません。速度構造は GA 等ではなく、初期モデルに該当する作成方法なのですが、それでも現場で自動で表示・確認できればありがたいですね。
測定はJU410。ケーブル類が一切ないので非常に便利でした。これは他部署のプロの持ち物なので、また一緒にどこかに行って有意義な一日を過ごせればと期待しています。
現場の制約から、極小アレーを選択。
試行するには少し問題のある現場だったのですが、解析実習も兼ねて実施。といっても、今日は測定だけなので、1日プロとおしゃべり。機器準備の手順、測定時のノウハウから、問題になっている熊本の本震波形の詳細まで。色々話を聞けて、有意義な現場でした。
BIDO も Win で動いたそうで、コンパイルしたものをいただきました。
ここから先は既に一通り試しています。分散曲線ができたら、後はいつもの WaveEq で速度構造を推定します。速度構造ができれば、あとは3次元補間しておしまいです。
調査としてはS波速度構造の推定のほか、表面波の長周期側（深部）の補間や、文献に出ていたボーリング実施前の状況把握に使えそうです。
測定はJU410。ケーブル類が一切ないので非常に便利でした。これは他部署のプロの持ち物なので、また一緒にどこかに行って有意義な一日を過ごせればと期待しています。
2017年12月24日日曜日
PSInSAR できません
PSInSAR をマスターしたくて、StaMPS をDL。
マニュの通り Doris 等の関連ツールもDL。で、make、make install。
さて、始めましょう、とマニュを読むもとっつきにくい。で、ネットで情報を集めると、どうも SNAP から export できるようでした。なら簡単、と思いもう少し読み進めると、MATLAB の話題が出てきました。さらに読むと、どうも MATLAB が必要らしいことが書かれています。確かに、StaMPS のフォルダを見ると、MATLAB のスクリプトがたくさんあります。ここまで来て。orz
MATLAB は古いWin版を持っていますが、StaMPS が対応していないとのこと。
make uninstall で、はい、解散。
商用ソフトは高い。数百万します。理屈は簡単ですし効果も期待できるのですが、ソフトがないと何もできません。これって、持ってるか持ってないか、だけの話なのですよね。もったいない。買ってくれないですかね。
マニュの通り Doris 等の関連ツールもDL。で、make、make install。
さて、始めましょう、とマニュを読むもとっつきにくい。で、ネットで情報を集めると、どうも SNAP から export できるようでした。なら簡単、と思いもう少し読み進めると、MATLAB の話題が出てきました。さらに読むと、どうも MATLAB が必要らしいことが書かれています。確かに、StaMPS のフォルダを見ると、MATLAB のスクリプトがたくさんあります。ここまで来て。orz
MATLAB は古いWin版を持っていますが、StaMPS が対応していないとのこと。
make uninstall で、はい、解散。
商用ソフトは高い。数百万します。理屈は簡単ですし効果も期待できるのですが、ソフトがないと何もできません。これって、持ってるか持ってないか、だけの話なのですよね。もったいない。買ってくれないですかね。
2017年12月23日土曜日
持続可能な地下水利用
丸善で書籍を物色。
土木や理学の見たい洋書は揃っていないのですが、コーナーがあるだけでもありがたい。基本、洋書はネットで購入しているので、お宝発掘のような気分で覗いています。
和書はそろっています。新刊のチェックが主目的になります。
この日は他に良い本がなかったので、地下水の棚に移動。ほぼ読んでいましたが、1冊だけ読んでいない図書がありました。
島田他「持続可能な地下水利用に向けた挑戦」
普段なら手に取らない図書です。が、手に取ってみました。これが当たり。
熊本の地下水循環についての話題でした（そういえば数年前に仕事としても発注されていました）。汚染物質だけでなく、温度や同位体をトレーサーにしているなど、現状で考えられるほぼ全てをシミュレーションに乗せています。当然、表流水と地下水を連成しています（当たり前のように出てくる、GETFLOWS）。図書なので、残念ながらシミュの詳細がわかりません。一度、見てみたいですね。
地質の概要はわかりやすいと思います。この地質モデルは力作でしょう。ぞっとする広さです。やりたくないですね。
シミュで地質を合わせこんでいく方針も良いと思います。トリチウムが使えない点、CFCsが効果的であった点もGood。このあたり、ほぼ私の考え方とあっていますので、引用し易いですね。
ただ、シミュの結果が観測結果とあっている、という点は疑問。再現解析で水位がずっと 2m 程度ずれたままだったのですが、「あっている」と言われています。大学の先生が「あっている」と言われると、その程度は「あっている」ことになるのでしょう。よくあることです。民間の成果なら、まず受け取ってもらえないでしょう。ま、もう少し合わせこむ努力は必要でしょうね。難しいと思いますが。
8章まで読んだ後、興味がなくなり止まりました。硝酸、ヒ素の章を読んで、終わりにしましょう。
土木や理学の見たい洋書は揃っていないのですが、コーナーがあるだけでもありがたい。基本、洋書はネットで購入しているので、お宝発掘のような気分で覗いています。
和書はそろっています。新刊のチェックが主目的になります。
この日は他に良い本がなかったので、地下水の棚に移動。ほぼ読んでいましたが、1冊だけ読んでいない図書がありました。
島田他「持続可能な地下水利用に向けた挑戦」
普段なら手に取らない図書です。が、手に取ってみました。これが当たり。
熊本の地下水循環についての話題でした（そういえば数年前に仕事としても発注されていました）。汚染物質だけでなく、温度や同位体をトレーサーにしているなど、現状で考えられるほぼ全てをシミュレーションに乗せています。当然、表流水と地下水を連成しています（当たり前のように出てくる、GETFLOWS）。図書なので、残念ながらシミュの詳細がわかりません。一度、見てみたいですね。
地質の概要はわかりやすいと思います。この地質モデルは力作でしょう。ぞっとする広さです。やりたくないですね。
シミュで地質を合わせこんでいく方針も良いと思います。トリチウムが使えない点、CFCsが効果的であった点もGood。このあたり、ほぼ私の考え方とあっていますので、引用し易いですね。
ただ、シミュの結果が観測結果とあっている、という点は疑問。再現解析で水位がずっと 2m 程度ずれたままだったのですが、「あっている」と言われています。大学の先生が「あっている」と言われると、その程度は「あっている」ことになるのでしょう。よくあることです。民間の成果なら、まず受け取ってもらえないでしょう。ま、もう少し合わせこむ努力は必要でしょうね。難しいと思いますが。
8章まで読んだ後、興味がなくなり止まりました。硝酸、ヒ素の章を読んで、終わりにしましょう。
Autodesk 不調
撮ってきていただいた写真を ReCap Photo に投げる前に、クラウドクレジットを買うことに。
オンラインストアから購入しようとするのですが、買えません。
Edge では、支払い方法をコンビニか銀行振り込みを選択した段階でフリーズ。Chrome ではHPのデザイン自体が崩れており、「続行」ボタンがありません。iPhoneからも同様。Win10, Win7, PC3種を使ってみましたが全てダメ。
すぐに欲しかったので Autodesk のコールセンターに電話をすると、チャットへ行くようにとの指示。チャットで聞くと、販売店に聞くようにとの指示。販売店でもわからないだろうと思いながら再度伺うも、回答は同じ（購入の質問は販売店へ、などといったマニュアルがあるのでしょう）。受け付けていただけないので、仕方なく販売店に聞いてみると、やはりわからないとの回答。当たり前です。チャットでサポートケースができていましたので、そこで「販売店もわからない」趣旨を伝えて本日は終了。結局、他部署の PhotoScan に投げてもらいました。クラウドサービスも、考えモノです。
実は、IDS から AEC に切り替えてからというもの、不具合がちらほら。
以前にも書き残していますが、管理者なのに AEC が所有製品に出てこずダウンロードできない（販売店経由で Autodesk に問い合わせていただき、サーバー側の不具合を解消いただいた）、サポートケースを作成しようとしても、所有製品が出てこず質問すらできない（チャットで何度もズレた指示をもらうものの、できたサポートケースから別の担当者が不具合を発見し解消していただいた）、ReCap Photo では GCP 入れようとすると必ず落ちる手順があったり、Infraworks や ReCap はPC再起動後の初回立ち上げでエラー発生し起動しなかったり。AEC にしてから、ソフトもサポートも不具合が目立つようになりました。
サポートのレベル低下は Autodesk だけではないでしょう。他社でも頑張ってサポートしていただく意志は見えるのですが、レベルが低いと感じることが多々あります。ユーザーの増加に対しサポートの育成が追いついていないのでしょうか。マニュアルに頼るしかなく、本質を見抜けないというか。このレベルが続くとは思いませんが、もし続けば AI に取って代わられそうです。
いずれにせよ、クラウドに移行する流れの中で、サーバー側の不具合は致命的。何もできない状態にならないように信頼性の高い会社を選択するか、オフラインでも動くソフトを選択、あるいは備えておくなどの方針が良いのでしょう。
さあ、いつになったら購入できるでしょうか？オフラインの方が速いかも。
******************************
20171223追記
AUTODESK ACCOUNT の管理-契約画面で「クラウドクレジットを取得」からオンラインストアに行くと、上記の通りフリーズ。
→リロードするとエラー画面
→リロードするとすると「購入手続きを行う」ボタンが表示
→お客様情報入力画面で必要箇所入力
→支払情報入力
ここで、クレカかPayPalしか表示されません。これが根源のようですね。
オンラインストアから購入しようとするのですが、買えません。
Edge では、支払い方法をコンビニか銀行振り込みを選択した段階でフリーズ。Chrome ではHPのデザイン自体が崩れており、「続行」ボタンがありません。iPhoneからも同様。Win10, Win7, PC3種を使ってみましたが全てダメ。
すぐに欲しかったので Autodesk のコールセンターに電話をすると、チャットへ行くようにとの指示。チャットで聞くと、販売店に聞くようにとの指示。販売店でもわからないだろうと思いながら再度伺うも、回答は同じ（購入の質問は販売店へ、などといったマニュアルがあるのでしょう）。受け付けていただけないので、仕方なく販売店に聞いてみると、やはりわからないとの回答。当たり前です。チャットでサポートケースができていましたので、そこで「販売店もわからない」趣旨を伝えて本日は終了。結局、他部署の PhotoScan に投げてもらいました。クラウドサービスも、考えモノです。
実は、IDS から AEC に切り替えてからというもの、不具合がちらほら。
以前にも書き残していますが、管理者なのに AEC が所有製品に出てこずダウンロードできない（販売店経由で Autodesk に問い合わせていただき、サーバー側の不具合を解消いただいた）、サポートケースを作成しようとしても、所有製品が出てこず質問すらできない（チャットで何度もズレた指示をもらうものの、できたサポートケースから別の担当者が不具合を発見し解消していただいた）、ReCap Photo では GCP 入れようとすると必ず落ちる手順があったり、Infraworks や ReCap はPC再起動後の初回立ち上げでエラー発生し起動しなかったり。AEC にしてから、ソフトもサポートも不具合が目立つようになりました。
サポートのレベル低下は Autodesk だけではないでしょう。他社でも頑張ってサポートしていただく意志は見えるのですが、レベルが低いと感じることが多々あります。ユーザーの増加に対しサポートの育成が追いついていないのでしょうか。マニュアルに頼るしかなく、本質を見抜けないというか。このレベルが続くとは思いませんが、もし続けば AI に取って代わられそうです。
いずれにせよ、クラウドに移行する流れの中で、サーバー側の不具合は致命的。何もできない状態にならないように信頼性の高い会社を選択するか、オフラインでも動くソフトを選択、あるいは備えておくなどの方針が良いのでしょう。
さあ、いつになったら購入できるでしょうか？オフラインの方が速いかも。
******************************
20171223追記
AUTODESK ACCOUNT の管理-契約画面で「クラウドクレジットを取得」からオンラインストアに行くと、上記の通りフリーズ。
→リロードするとエラー画面
→リロードするとすると「購入手続きを行う」ボタンが表示
→お客様情報入力画面で必要箇所入力
→支払情報入力
ここで、クレカかPayPalしか表示されません。これが根源のようですね。
20170113追記
ReCAP Photo を入れなおしましたが GCP 使えず。サポートさんに聞いても改善できず。
遂に、GCP なしでも強制終了するようになり、使い物にならなくなりました。
せっかくクレジットが届いたのに。残念。
ReCAP Photo を入れなおしましたが GCP 使えず。サポートさんに聞いても改善できず。
遂に、GCP なしでも強制終了するようになり、使い物にならなくなりました。
せっかくクレジットが届いたのに。残念。
2017年12月22日金曜日
Pix4Dcapture
久しぶりに Phantom3 を 飛ばしに行こうとして、準備をしていました。
Phantom２の頃の暴走イメージが払拭できず、あまり乗り気ではありませんでした。
仕方なしに準備していたところ、タブレットの中で面白いアプリを見つけました。
Pix4Dcapture
https://pix4d.com/product/pix4dcapture/
別の部署の方が使用された際に入れられたようです。中を見て驚き。自動飛行を組めるようになっています。しかも、超簡単！
これは良い！と思って触っていたら、当の本人が来られて、しばらくおしゃべり。
・ずいぶん前からあるアプリ。
・自動飛行が楽。見てるだけ。すぐ終わる。
・設定は事前に可能。セーブできる。
・撮影範囲、ラップ率、高度を設定すると、自動で飛行ルートを表示してくれる!!!
・最近はこれしか使っていない。
・近くに行くのでついでに飛ばしてきてあげる。
お話ししながら飛行計画を組み、ミッションとしてセーブ。あとは現地でキャリブレーション後に Start ボタンを押すだけ。ちょっと見てみたかった。
できるだけ飛ばすのはプロに任せる方針なのですが、これならきちんと動いてくれそう。
貸していた Phantom のバッテリーを返しに来られた別の方にその話をすると、
「Phantom3 と Pix4DCaputure（iPhone版）では、時々 Start （離陸）しないことがある」「Phantom3 は怪しい」「Phantom4なら大丈夫」とのこと。
うーん、やっぱりプロに任せたい。
Phantom２の頃の暴走イメージが払拭できず、あまり乗り気ではありませんでした。
仕方なしに準備していたところ、タブレットの中で面白いアプリを見つけました。
Pix4Dcapture
https://pix4d.com/product/pix4dcapture/
別の部署の方が使用された際に入れられたようです。中を見て驚き。自動飛行を組めるようになっています。しかも、超簡単！
これは良い！と思って触っていたら、当の本人が来られて、しばらくおしゃべり。
・ずいぶん前からあるアプリ。
・自動飛行が楽。見てるだけ。すぐ終わる。
・設定は事前に可能。セーブできる。
・撮影範囲、ラップ率、高度を設定すると、自動で飛行ルートを表示してくれる!!!
・最近はこれしか使っていない。
・近くに行くのでついでに飛ばしてきてあげる。
お話ししながら飛行計画を組み、ミッションとしてセーブ。あとは現地でキャリブレーション後に Start ボタンを押すだけ。ちょっと見てみたかった。
できるだけ飛ばすのはプロに任せる方針なのですが、これならきちんと動いてくれそう。
貸していた Phantom のバッテリーを返しに来られた別の方にその話をすると、
「Phantom3 と Pix4DCaputure（iPhone版）では、時々 Start （離陸）しないことがある」「Phantom3 は怪しい」「Phantom4なら大丈夫」とのこと。
うーん、やっぱりプロに任せたい。
2017年12月20日水曜日
深層崩壊把握の初動
大規模災害が発生すると、空撮が行われます。
地震や洪水では、被災箇所がある程度わかるでしょう。が、深層崩壊は分かりにくいと思います。それを把握するため対策が行われているところですが、ふと、次のように思いつきした。
深層崩壊が起こると瞬時に振動センサーが検知し、概略位置が特定されます。
その周辺を撮るように衛星に命令を送ると、およそ半日後の軌道で SAR データが得られます。
それを基に飛行計画を立案し、空撮＋LP測量を行います。
ココまでが初動。
複数の技術を段階的に組み合わせることで、把握する精度を上げていく流れです。（場所の把握が目的であれば）SAR なら雲の有無に関係なくデータを取得できるので、深層崩壊には相性が良いでしょう。
ココまでが初動。
複数の技術を段階的に組み合わせることで、把握する精度を上げていく流れです。（場所の把握が目的であれば）SAR なら雲の有無に関係なくデータを取得できるので、深層崩壊には相性が良いでしょう。
個々の技術レベルは決して高くないので、国が主体になれば容易に実現できます。というか、数年前の発災時には個々に実施されていましたので、既に体制は整っているかもしれません。いえ、知恵のある方なら、さらに良い組み合わせを実現されているでしょう。
私も少し考えてみましょう。
私も少し考えてみましょう。
2017年12月19日火曜日
SfM ソフト比較
身近に複数の UAV ＆ SfM ソフトがあります。
部署毎に好きに進めていたので、銘柄がそろっていません。そこで、UAV による空撮画像からソフト毎に点群を作成し、どの程度実測と異なるかを比較してみることにしました。使用したソフトは以下の3種。すべて最新Ver.です。
・PhotoScan Pro
・Pix4Dmapper
・ReCap Photo
条件は GCPｓを6点のみ与える（公共座標） & それ以外の手動スティッチなし。
できたモデルを見てみますと、PhotoScan、Pix4D は1億点以上になりました。それでも、ReCap など点群を扱うソフトではストレスなく動きました。
が、実測断面と比較するため CAD に持っていくと重すぎて動きません。必要箇所だけ切り出してサーフェスを作成し、そこから断面を切り出しました。
切り出した断面を見ると、一長一短ありますが、どのソフトも似たような再現性。角、法肩、法尻など急変部の再現性はどれも甘い。一方、道路等の平坦面はきれいに再現されていました。実測断面と比較して大きな差は生じておらず、またソフト間の差も小さいものでした。構造物設計に使えるレベルではないものの、概況を把握するなら十分すぎるレベルです。
SfM が流行りだしたのが6年前、UAV が3年前くらいでしょう。その組み合わせを測量に適用し始めたのがここ1、２年。そのような短期間でも、ソフトウェアベンダーの日々の開発により、ソフト間で差がない程度にまで精度は収斂してきています。
あと付加するとすれば自動化でしょうか？標点を自動で抽出し、座標入力を求めるくらいまでは成長してほしいですね。そこにAI とか入ってくるのかな？
既に一般化してしまったSfM、陳腐化を避けるための開発と価格競争が始まりそうです。
*****************************
20180124追記
下路アーチ橋を題材に ReCap Photo と PhotoScan で比較。
点群密度に差があること、川（水の反射）をうまく処理できたこと、などでPhotoScanのほうが綺麗に点群を作成できました。
昔は ReCap でも点群の粗密を選べたのですが、現行Ver.は不可。残念ですね。
部署毎に好きに進めていたので、銘柄がそろっていません。そこで、UAV による空撮画像からソフト毎に点群を作成し、どの程度実測と異なるかを比較してみることにしました。使用したソフトは以下の3種。すべて最新Ver.です。
・PhotoScan Pro
・Pix4Dmapper
・ReCap Photo
条件は GCPｓを6点のみ与える（公共座標） & それ以外の手動スティッチなし。
できたモデルを見てみますと、PhotoScan、Pix4D は1億点以上になりました。それでも、ReCap など点群を扱うソフトではストレスなく動きました。
が、実測断面と比較するため CAD に持っていくと重すぎて動きません。必要箇所だけ切り出してサーフェスを作成し、そこから断面を切り出しました。
切り出した断面を見ると、一長一短ありますが、どのソフトも似たような再現性。角、法肩、法尻など急変部の再現性はどれも甘い。一方、道路等の平坦面はきれいに再現されていました。実測断面と比較して大きな差は生じておらず、またソフト間の差も小さいものでした。構造物設計に使えるレベルではないものの、概況を把握するなら十分すぎるレベルです。
SfM が流行りだしたのが6年前、UAV が3年前くらいでしょう。その組み合わせを測量に適用し始めたのがここ1、２年。そのような短期間でも、ソフトウェアベンダーの日々の開発により、ソフト間で差がない程度にまで精度は収斂してきています。
あと付加するとすれば自動化でしょうか？標点を自動で抽出し、座標入力を求めるくらいまでは成長してほしいですね。そこにAI とか入ってくるのかな？
既に一般化してしまったSfM、陳腐化を避けるための開発と価格競争が始まりそうです。
*****************************
20180124追記
下路アーチ橋を題材に ReCap Photo と PhotoScan で比較。
点群密度に差があること、川（水の反射）をうまく処理できたこと、などでPhotoScanのほうが綺麗に点群を作成できました。
昔は ReCap でも点群の粗密を選べたのですが、現行Ver.は不可。残念ですね。
2017年12月17日日曜日
SAR の将来
内閣府の SIP、国交省「社会インフラのモニタリング技術活用推進検討委員会」では、SAR を用いた技術開発案が複数採り上げられています。
後者のWG委員による意見が今年の2月に出ていますが、SAR に関しては概ね共通しているように見えます。
http://www.mlit.go.jp/common/001176663.pdf
データ処理後の精度は比較的はっきりしているのですが、それを変位か、ノイズかといったような人側の判断が最終的な精度に影響を及ぼすでしょう。それについては PS 法である程度機械的に解決できますが、面的となると経験が必要です。この経験、欲しいですね。
データは高価ですが、経産省の方針により近い将来には無料になるかもしれません。
後者のWG委員による意見が今年の2月に出ていますが、SAR に関しては概ね共通しているように見えます。
http://www.mlit.go.jp/common/001176663.pdf
- コスト、計測精度をあきらかにする必要がある。
- 適用範囲を明確にすることが必要。（ロックフィルダム等での実装、河川堤防の自然沈下などの長期的な変状の把握等）
データ処理後の精度は比較的はっきりしているのですが、それを変位か、ノイズかといったような人側の判断が最終的な精度に影響を及ぼすでしょう。それについては PS 法である程度機械的に解決できますが、面的となると経験が必要です。この経験、欲しいですね。
結果は比較的安価に提供できると思われます。それなりの効率・結果を出そうとするとソフトだけでも数百万の初期投資が必要になります。が、国交省によるマニュアル化が済んでしまえば一般業務として発注されることも期待できますし、そうなると「できない」では取り残されてしまいます。
データは高価ですが、経産省の方針により近い将来には無料になるかもしれません。
「政府衛星データのオープン＆フリー化及びデータ利用環境整備に関する検討会」
そうなると、あとは手を動かすのみ。理論や技術レベルは案外低いので、誰でも画像は作成できるでしょう（評価は別。私にはまだ難しい）。DInSAR までなら、どなたがされても似たような絵になるでしょうから、データ同様にアーカイブ化・オープン化されるかもしれません。UAV 同様、すぐに認知度は高くなるでしょうね。
WGによれば「国際展開の具体的な提案があれば、ODA 等で活用される可能性がある」とも。
将来の展開が楽しみな技術です。
2017年12月12日火曜日
QGIS で地質図
QGIS で地質図を作りました。
ルートマップ作成時にはCAD でまとめることしか頭になかったのですが、少しこだわりすぎていたようです。
https://phreeqc.blogspot.jp/2017/10/qgis.html
CAD では平面と断面の整合が取れた3次元構造さえあればOKです。GEORAMA で作成した地層サーフェスを Civil3D から LandXMLで書き出し、別図面で読み込んで境界を利用しハッチングする。それを DXF で保存し QGIS に投げると、地質分布のポリゴンが出来上がりです。スタイルを調整するか、あるいはレイヤ間でコピペして特定のスタイルを反映させると、きれいな地質分布が出来上がります。
未固結堆積物、岩脈など、若い順に入れていくのがコツ。地質分布のレイヤーにスナップを設定しておけば、DXFレイヤーにあるポリゴンをコピペしただけで、先に張り付けていた地質ポリゴンを除いた形状で張り付いてくれます。（他のレイヤーにスナップのチェックを入れておkけば、その範囲も除いてくれます）。賢い。
最後に基盤岩の範囲を大きく囲むと、先に作成していた地質をすべて除いたポリゴンを作成してくれます。これで完成。早い。
なお、ポリゴンの修正はこちらを参考に。とても助かりました。感謝！
https://staff.aist.go.jp/t-yoshikawa/Geomap/QGIS_memo.html
断層は GEORAMA で走向傾斜を指定し、現地での確認位置を通すよう指示。できたラインを DXF 経由で QGIS に投げつければほぼ終わり。ラインの線種が指定した通り綺麗に表示されるのはうれしいですね。CAD だと破線なのか一点鎖線なのかが分かりにくくなる場合が頻繁にありますので。
1. QGIS（＋ArcGIS） でルートマップを作る
2. GEORAMA＋Civil3D に読み込んで3次元地質構造を作成する
3. 平面2次元 DXF 経由で地質分布を QGIS に渡し地質図の完成
私の環境では、この手順が最も効率よく作業できそうです。
スマホがもっと現場仕様（電波（これがネック）、電池、GPSの精度、防塵防水耐衝撃等）になれば、踏査時から Survey123 や GeoClino をフルで使えそうですが、それは少し先の話でしょう。が、近い将来、地質屋さんもスマホ片手にオンラインでデータを集め、宿に帰るとルートマップができている、といったような形になるのでしょうね。
ま、当面これで進めてみましょう。
*******************
20171219追記
（＋ArcGIS） としましたが、やはりArcは必須。
エクセル経由でのコピペだけでなく、ジオメトリ変換ツールなどは手放せません。
最近気づいたのですが、QGIS で作成したポリゴンの shp を Arc に持ってくると、少し歪むことがあります。桁数でしょうか？
ルートマップ作成時にはCAD でまとめることしか頭になかったのですが、少しこだわりすぎていたようです。
https://phreeqc.blogspot.jp/2017/10/qgis.html
CAD では平面と断面の整合が取れた3次元構造さえあればOKです。GEORAMA で作成した地層サーフェスを Civil3D から LandXMLで書き出し、別図面で読み込んで境界を利用しハッチングする。それを DXF で保存し QGIS に投げると、地質分布のポリゴンが出来上がりです。スタイルを調整するか、あるいはレイヤ間でコピペして特定のスタイルを反映させると、きれいな地質分布が出来上がります。
未固結堆積物、岩脈など、若い順に入れていくのがコツ。地質分布のレイヤーにスナップを設定しておけば、DXFレイヤーにあるポリゴンをコピペしただけで、先に張り付けていた地質ポリゴンを除いた形状で張り付いてくれます。（他のレイヤーにスナップのチェックを入れておkけば、その範囲も除いてくれます）。賢い。
最後に基盤岩の範囲を大きく囲むと、先に作成していた地質をすべて除いたポリゴンを作成してくれます。これで完成。早い。
なお、ポリゴンの修正はこちらを参考に。とても助かりました。感謝！
https://staff.aist.go.jp/t-yoshikawa/Geomap/QGIS_memo.html
断層は GEORAMA で走向傾斜を指定し、現地での確認位置を通すよう指示。できたラインを DXF 経由で QGIS に投げつければほぼ終わり。ラインの線種が指定した通り綺麗に表示されるのはうれしいですね。CAD だと破線なのか一点鎖線なのかが分かりにくくなる場合が頻繁にありますので。
1. QGIS（＋ArcGIS） でルートマップを作る
2. GEORAMA＋Civil3D に読み込んで3次元地質構造を作成する
3. 平面2次元 DXF 経由で地質分布を QGIS に渡し地質図の完成
私の環境では、この手順が最も効率よく作業できそうです。
スマホがもっと現場仕様（電波（これがネック）、電池、GPSの精度、防塵防水耐衝撃等）になれば、踏査時から Survey123 や GeoClino をフルで使えそうですが、それは少し先の話でしょう。が、近い将来、地質屋さんもスマホ片手にオンラインでデータを集め、宿に帰るとルートマップができている、といったような形になるのでしょうね。
ま、当面これで進めてみましょう。
*******************
20171219追記
（＋ArcGIS） としましたが、やはりArcは必須。
エクセル経由でのコピペだけでなく、ジオメトリ変換ツールなどは手放せません。
最近気づいたのですが、QGIS で作成したポリゴンの shp を Arc に持ってくると、少し歪むことがあります。桁数でしょうか？
2017年12月10日日曜日
裁判
近年、裁判がらみの仕事が身近になりました。
裁判で問われるのが、当たり前なのですが、きちんと法や決めごとに則って実施されているかどうか？まずはそれが基本の視点になっているようです。技術者としては、まず技術的内容の真偽の視点から問いたくなるのですが、それは有識者の意見として淡々と処理されている印象を受けます。
また、良心・約束・指示などは、裁判で扱えるレベルの証拠として残っていない以上、なかったことになります。
先日、弁護士さんの講演を聞いたのですが、やはり内容が一味違いますね。一般的な業務において共通する注意点がいくつかありました。負けないための保険といいますか、そういうリスク対策を散りばめて仕事をしないといけないということを、再度、認識させられました。頭では理解できますが気持ちがついていきません（が、対策しますけど）。
稀ですが、そういった対策を最初から打ってくる業者さんもいらっしゃいます。必要最低限であればよいのですが、露骨であったり、その対策が継続すると、何も信じてもらえていないような気になり取引は続きません（それでも、業者さんの技術力が高ければ続くのでしょうが）。
職人さんと話す際の気持ち、人と接するときの気持ちは大事にする。信頼性を築くことを目標にしながら、その一方でリスク対策を散りばめておく。うーん、考え方によっては矛盾しているようですが、そういう制度なので仕方ないのでしょう。
裁判で問われるのが、当たり前なのですが、きちんと法や決めごとに則って実施されているかどうか？まずはそれが基本の視点になっているようです。技術者としては、まず技術的内容の真偽の視点から問いたくなるのですが、それは有識者の意見として淡々と処理されている印象を受けます。
また、良心・約束・指示などは、裁判で扱えるレベルの証拠として残っていない以上、なかったことになります。
先日、弁護士さんの講演を聞いたのですが、やはり内容が一味違いますね。一般的な業務において共通する注意点がいくつかありました。負けないための保険といいますか、そういうリスク対策を散りばめて仕事をしないといけないということを、再度、認識させられました。頭では理解できますが気持ちがついていきません（が、対策しますけど）。
稀ですが、そういった対策を最初から打ってくる業者さんもいらっしゃいます。必要最低限であればよいのですが、露骨であったり、その対策が継続すると、何も信じてもらえていないような気になり取引は続きません（それでも、業者さんの技術力が高ければ続くのでしょうが）。
職人さんと話す際の気持ち、人と接するときの気持ちは大事にする。信頼性を築くことを目標にしながら、その一方でリスク対策を散りばめておく。うーん、考え方によっては矛盾しているようですが、そういう制度なので仕方ないのでしょう。
2017年12月8日金曜日
Survey123 for ArcGIS
Survey123 for ArcGIS を体験する機会がありました。
https://survey123.arcgis.com/
なかなか手軽で簡潔な web アプリです。
web ブラウザ上で入力フォーム（調査票）を作成し、現地ではスマホやタブレットで入力するのみ。入力フォームのカスタマイズは自由かつ容易。プルダウンやラジオボタン、写真や位置情報などを自由に組み合わせて調査票を作成することができるので、現場での入力が非常に簡単になります。
現地で入力毎に送信しておけば、オンライン上でデータベースが出来上がりますので、帰社後に Web ブラウザ上 で集計結果を見ることができます。試してはいませんが、Arc のオンライン機能を使用しているようですので、そのデータを使って計算・検討もできるのでしょう。
単純かつ大量、広域、限られた時間での対応を求められた場合に威力を発揮すると思われます。災害時はもちろん、通常のフィールドワークでも使える分野はあるでしょうね。同席された方は来週からの業務で早速使用するといわれていました。
各種点検結果や維持管理結果を web 上でまとめて表示しておけば、どこを優先して対応すべきか、どれだけ対策が進んでいるかなど、利用者の方々に説明しやすくなります。お金の使いどころにも理解を得られ易くなるでしょう。
将来的にそういった表現にシフトするのであれば、今回のような web アプリの方が効率よくデータベースを作成できますので、自然と浸透するでしょうね。
技術的には既に整っています。いざ、というときに「できない」ではダメですね。もう少し、調べておきましょう。
https://survey123.arcgis.com/
なかなか手軽で簡潔な web アプリです。
web ブラウザ上で入力フォーム（調査票）を作成し、現地ではスマホやタブレットで入力するのみ。入力フォームのカスタマイズは自由かつ容易。プルダウンやラジオボタン、写真や位置情報などを自由に組み合わせて調査票を作成することができるので、現場での入力が非常に簡単になります。
現地で入力毎に送信しておけば、オンライン上でデータベースが出来上がりますので、帰社後に Web ブラウザ上 で集計結果を見ることができます。試してはいませんが、Arc のオンライン機能を使用しているようですので、そのデータを使って計算・検討もできるのでしょう。
単純かつ大量、広域、限られた時間での対応を求められた場合に威力を発揮すると思われます。災害時はもちろん、通常のフィールドワークでも使える分野はあるでしょうね。同席された方は来週からの業務で早速使用するといわれていました。
各種点検結果や維持管理結果を web 上でまとめて表示しておけば、どこを優先して対応すべきか、どれだけ対策が進んでいるかなど、利用者の方々に説明しやすくなります。お金の使いどころにも理解を得られ易くなるでしょう。
将来的にそういった表現にシフトするのであれば、今回のような web アプリの方が効率よくデータベースを作成できますので、自然と浸透するでしょうね。
技術的には既に整っています。いざ、というときに「できない」ではダメですね。もう少し、調べておきましょう。
2017年12月4日月曜日
ネットワークライセンス
最近、多くの技術系ソフトがネットワーク（マルチユーザー、フローティング）ライセンスに切り替わってきています。
個人的にはUSBキーなどを使った物理的制御の方が好きです。が、WAN 内でライセンスを共有したいなど、時代の流れなのでしょう。
キーを付けたサーバーにアクセスしてライセンスを取る手法であればトラブルにも対処できます。キーを別のPCに移動させて仮復旧できますので。
困るのはライセンスサーバーが社外にある場合。ベンダーが一元管理しているサーバーにアクセス障害が起こった場合、もうお手上げです。
それが、金曜の夕方に起こりました。ベンダーの対処で夜には仮復旧したのですが、危なかった。場合によっては週明けまで作業ができなくなるところでした。
仮復旧後、すぐにライセンスをローカルに移して作業を続行したのですが、本末転倒ですよね。原因も不明だったようですが、ユーザーの要望に反しネットワーク化をゴリ押しするなら、せめて冗長性のあるシステムを提供して頂きたいものです。
ライセンスサーバーが国外にあるソフトも出てきています。グローバル化に伴う自衛も考えないといけない時代になりました。
個人的にはUSBキーなどを使った物理的制御の方が好きです。が、WAN 内でライセンスを共有したいなど、時代の流れなのでしょう。
キーを付けたサーバーにアクセスしてライセンスを取る手法であればトラブルにも対処できます。キーを別のPCに移動させて仮復旧できますので。
困るのはライセンスサーバーが社外にある場合。ベンダーが一元管理しているサーバーにアクセス障害が起こった場合、もうお手上げです。
それが、金曜の夕方に起こりました。ベンダーの対処で夜には仮復旧したのですが、危なかった。場合によっては週明けまで作業ができなくなるところでした。
仮復旧後、すぐにライセンスをローカルに移して作業を続行したのですが、本末転倒ですよね。原因も不明だったようですが、ユーザーの要望に反しネットワーク化をゴリ押しするなら、せめて冗長性のあるシステムを提供して頂きたいものです。
ライセンスサーバーが国外にあるソフトも出てきています。グローバル化に伴う自衛も考えないといけない時代になりました。
2017年12月2日土曜日
SARの基礎
SAR の講習会に参加しました。
今回は基礎編。やはり、独習よりも効率的ですし、正しい知識、経験者の知見も得られます。独習時は原理の理解よりも、実践的な内容を中心としていました。原理はこの講習会で学ぼうと考えていたのです。今回、きっちり充足できました。
誤った理解も多くありました。それらを修正できた点でも受講の価値がありました。
例えば、体積散乱。SAR は L バンドで1~2GHz。GPR だと数10cmを対象とする短波長なので、体積散乱なんて理屈では書かれていても、ほぼ無視できるだろうと考えていました。が、氷河や乾燥地帯（砂漠等）で条件さえよければ、100m 近く潜るそうです。GPR との差は、含水率に起因するのではないか？というお話でした。
「圧縮」という言葉も誤解していました。生データを扱うことがなかったので、「レンジ圧縮」に対しては、ほぼ初見。「圧縮」は得られたデータを加工する処理ではなく、発信する信号を変化させ、シグナルを強くする「パルス圧縮」の採用に由来していました。
アジマス圧縮もドップラー効果を使って似たようなことを実施しているようですが、こちらはもう少し理解が必要です。
「InSAR」の言葉の使い方も曖昧でした。差分処理後の地表面変位を現した位相差画像を「InSAR」かと思っていましたが、これは「DInSAR」。変異がない場合に標高・DEMなどに適用する場合が「InSAR」。
「multi look」 画像についても、複数の観測データを合成した広域データのことかと思っていました（このイメージは ScanSAR に近い）。実際は、可視化する際に周辺の PIXEL の情報を使用し、見やすく加工したデータを指すとのこと。位相情報は飛んでしまいますが、ノイズは削減できます。
どのような業種の方が来られていたのかはわかりませんが、団体で来られている企業もありました。大学の先生方もいらっしゃいました。国土交通省の「社会インフラのモニタリング技術活用推進検討委員会」でも検証中の技術に入っていますので、将来性・実用性が期待されているのでしょう。http://www.mlit.go.jp/common/001176663.pdf
質疑応答も熱心にされる方が多かったように感じます。基礎編ということで私と同レベルの方も多く、皆さんの質疑が私にとっても役に立ちました。
さあ、次は応用編です。確認したいことが多くあります。
もう少し手を動かして、整理していおきましょう。
今回は基礎編。やはり、独習よりも効率的ですし、正しい知識、経験者の知見も得られます。独習時は原理の理解よりも、実践的な内容を中心としていました。原理はこの講習会で学ぼうと考えていたのです。今回、きっちり充足できました。
誤った理解も多くありました。それらを修正できた点でも受講の価値がありました。
例えば、体積散乱。SAR は L バンドで1~2GHz。GPR だと数10cmを対象とする短波長なので、体積散乱なんて理屈では書かれていても、ほぼ無視できるだろうと考えていました。が、氷河や乾燥地帯（砂漠等）で条件さえよければ、100m 近く潜るそうです。GPR との差は、含水率に起因するのではないか？というお話でした。
「圧縮」という言葉も誤解していました。生データを扱うことがなかったので、「レンジ圧縮」に対しては、ほぼ初見。「圧縮」は得られたデータを加工する処理ではなく、発信する信号を変化させ、シグナルを強くする「パルス圧縮」の採用に由来していました。
アジマス圧縮もドップラー効果を使って似たようなことを実施しているようですが、こちらはもう少し理解が必要です。
「InSAR」の言葉の使い方も曖昧でした。差分処理後の地表面変位を現した位相差画像を「InSAR」かと思っていましたが、これは「DInSAR」。変異がない場合に標高・DEMなどに適用する場合が「InSAR」。
「multi look」 画像についても、複数の観測データを合成した広域データのことかと思っていました（このイメージは ScanSAR に近い）。実際は、可視化する際に周辺の PIXEL の情報を使用し、見やすく加工したデータを指すとのこと。位相情報は飛んでしまいますが、ノイズは削減できます。
どのような業種の方が来られていたのかはわかりませんが、団体で来られている企業もありました。大学の先生方もいらっしゃいました。国土交通省の「社会インフラのモニタリング技術活用推進検討委員会」でも検証中の技術に入っていますので、将来性・実用性が期待されているのでしょう。http://www.mlit.go.jp/common/001176663.pdf
質疑応答も熱心にされる方が多かったように感じます。基礎編ということで私と同レベルの方も多く、皆さんの質疑が私にとっても役に立ちました。
さあ、次は応用編です。確認したいことが多くあります。
もう少し手を動かして、整理していおきましょう。
みずもり法
以前に書き残したような気がしたのですが、検索しても引っ掛かってこないので、あらためて。
大石ほか（2017）施工管理シリーズ 孔曲がりとコントロールドリリング(その2)「みずもり法」によるコントロールドリリング, 斜面防災技術 44(2), 13-21
トンネルの水平ボーリング（若干の上向き）などで、掘削孔先端の高さを把握する方法です。いたってシンプル。透明のホースを掘削孔先端まで突っ込み、水を送ります。送水側の口元は少し山側に上げておき、送水後にポンプから外します。ホース内の水の高さがホース先端の高さと釣り合い、掘削孔先端の高さを把握できる仕組み。特殊な計器は必要ありません。
この話を現場でオペさんにしていると「昔、見たことがある」と言われていました。「何をしているのかな？と思っていた」とも。
私はこの文献で初めて見ましたが、伝承が途絶えつつある技術なのかもしれません。
次回から試してみましょう。
大石ほか（2017）施工管理シリーズ 孔曲がりとコントロールドリリング(その2)「みずもり法」によるコントロールドリリング, 斜面防災技術 44(2), 13-21
トンネルの水平ボーリング（若干の上向き）などで、掘削孔先端の高さを把握する方法です。いたってシンプル。透明のホースを掘削孔先端まで突っ込み、水を送ります。送水側の口元は少し山側に上げておき、送水後にポンプから外します。ホース内の水の高さがホース先端の高さと釣り合い、掘削孔先端の高さを把握できる仕組み。特殊な計器は必要ありません。
この話を現場でオペさんにしていると「昔、見たことがある」と言われていました。「何をしているのかな？と思っていた」とも。
私はこの文献で初めて見ましたが、伝承が途絶えつつある技術なのかもしれません。
次回から試してみましょう。
2017年12月1日金曜日
地震後のせん断剛性回復
興味をひかれた文献です。
秦ほか（2017）常時微動H/Vスペクトルに基づく2016年熊本地震によって被災した益城町の市街地の軟弱地盤におけるせん断剛性の回復過程に関するモニタリング, 地盤工学会誌 65(8), 26-29,
微動計によるモニタリング結果より、地震後の地盤のせん断剛性の低下・回復過程を捉えた文献です。面白いですね。貴重なデータが得られています。
ただし、回復までで、より締まるといったような結果にはなっていません。
液状化後に締まるということを聞きますが、本当かどうかは、この手法が有効になるでしょう。再液状化しやすいかどうかも、わかるかもしれませんね。
秦ほか（2017）常時微動H/Vスペクトルに基づく2016年熊本地震によって被災した益城町の市街地の軟弱地盤におけるせん断剛性の回復過程に関するモニタリング, 地盤工学会誌 65(8), 26-29,
微動計によるモニタリング結果より、地震後の地盤のせん断剛性の低下・回復過程を捉えた文献です。面白いですね。貴重なデータが得られています。
ただし、回復までで、より締まるといったような結果にはなっていません。
液状化後に締まるということを聞きますが、本当かどうかは、この手法が有効になるでしょう。再液状化しやすいかどうかも、わかるかもしれませんね。
2017年11月27日月曜日
気になる物理探査
平成29年秋季の物理探査学会講演論文集に目を通しました。
微動関連の報告が多くなっていますね。流行りでしょうか？
そういえば、アレー観測を私自身はまだ実施していません。先日、他部署の後輩が多数観測してきたそうですが、まだ解析していないようでした。私も忘れないうちに観測しないと。
気になった発表は以下の通り。
・気圧変動に伴う岩盤タンク周辺の傾斜変化の計測と空洞の安定性評価
高精度傾斜計により地下貯槽周辺の挙動を長期にわたり計測。シミュレーションと比較し、気圧応答が亀裂の影響を受け易いことを見出したとのこと。
検証に使えるほど精度よく亀裂構造を把握するのは難しいのですが、観測結果を反映できるように合わせこむことはできるでしょう。そういう意味で、気になった研究です。
・共振現象を利用したグラウンドアンカーの残存引張り力の非破壊評価法
アンカーの自由長部を、両端が固定された減とみなし、共振周波数により張力を推定する方法。
誤差はまだ大きなようですが、実用化に期待されるところです。結構、問題になっていますので。
・ニューラルクリギングを用いた比抵抗データからの葛根田地熱地域の温度構造の推定
比抵抗探査結果をニューラルクリギングで温度の空間分布に関連付け。
ニューラルクリギングを知りませんでした。こういった手法もあるんだなあと。ちょっと物理探査とは違いますが。
・地震被害推定のための広域地下構造モデルの構築
i微動とクラウド解析システムの開発。
単純に、欲しい！
2017年11月26日日曜日
Interferometry process
InSAR を理解するため、実際にいくつかのソフトを触ってみました。
ソフトや扱うデータによって、手順が異なったり省略できたりしましたが、概ね、以下の段階を踏んで画像を作成します。
1.SLC 画像の生成
2.干渉画像の作成
・画像マッチング（Registration）
・基線推定（ALOS の軌道制御は高精度のため、この補正を省略）
・干渉縞作成
・軌道縞と地形縞の除去
・結合処理
3.フィルター処理
4.アンラッピング
5.ジオコーディング
ソフトや扱うデータによって、手順が異なったり省略できたりしましたが、概ね、以下の段階を踏んで画像を作成します。
1.SLC 画像の生成
2.干渉画像の作成
・画像マッチング（Registration）
・基線推定（ALOS の軌道制御は高精度のため、この補正を省略）
・干渉縞作成
・軌道縞と地形縞の除去
・結合処理
3.フィルター処理
4.アンラッピング
5.ジオコーディング
6.KML出力・可視化
まだまだこれから。
座学・実習で理解を進めましょう。
2017年11月20日月曜日
autoencoder
H2O Flow で行き詰っていた autoencoder。
データ個々の MSE を見てみたいと思い、Python で実装しました。
関連ライブラリを入れて、マニュや GitHub のサンプルコードをコピペし、修正するだけ。こちらも便利な世の中になりました。
で、計算！
が、いつも通り、うまくいきません。
OK のみのデータでモデルを作り、NGを含んだデータで検証してみたのですが、reconstructin.mse の値のばらつきは OK も NG も同じ傾向。
そもそも、属性が異常であれば（雨の量が多ければ）、それなりに異常な結果を返す（崩壊する）というのは正常なモデルなのかもしれません。属性が同じなのに（雨が少ないのに）結果が異なる（崩壊する）というのが異常であり、そのような場合に autoencoder の威力が発揮されるのではないかな？と考えるようになりました。
このあたり、もう少し理解が必要です。
データ個々の MSE を見てみたいと思い、Python で実装しました。
関連ライブラリを入れて、マニュや GitHub のサンプルコードをコピペし、修正するだけ。こちらも便利な世の中になりました。
で、計算！
が、いつも通り、うまくいきません。
OK のみのデータでモデルを作り、NGを含んだデータで検証してみたのですが、reconstructin.mse の値のばらつきは OK も NG も同じ傾向。
そもそも、属性が異常であれば（雨の量が多ければ）、それなりに異常な結果を返す（崩壊する）というのは正常なモデルなのかもしれません。属性が同じなのに（雨が少ないのに）結果が異なる（崩壊する）というのが異常であり、そのような場合に autoencoder の威力が発揮されるのではないかな？と考えるようになりました。
このあたり、もう少し理解が必要です。
2017年11月15日水曜日
無駄のあるマニュアル
先日、土質試験のプロと話をする機会がありました。
仕事の内容からだんだんそれて、ある分野の土質試験の仕様についての話題になりました。大学の先生方が作成されたマニュアルに従って仕様が記されており、マニアックな内容になっています。
で、その仕様内の「無駄な試験」についてプロが語ってくれました。
話を聞くと「なるほど」と思うことばかり。
私はその分野の仕事を数年実施していなかったため、最近の仕様を知らなかったのですが、もし仕事としてその仕様を示されると、そのまま実施していたと思います。仕様の理屈は理解できましたので。おそらく、マニュアルの改善点まで提案できなかったでしょうね。
プロによれば、そのマニュアルの無駄に気付かれた方はほとんどいらっしゃらないそうです（過去に1名だけいらっしゃったそうです）。私はその他大勢。
まだまだ努力が必要です。
仕事の内容からだんだんそれて、ある分野の土質試験の仕様についての話題になりました。大学の先生方が作成されたマニュアルに従って仕様が記されており、マニアックな内容になっています。
で、その仕様内の「無駄な試験」についてプロが語ってくれました。
話を聞くと「なるほど」と思うことばかり。
私はその分野の仕事を数年実施していなかったため、最近の仕様を知らなかったのですが、もし仕事としてその仕様を示されると、そのまま実施していたと思います。仕様の理屈は理解できましたので。おそらく、マニュアルの改善点まで提案できなかったでしょうね。
プロによれば、そのマニュアルの無駄に気付かれた方はほとんどいらっしゃらないそうです（過去に1名だけいらっしゃったそうです）。私はその他大勢。
まだまだ努力が必要です。
2017年11月13日月曜日
SNAPHU 動きました
エラーで止まっていたSNAPHU。
https://phreeqc.blogspot.jp/2017/10/snaphu.html
#0 0x00007f5778318694 in _IO_vfprintf_internal (s=<optimized out>,
format=<optimized out>, ap=ap@entry=0x7ffe286718b8) at vfprintf.c:1635
1635 process_string_arg (((struct printf_spec *) NULL));
あらためて動かしてみます。
snaphu v1.4.2
27 parameters input from file snaphu.conf (84 lines total)
Logging run-time parameters to file snaphu.log
Segmentation fault
ここで「Segmentation fault SNAPHU」で googling。で、即判明。
https://yunjunz.com/2015/02/10/doris-9-segmentation-fault-error-in-snaphu/
src/snaphu_io.c の include <sys/time.h> を <time.h>に変えるだけでした。
今回は make install も止まらず。
実行してもエラーは出ません。23時間で完走です。SNAPHU 動きました。
古いPCなので時間がかかりましたが、ま、良いでしょう。
が、結果はイマイチでした。orz
https://phreeqc.blogspot.jp/2017/10/snaphu.html
#0 0x00007f5778318694 in _IO_vfprintf_internal (s=<optimized out>,
format=<optimized out>, ap=ap@entry=0x7ffe286718b8) at vfprintf.c:1635
1635 process_string_arg (((struct printf_spec *) NULL));
あらためて動かしてみます。
snaphu v1.4.2
27 parameters input from file snaphu.conf (84 lines total)
Logging run-time parameters to file snaphu.log
Segmentation fault
ここで「Segmentation fault SNAPHU」で googling。で、即判明。
https://yunjunz.com/2015/02/10/doris-9-segmentation-fault-error-in-snaphu/
src/snaphu_io.c の include <sys/time.h> を <time.h>に変えるだけでした。
今回は make install も止まらず。
実行してもエラーは出ません。23時間で完走です。SNAPHU 動きました。
古いPCなので時間がかかりましたが、ま、良いでしょう。
が、結果はイマイチでした。orz
2017年11月12日日曜日
AI と土木
先日、災害科学研究所「AIの土木分野への応用」講習会に行ってきました。
残念ながら、「応用」ではなく、過去からの移行段階や「応用」するための研究段階の話でした。しかも AI といった広範囲の話ではなく、機械学習とか統計の範疇。大勢の方が「AI」の実務への「応用」を期待され聞きに来られたと思いますが、まだまだこれからのようです。ソフトウェアベンダーも来られていましたので、CIM 収束の次は AI での売り上げを狙われているのかもしれません。
それでも、いくつか興味を惹かれる話題がありました。
・Deep Learning で過学習を軽減するための2つの手法「Dropout」「ReLU」
・不飽和浸透流のパラメータを粒子フィルタで決定
・NN → SVM → Random Forest → Deeep Learning の順で精度向上してきた
・評価にF尺度を用いた
最近は実務でも ETC 2.0 プローブデータを用いた分析が進められています。これ、センサーの発達と普及、データの収集方法（ネット環境）の整備、PCの64bit 化や GPGPU 環境の整備、ソフト等の開発などが背景にあったのでしょう。ようやくビッグデータを扱える環境が整ったということです。
それに応ずべく、人間側でも「データサイエンティスト」なるプロが大学で育成されるようになりました（メンタリストみたいなおおざっぱな響きですが）。
ビッグデータ解析や機械学習のパッケージ化に伴い、今後、その職業や言葉が存続するかどうかはわかりません。が、基礎力を持ったプロの需要は今後も存続するでしょう。
統計なのか機械学習なのか、AIなのかはわかりませんが、手法の原理を理解し、いくつかの適切な手法を組み合わせてビッグデータから瞬時に有用な要因を見出す能力を備えることは必須です。「応用」には注意を払っておきましょう。
残念ながら、「応用」ではなく、過去からの移行段階や「応用」するための研究段階の話でした。しかも AI といった広範囲の話ではなく、機械学習とか統計の範疇。大勢の方が「AI」の実務への「応用」を期待され聞きに来られたと思いますが、まだまだこれからのようです。ソフトウェアベンダーも来られていましたので、CIM 収束の次は AI での売り上げを狙われているのかもしれません。
それでも、いくつか興味を惹かれる話題がありました。
・Deep Learning で過学習を軽減するための2つの手法「Dropout」「ReLU」
・不飽和浸透流のパラメータを粒子フィルタで決定
・NN → SVM → Random Forest → Deeep Learning の順で精度向上してきた
・評価にF尺度を用いた
最近は実務でも ETC 2.0 プローブデータを用いた分析が進められています。これ、センサーの発達と普及、データの収集方法（ネット環境）の整備、PCの64bit 化や GPGPU 環境の整備、ソフト等の開発などが背景にあったのでしょう。ようやくビッグデータを扱える環境が整ったということです。
それに応ずべく、人間側でも「データサイエンティスト」なるプロが大学で育成されるようになりました（メンタリストみたいなおおざっぱな響きですが）。
ビッグデータ解析や機械学習のパッケージ化に伴い、今後、その職業や言葉が存続するかどうかはわかりません。が、基礎力を持ったプロの需要は今後も存続するでしょう。
統計なのか機械学習なのか、AIなのかはわかりませんが、手法の原理を理解し、いくつかの適切な手法を組み合わせてビッグデータから瞬時に有用な要因を見出す能力を備えることは必須です。「応用」には注意を払っておきましょう。
データマイニング
以下の図書を読んでみました。
「誰でもわかる 医療データマイニング -ビッグデータの活用-」SPP出版2014
こちらは決定木を利用したルール抽出のお話がメイン。医療分野での応用例が多く掲載されています。2014年ですから深層学習が流行る前ですね。このころは「データマイニング」という言葉が流行っていたのでしょうか？
決定木を採用された最大の理由は、DNN でブラックボックスをなる判別の根拠を明確にすることでしょう。根拠が明確になるので Evidence-Based Medicine に有用です。
決定木も機械学習に入るのかわかりませんが、random forest は H2O に入っています(木がいっぱいなので森)。決定木は R でも Python でも可。
個人的に R でできることは統計的手法だと思っていたのですが、そうでもないようですね。どこまでが統計で、どこから機械学習なのか、あるいはどこまで行くと AI と呼ぶべきなのかわからなくなりました。
とりあえず H2O で random forest を試しましたが、結果はそれほど向上せず。当然、If-then ルールも出ません。
If-then ルールを明確にするには、R か Python で決定木を使えば良いでしょう。
で、今回は簡単そうな R を選択。
が、最初からエラー。手元の図書が古く、現在、mvpart は CRAN から外れてしまったようです。
で、rpart.plot を使用。オプションが豊富です。個人的には If-then ルールを作りやすそうな type0 のみでOK。
http://www.milbo.org/rpart-plot/prp.pdf
今回の場合、以下の4点で判別が可能でした。
1.クッラクとして判別できるか否かで岩と土砂を区分
2.岩のうち、風化の進んだものを軟岩Iに区分
3.残りの中でコア長カテゴリーが3以下であれば中硬岩
4.残ったものを軟岩II
個人的には複雑な判別だと思っていた土軟硬区分ですが、案外、シンプルな判断をしているようです（単一地質故？）。第三者に対して説明する必要が出てきた場合や新人にポイントを教える場合に使えそうですね。ナレッジマネジメントにも利用できそうです。
気をよくして崩壊・非崩壊に題材を変更。
が、結果はダメ。
それでも、判別に重要な属性抽出といった意味ではラフセットに通ずるものがあり、理解の一助になりそうです。
「誰でもわかる 医療データマイニング -ビッグデータの活用-」SPP出版2014
こちらは決定木を利用したルール抽出のお話がメイン。医療分野での応用例が多く掲載されています。2014年ですから深層学習が流行る前ですね。このころは「データマイニング」という言葉が流行っていたのでしょうか？
決定木を採用された最大の理由は、DNN でブラックボックスをなる判別の根拠を明確にすることでしょう。根拠が明確になるので Evidence-Based Medicine に有用です。
決定木も機械学習に入るのかわかりませんが、random forest は H2O に入っています(木がいっぱいなので森)。決定木は R でも Python でも可。
個人的に R でできることは統計的手法だと思っていたのですが、そうでもないようですね。どこまでが統計で、どこから機械学習なのか、あるいはどこまで行くと AI と呼ぶべきなのかわからなくなりました。
とりあえず H2O で random forest を試しましたが、結果はそれほど向上せず。当然、If-then ルールも出ません。
If-then ルールを明確にするには、R か Python で決定木を使えば良いでしょう。
で、今回は簡単そうな R を選択。
が、最初からエラー。手元の図書が古く、現在、mvpart は CRAN から外れてしまったようです。
Warning message:素直にrpart を使用。題材はシンプルな泥質岩のみの土砂・軟岩・硬岩区分データに変更。読み込みは MSVS の R Tools を使用。読み込んだデータが RockClass。Class以外の属性データを全て分析に使用する場合は、2行目のシンプルな書式でOK。
package ‘mvpart’ is not available (for R version 3.3.2)
library(rpart)あっけないほど簡単。4行で図化までできます。一瞬です。が、rpart の図だと見にくい。
model = rpart(Class ~ ., data = RockClass) # 計算
plot(model) # 決定木の線を図化
text(model) #決定木の文字追加
で、rpart.plot を使用。オプションが豊富です。個人的には If-then ルールを作りやすそうな type0 のみでOK。
http://www.milbo.org/rpart-plot/prp.pdf
library(rpart.plot)
rpart.plot(model, type = 0)
1.クッラクとして判別できるか否かで岩と土砂を区分
2.岩のうち、風化の進んだものを軟岩Iに区分
3.残りの中でコア長カテゴリーが3以下であれば中硬岩
4.残ったものを軟岩II
個人的には複雑な判別だと思っていた土軟硬区分ですが、案外、シンプルな判断をしているようです（単一地質故？）。第三者に対して説明する必要が出てきた場合や新人にポイントを教える場合に使えそうですね。ナレッジマネジメントにも利用できそうです。
気をよくして崩壊・非崩壊に題材を変更。
が、結果はダメ。
それでも、判別に重要な属性抽出といった意味ではラフセットに通ずるものがあり、理解の一助になりそうです。
Imbalanced Data その2
Auto-Encoder については結局改善せず（わからず）。まだまだ基礎力が足りません。
imbalanced data については過去に研究がなされてきたようで、web上でも多くの情報が引っ掛かりました。例えば↓
https://www.analyticsvidhya.com/blog/2017/03/imbalanced-classification-problem/
H2O FLOW でも、以下のオプションがありました（見落としていました）。
balance_classes : on
class_sampling_factors : 1,3
shuffle_training_data : on
Activation function : Maxout with Dropout
input_dropout_ratio : 0.2
これを使うと、元データを操作しなくてよくなります。
が、 これを使っても training に比べ validation の結果が見劣ります。やはり、過学習でしょう。 class_sampling_factors を 1,2 や 0.3,1 などと試してみましたが、どれも同じ傾向です。活性化関数に Dropout をつけてもダメ。改善しません。
弱りました。imbalanced data への対策を行いつつ、deep learning から離れた方が良いのでしょうか？
imbalanced data については過去に研究がなされてきたようで、web上でも多くの情報が引っ掛かりました。例えば↓
https://www.analyticsvidhya.com/blog/2017/03/imbalanced-classification-problem/
H2O FLOW でも、以下のオプションがありました（見落としていました）。
balance_classes : on
class_sampling_factors : 1,3
shuffle_training_data : on
Activation function : Maxout with Dropout
input_dropout_ratio : 0.2
これを使うと、元データを操作しなくてよくなります。
が、 これを使っても training に比べ validation の結果が見劣ります。やはり、過学習でしょう。 class_sampling_factors を 1,2 や 0.3,1 などと試してみましたが、どれも同じ傾向です。活性化関数に Dropout をつけてもダメ。改善しません。
弱りました。imbalanced data への対策を行いつつ、deep learning から離れた方が良いのでしょうか？
2017年11月8日水曜日
Imbalanced Data
偏りの極端なデータセットを扱わざるを得ないという状況は頻繁にあるようで、対応策も研究されているようです。
H2Oの場合、FAQ に掲載されていました。
http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/deep-learning.html
H2O の FLOW では、そのオプションを見つけらませんでした。R か Python に移行しないといけない？と思いつつ、CSV の段階でマイナーデータの数を増やしてみました。単純に、コピペで崩壊したデータを非崩壊と同じ数まで増やすだけ。学習・検証させた結果は以下の通り。
うーん、ダメですね。過学習というべきなのでしょうか？
一見、高精度の判別器に見えますが、繰り返し入力された異常パターンを覚えすぎ、汎用性を喪失している可能性大。こうなると、既知の異常パターンにしか対応できなくなります。異常検出型でなく、正常から外れた場合に異常と判断する判別器に育てる方針の方が有利でしょう。
まさに、そのような方法も検討されているようです。
https://www.gputechconf.jp/assets/files/1029.pdf
が、使い方がわかりません。いえ、使っても、良い答えになりません。使い方を見極めていないため、宝の持ち腐れ、猫に小判状態です。うーん、どこにヒントがあるのでしょう？
H2Oの場合、FAQ に掲載されていました。
http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/deep-learning.html
・How does class balancing work?
The max_after_balance_size parameter defines the maximum size of the over-sampled dataset. For example, if max_after_balance_size = 3, the over-sampled dataset will not be greater than three times the size of the original dataset.
For example, if you have five classes with priors of 90%, 2.5%, 2.5%, and 2.5% (out of a total of one million rows) and you oversample to obtain a class balance using balance_classes = T, the result is all four minor classes are oversampled by forty times and the total dataset will be 4.5 times as large as the original dataset (900,000 rows of each class). If max_after_balance_size = 3, all five balance classes are reduced by 3/5 resulting in 600,000 rows each (three million total).
To specify the per-class over- or under-sampling factors, use class_sampling_factors. In the previous example, the default behavior with balance_classes is equivalent to c(1,40,40,40,40), while when max_after_balance\size = 3, the results would be c(3/5,40*3/5,40*3/5,40*3/5).
H2O の FLOW では、そのオプションを見つけらませんでした。R か Python に移行しないといけない？と思いつつ、CSV の段階でマイナーデータの数を増やしてみました。単純に、コピペで崩壊したデータを非崩壊と同じ数まで増やすだけ。学習・検証させた結果は以下の通り。
一見、高精度の判別器に見えますが、繰り返し入力された異常パターンを覚えすぎ、汎用性を喪失している可能性大。こうなると、既知の異常パターンにしか対応できなくなります。異常検出型でなく、正常から外れた場合に異常と判断する判別器に育てる方針の方が有利でしょう。
まさに、そのような方法も検討されているようです。
https://www.gputechconf.jp/assets/files/1029.pdf
AutoEncoder：固定長、または正規化可能な可変長データで、正常が圧倒的に多く、異常が少ない場合。正常なパター ンのみを学習し、正常なパターンを再現可能な特徴量を抽出する。異常なパターンが入力された場合、異常パターンの特徴量 は学習していないため、異常パターンを再現することができない。再現されたデータの類似度で異常判定を行う。deep なのか shallow なのか分かりません。が、H2O でも deep learning のオプションに「Auto-Encoder」がありました。R や Python のコードも googling に出てきます。
が、使い方がわかりません。いえ、使っても、良い答えになりません。使い方を見極めていないため、宝の持ち腐れ、猫に小判状態です。うーん、どこにヒントがあるのでしょう？
2017年11月7日火曜日
Metrics in H2O
H2O で得られる metrics はコチラ。
http://docs.h2o.ai/h2o/latest-stable/h2o-py/docs/metrics.html
出力される confusion matrix のTPが右下なので注意。ここを高めるは F1、F2 に注視。F1 score などは医療統計でなく機械学習分野で引っ掛かることが多いように感じます。こちらの分野の言葉なのかもしれません。
F値の具体的な意味については、案外、説明がない。この程度↓
https://qiita.com/TaskeHAMANO/items/74cf2b6170066adee13f
https://abicky.net/2010/11/21/002415/
http://docs.h2o.ai/h2o/latest-stable/h2o-py/docs/metrics.html
出力される confusion matrix のTPが右下なので注意。ここを高めるは F1、F2 に注視。F1 score などは医療統計でなく機械学習分野で引っ掛かることが多いように感じます。こちらの分野の言葉なのかもしれません。
F値の具体的な意味については、案外、説明がない。この程度↓
https://qiita.com/TaskeHAMANO/items/74cf2b6170066adee13f
https://abicky.net/2010/11/21/002415/
2017年11月5日日曜日
Medical Statistics + Deep Learning + Landslide = ？
ROC curveやcutoff valueで検索すると、医療統計学に関する話題が多く引っ掛かります（というかほぼそれ）。確かに、検査の値で陽性・陰性を判定するには、どこかで線引きが必要になるケースが多いというのは容易に想像できます。
まずは、そちらの分野の情報を仕入れましょう、ということで、図書館で以下の本を借りてきました。
千葉康敬「「医療統計力」を鍛える！」2015.4
奥田千恵子「たったこれだけ！医療統計学 改訂第2版」2015.4
前者は素人向けの図書で、概要の理解に非常に役立ちました。昨日のように NG が非常に少ない場合のデータセットを扱う際の留意点にも触れられており、ありがたい本でした。
後者では用語の重要度について「10%の論文に出てくるだけであるが、スクリーニングの研究論文を読むには、実用的な知識を身につけている必要がある」と述べられています。基礎力なのでしょう。
では、整理。まず、用語の定義。
おおざっぱには下表のようになります（率とか度とか、 value とか rate の有無とか細かいところがたくさん気になりますが、ひとまず置いておきます）。
人命にかかわる判定では、感度を高める必要があるのでしょう。Wikipediaでは狂牛病の判定で感度を高めたと書かれています。
次にROC 曲線やカットオフ値。
既に医療分野ではお試し済みかもしれませんね。IBM の Watson が「二次性白血病」といった病名を抽出したのは既に1年以上前ですから、さらに進んでいるでしょう。残念ながら土木分野ではこれからです。
まずは、そちらの分野の情報を仕入れましょう、ということで、図書館で以下の本を借りてきました。
千葉康敬「「医療統計力」を鍛える！」2015.4
奥田千恵子「たったこれだけ！医療統計学 改訂第2版」2015.4
前者は素人向けの図書で、概要の理解に非常に役立ちました。昨日のように NG が非常に少ない場合のデータセットを扱う際の留意点にも触れられており、ありがたい本でした。
後者では用語の重要度について「10%の論文に出てくるだけであるが、スクリーニングの研究論文を読むには、実用的な知識を身につけている必要がある」と述べられています。基礎力なのでしょう。
では、整理。まず、用語の定義。
おおざっぱには下表のようになります（率とか度とか、 value とか rate の有無とか細かいところがたくさん気になりますが、ひとまず置いておきます）。
test results
（Machine Learning, AI prediction）
|
|||||
＋
|
−
|
||||
True condition
|
＋
|
TP
|
FN
|
感度：Sensitivity
= TP / (TP+FN) |
再現率
Recall
|
−
|
FP
|
TN
|
特異度：Pecificity
= TN / (TN+PF) |
||
陽性的中度 ：PPV
Positive Predictive Value = TP / (TP+FP) |
陰性的中度 ：NPV
Negative Predictive Value = TN / (TN+FN) |
正答率：Accuracy Rate
= (TP+TN) / (TP+TN+FP+FN)
F値 ：F−measure
=2Recall∗Precision/(Recall+Precision)
|
|||
適合率 precision
|
|||||
人命にかかわる判定では、感度を高める必要があるのでしょう。Wikipediaでは狂牛病の判定で感度を高めたと書かれています。
たとえば日本の狂牛病の全数検査では、まず最初に、ELISA法でスクリーニング検査を行うが、これは安価な検査ながら感度を非常に高め、陽性の見逃しの可能性を極力減らし、特異度を犠牲にした検査である（すなわち偽陽性が出やすい）
次にROC 曲線やカットオフ値。
これは googling で理解できました。前者の図書にもわかりやすく解説してあります。
このあたりを参考に。
これまでは、n個の試験についてROC 曲線をn個書き出し比較し、一番AUCの良いものを採用してカットオフ値を設定したり、各々のカットオフ値を組み合わせて判定していたようです。
comparison
ｔesｔ result 1 ＞ ROC 1 ＞ AUC 1
ｔesｔ result 2 ＞ ROC 2 ＞ AUC 2 > cutoff value 2 adopted
ｔesｔ result 3 ＞ ROC 3 ＞ AUC 3
ｔesｔ result n ＞ ROC n ＞ AUC n
Or
combination
ｔesｔ result 1 ＞ ROC 1 ┓
ｔesｔ result 2 ＞ ROC 2 ┣ cutoff value 1 & 2 & 3…&n
ｔesｔ result 3 ＞ ROC 3 ┃
ｔesｔ result n ＞ ROC n ┛
人が判断するにはせいぜい5～10個程度の属性組み合わせ、数十個のデータ数までしか対応できないでしょうね。今回のように千を越えるデータ数、30以上の次元を縮約するような取り扱いを求められた場合、人では太刀打ちできません。ましてや数千万単位となると、手を付ける気にもならないでしょう。が、今回のような機械学習（統計といった方が良いのか？）では数千万のビッグデータにも対応できます（将来的にはAIになるでしょう）。
昨日の崩壊・非崩壊の判定は deep learning を使いましたので以下のようになります。
Machine Learning, AI
ｔesｔ result 1 ━━┓
ｔesｔ result 2 ━━┫
ｔesｔ result 3 ━━╋ deep learning prediction > ROC > cutoff value
ｔesｔ result 100 ┫
ｔesｔ result 1000 ┫
ｔesｔ result n ━━┛
既に医療分野ではお試し済みかもしれませんね。IBM の Watson が「二次性白血病」といった病名を抽出したのは既に1年以上前ですから、さらに進んでいるでしょう。残念ながら土木分野ではこれからです。
斜面の崩壊・非崩壊の予測も人命にかかわるので、単に正答率を上げるのではなく、感度を上げるようにしないといけません。それに伴う避難指示の空振りに慣れないように PPV も高めないといけないでしょう。機械学習で崩壊・非崩壊を扱う場合はそのような点に意識してパラメーターを調整する必要があるということでしょうね。
ま、いずれにしても、崩壊・非崩壊のスクリーニングとして機械学習（deep learning）を利用する利点が見えてきました。もう少し、詰めましょう。
ま、いずれにしても、崩壊・非崩壊のスクリーニングとして機械学習（deep learning）を利用する利点が見えてきました。もう少し、詰めましょう。
ROC 曲線
H2O で 崩壊/非崩壊 の2値分類を学習・予測させてみました。
正答率はそれなりに上がるのですが、それに伴い NG（崩壊） を OK（非崩壊） とする「誤診」が増えます。データの種類として NG が圧倒的に少ないことも大きく影響しているでしょう。
H2O での検証結果を見て驚いたのが、先の土軟硬区分と表示が変わっていること。2値分類だとこのようなグラフ↓も書いてくれるのですね。賢い。
ROC曲線と呼ぶようです。知りませんでした。統計の知識が足りない。うーん。
調べてみると、医学分野では使われているそうですね。
https://www.jmp.com/ja_jp/medical-statistics/column/non-series/roc-curve.html
なるほど、統計の基礎と、医学分野での一般的な利用法を学べば、前に進めそうですね。H2O に課題と解決への道筋を与えてもらったような気がします。
正答率はそれなりに上がるのですが、それに伴い NG（崩壊） を OK（非崩壊） とする「誤診」が増えます。データの種類として NG が圧倒的に少ないことも大きく影響しているでしょう。
H2O での検証結果を見て驚いたのが、先の土軟硬区分と表示が変わっていること。2値分類だとこのようなグラフ↓も書いてくれるのですね。賢い。
ROC曲線と呼ぶようです。知りませんでした。統計の知識が足りない。うーん。
調べてみると、医学分野では使われているそうですね。
https://www.jmp.com/ja_jp/medical-statistics/column/non-series/roc-curve.html
医学論文や学会のポスター発表で、ROC曲線とカットオフ値を記載しているものをよく見かけるかと思います。
実際ROC曲線は、診断法がどれぐらい有用なのかを知るときに使われ、曲線下の面積（AUC）によって定量化されます。
さらに、この値以上は”陽性”だと診断する閾値をどのように設定するかによって感度と特異度は変化していくので、陽性と陰性を分ける最適なカットオフ値を見つけることが重要になってきます。
なるほど、統計の基礎と、医学分野での一般的な利用法を学べば、前に進めそうですね。H2O に課題と解決への道筋を与えてもらったような気がします。
2017年11月3日金曜日
深層学習で土軟硬区分
ここ1年で、機械学習・深層学習の環境や認知度がかなり向上したように感じます。
土木分野でも、導入・開発を進められている企業があります。雑誌やNHKでの特集も見ましたが、「人口減少、働き手不足といった将来のリスクに今から備える」と考えられている会社もあるようですね（良い会社だと思います）。
この3連休はゆっくりできるので、この間に最近の動向を追っておきましょう、とweb を見ていると、このようなものがありました。
H2O
https://www.h2o.ai/
早速、DL してみました。
以前、地下水位の時系列予測を deep learning で実施した際には、Python の コードを修正しながら利用しました。が、これ、コードを組む必要がありません。コマンドプロンプトから jar ファイルをロードさせておけば、あとは WebUI で作業できます。（Ver.3.14.0.7ですので、数年前からあったのでしょうね）。
しかも、R や Python でも使えるようです（今回は試用せず）。Rでラフセットかけて、その結果（重要属性のみ）を H2O に投げる、なんてこともインタラクティブにできそうです。
今回の題材は、「柱状図の土砂・軟岩・中硬岩区分」。
使用する属性はコアの「硬軟・形状・割れ目・風化・変質」。いずれも基準書でカテゴライズされており、利用しやすい指標です。相関性も土軟硬区分と高いのは明らかで、（ラフセットで事前に選別しなくても）良い結果が得られると思い選定しました。今回は泥質岩のみで実施しましたが、多くの地質に対応させるなら、地質を属性に加えて学習させれば良いでしょう。（今回は単一地質かつ5属性ですので、わざわざ deep learning を使わなくても良いのですが。）
まずは柱状図からデータを集めて CSV に整理し、それを H2O に読ませます。
あとは、WebUI で指示のあるまま進めるだけでした。以前の時系列予測の経験が役に立ち、マニュアルを見なくても入力の流れを理解できましたし、入力する項目も迷いませんでした（手を動かしていて良かった）。
H2O は多くのアルゴリズムを実装していましたが、今回は deep learning を選択。
結果は上々。正答率86%
MR：中硬岩、SR1：軟岩I、SR2：軟岩II、WS：土砂（風化土）
TRAINING METRICS - CONFUSION MATRIX ROW LABELS: ACTUAL CLASS; COLUMN LABELS: PREDICTED CLASS
これ、良い判別器が作れるでしょうね。部署全体で入力すれば、部署全体のナレッジが集結し、かつそれを反映した判別器が作れます。将来的には新人の良い教育材料になるでしょうし、現場での判別にも使えるでしょう。掘削現場での土軟硬区分は「音が必要」などと考えていましたが、「コア形状（長さ）」を「亀裂間隔」に読み替える等工夫すると、容易に適用できると思います（見る距離によって１：１ではないので補正は必要でしょうが）。
土木分野でも、導入・開発を進められている企業があります。雑誌やNHKでの特集も見ましたが、「人口減少、働き手不足といった将来のリスクに今から備える」と考えられている会社もあるようですね（良い会社だと思います）。
この3連休はゆっくりできるので、この間に最近の動向を追っておきましょう、とweb を見ていると、このようなものがありました。
H2O
https://www.h2o.ai/
早速、DL してみました。
以前、地下水位の時系列予測を deep learning で実施した際には、Python の コードを修正しながら利用しました。が、これ、コードを組む必要がありません。コマンドプロンプトから jar ファイルをロードさせておけば、あとは WebUI で作業できます。（Ver.3.14.0.7ですので、数年前からあったのでしょうね）。
しかも、R や Python でも使えるようです（今回は試用せず）。Rでラフセットかけて、その結果（重要属性のみ）を H2O に投げる、なんてこともインタラクティブにできそうです。
今回の題材は、「柱状図の土砂・軟岩・中硬岩区分」。
使用する属性はコアの「硬軟・形状・割れ目・風化・変質」。いずれも基準書でカテゴライズされており、利用しやすい指標です。相関性も土軟硬区分と高いのは明らかで、（ラフセットで事前に選別しなくても）良い結果が得られると思い選定しました。今回は泥質岩のみで実施しましたが、多くの地質に対応させるなら、地質を属性に加えて学習させれば良いでしょう。（今回は単一地質かつ5属性ですので、わざわざ deep learning を使わなくても良いのですが。）
まずは柱状図からデータを集めて CSV に整理し、それを H2O に読ませます。
あとは、WebUI で指示のあるまま進めるだけでした。以前の時系列予測の経験が役に立ち、マニュアルを見なくても入力の流れを理解できましたし、入力する項目も迷いませんでした（手を動かしていて良かった）。
H2O は多くのアルゴリズムを実装していましたが、今回は deep learning を選択。
結果は上々。正答率86%
MR：中硬岩、SR1：軟岩I、SR2：軟岩II、WS：土砂（風化土）
TRAINING METRICS - CONFUSION MATRIX ROW LABELS: ACTUAL CLASS; COLUMN LABELS: PREDICTED CLASS
VALIDATION METRICS - CONFUSION MATRIX ROW LABELS: ACTUAL CLASS; COLUMN LABELS: PREDICTED CLASS |
|
このような情報も参考に表示してくれます↓
これ、良い判別器が作れるでしょうね。部署全体で入力すれば、部署全体のナレッジが集結し、かつそれを反映した判別器が作れます。将来的には新人の良い教育材料になるでしょうし、現場での判別にも使えるでしょう。掘削現場での土軟硬区分は「音が必要」などと考えていましたが、「コア形状（長さ）」を「亀裂間隔」に読み替える等工夫すると、容易に適用できると思います（見る距離によって１：１ではないので補正は必要でしょうが）。
また、国交省さんは Kunijiban で大量のデータをお持ちですから、国交省標準の判別器が作れそうです（柱状図の質を判断する必要はあると思いますが）。あるいは、スクレイピング可能なら、各社独自に利用されるかもしれません。
いずれにしても、H2O のようなソフトは今後も改善・提供されると思われます。当分は環境も劇的に変わり続けるでしょうから、executives にとってはリスク管理が大変になるでしょう。
私も置いて行かれないよう、手を動かし続けなければなりませんね。
2017年11月2日木曜日
解決：VPNを張るとネットが切れる件（Windows10）
VPNを張るとインターネットが切れる件について。
Windows ８ を使い始めてからあきらめていた（最近は慣れていた）のですが、ひょっこり解決しました。
Windows ８ を使い始めてからあきらめていた（最近は慣れていた）のですが、ひょっこり解決しました。
問題：
Windows 10 で「リモートネットワークでデフォルトゲートウェイを使用する」のチェックを外すと、インターネットにつながった状態でVPNを張れるのですが、リモートデスクトップが確立しません。
答え：コチラの方がわかりやすく解説されていました。
https://erirun.net/2012/01/windows-vpn-autoroute/
「リモートネットワークでデフォルトゲートウェイを使用する」のチェックを外した状態で(デフォのゲートウェイを変えずに)VPNを張った後、アクセスしたいセグメントへの route を追加すること。
答え：コチラの方がわかりやすく解説されていました。
https://erirun.net/2012/01/windows-vpn-autoroute/
「VPNの向こうに別のネットワークセグメントがあったりするとそこにはアクセスできなくなります。そのセグメントへのルーティングがないからです。」解決法：
「リモートネットワークでデフォルトゲートウェイを使用する」のチェックを外した状態で(デフォのゲートウェイを変えずに)VPNを張った後、アクセスしたいセグメントへの route を追加すること。
具体的な手順は上記HPに記載されています。リモート接続したいセグメントを PowerShell スクリプトに記載しておき、 VPNを張った時点でタスクスケジューラーから自動実行するといった流れ。
私の場合は VPN 接続を バッチファイルでまとめていたので、そこにPowerShell 起動を加えてみました。
https://phreeqc.blogspot.jp/2017/06/vpn-rd.html
が、管理者権限で実行させると UAC のダイアログが出て1手間増えることに。route add も同じなので、結局、上記のHPの方法を採用しました。
そのままではセグメントへのルーティング完了を待たずに RD 接続が始まってしまい、つながりませんでした。で、バッチファイルに 2秒の sleep 時間を確保。
TIMEOUT /T 2
これでOK。
リブートした後の初回起動時に2秒だと躓くことがありますが、当面はコチラで運用する予定。
1タッチでの VPN 接続～ RD ～ VPN 切断をネットにつなげたままでできるようになりました。
私の場合は VPN 接続を バッチファイルでまとめていたので、そこにPowerShell 起動を加えてみました。
https://phreeqc.blogspot.jp/2017/06/vpn-rd.html
が、管理者権限で実行させると UAC のダイアログが出て1手間増えることに。route add も同じなので、結局、上記のHPの方法を採用しました。
そのままではセグメントへのルーティング完了を待たずに RD 接続が始まってしまい、つながりませんでした。で、バッチファイルに 2秒の sleep 時間を確保。
TIMEOUT /T 2
これでOK。
リブートした後の初回起動時に2秒だと躓くことがありますが、当面はコチラで運用する予定。
1タッチでの VPN 接続～ RD ～ VPN 切断をネットにつなげたままでできるようになりました。
2017年11月1日水曜日
崩壊と違和感
先の台風で、複数の法面が崩壊。
その中には数年前に私が見た法面も含まれていました。吹付の亀裂は1か所だけで、他は正常だったのですが違和感があったのでよく覚えています。のり面のその部分が崩れたのではないか？と見てみるとビンゴ。まさにその部分が崩れていました。何か、気持ち悪い感じだったのでしっかり記憶に残っていた箇所でした。
別の法面ですが、先輩が事前に見ておられ、滑落するであろうブロックを決められていました。で、同様に崩壊したのですが、こちらもビンゴ。まさにそのブロックが落ちていたようです。
「気持ち悪い」とか「違和感がある」とか曖昧なのですが、数年内に落ちそうな箇所は感覚的にわかりやすいのかもしれません。形状と地質を見れば、人は判別できるのでしょう。説明は後付けなのかもしれません。
一方、次に崩壊する場所をなかなか抽出できないのも事実です。なにが違うのかな？と思います。素因は見やすいけど、誘因（豪雨時の水の流れ）は想像しにくいということでしょうか？
説明できないけど判別できる点は、ディープラーニングにもってこいです。ま、システムを構築・ブラッシュアップして実用化するまでには、まだ時間がかかるでしょう。
その間、もう少し、感覚を磨いておく必要があるでしょうね。システムに供する材料も集めておく必要があるでしょう。
その中には数年前に私が見た法面も含まれていました。吹付の亀裂は1か所だけで、他は正常だったのですが違和感があったのでよく覚えています。のり面のその部分が崩れたのではないか？と見てみるとビンゴ。まさにその部分が崩れていました。何か、気持ち悪い感じだったのでしっかり記憶に残っていた箇所でした。
別の法面ですが、先輩が事前に見ておられ、滑落するであろうブロックを決められていました。で、同様に崩壊したのですが、こちらもビンゴ。まさにそのブロックが落ちていたようです。
「気持ち悪い」とか「違和感がある」とか曖昧なのですが、数年内に落ちそうな箇所は感覚的にわかりやすいのかもしれません。形状と地質を見れば、人は判別できるのでしょう。説明は後付けなのかもしれません。
一方、次に崩壊する場所をなかなか抽出できないのも事実です。なにが違うのかな？と思います。素因は見やすいけど、誘因（豪雨時の水の流れ）は想像しにくいということでしょうか？
説明できないけど判別できる点は、ディープラーニングにもってこいです。ま、システムを構築・ブラッシュアップして実用化するまでには、まだ時間がかかるでしょう。
その間、もう少し、感覚を磨いておく必要があるでしょうね。システムに供する材料も集めておく必要があるでしょう。
2017年10月31日火曜日
SNAPHU 動きません
SNAPHU で unwrapping しようと思い、DL。
http://nova.stanford.edu/sar_group/snaphu/
make して、
make install して、と思ったらできない。
手動で makefile に指示のあったディレクトリにコピーして準備完了。
ます唱える呪文は snaphu.conf に書かれています。
# snaphu -f snaphu.conf Phase_ifg_.snaphu.img
27 parameters input from file snaphu.conf (84 lines total)
Logging run-time parameters to file snaphu.log
Segmentation fault (コアダンプ)
いきなりのコアダンプ。
以下は調べながら通った道筋、備忘録です。
# ulimit -a
core file size (blocks, -c) 0
コアダンプの出力を有効化します。
# ulimit -c unlimited
# ulimit -a
core file size (blocks, -c) unlimited
core file の出力先を変更
#echo /core > /proc/sys/kernel/core_pattern
# cat /proc/sys/kernel/core_pattern
/core
core fileを端末を立ち上げたディレクトリにコピーして（CDが面倒なだけ）
# gdb snaphu core.11111
Program terminated with signal 11, Segmentation fault.
#0 0x00007fe5f0036694 in vfprintf () from /lib64/libc.so.6
Missing separate debuginfos, use: debuginfo-install glibc-2.17-157.el7_3.5.x86_64
はい、インストールしましょう。gdb を quit で抜けて、
# debuginfo-install glibc-2.17-157.el7_3.5.x86_64
もう一度、
# gdb snaphu core.25555
#0 0x00007f5778318694 in _IO_vfprintf_internal (s=<optimized out>,
format=<optimized out>, ap=ap@entry=0x7ffe286718b8) at vfprintf.c:1635
1635 process_string_arg (((struct printf_spec *) NULL));
いえ、わかりません。optimized されているのでわからないのですが、少なくともNULLがあるのでここなんでしょう。けど、どう直せばいいの？
ひとまずココまで。
http://nova.stanford.edu/sar_group/snaphu/
make して、
make install して、と思ったらできない。
手動で makefile に指示のあったディレクトリにコピーして準備完了。
ます唱える呪文は snaphu.conf に書かれています。
# snaphu -f snaphu.conf Phase_ifg_.snaphu.img
27 parameters input from file snaphu.conf (84 lines total)
Logging run-time parameters to file snaphu.log
Segmentation fault (コアダンプ)
いきなりのコアダンプ。
以下は調べながら通った道筋、備忘録です。
# ulimit -a
core file size (blocks, -c) 0
コアダンプの出力を有効化します。
# ulimit -c unlimited
# ulimit -a
core file size (blocks, -c) unlimited
core file の出力先を変更
#echo /core > /proc/sys/kernel/core_pattern
# cat /proc/sys/kernel/core_pattern
/core
core fileを端末を立ち上げたディレクトリにコピーして（CDが面倒なだけ）
# gdb snaphu core.11111
Program terminated with signal 11, Segmentation fault.
#0 0x00007fe5f0036694 in vfprintf () from /lib64/libc.so.6
Missing separate debuginfos, use: debuginfo-install glibc-2.17-157.el7_3.5.x86_64
はい、インストールしましょう。gdb を quit で抜けて、
# debuginfo-install glibc-2.17-157.el7_3.5.x86_64
もう一度、
# gdb snaphu core.25555
#0 0x00007f5778318694 in _IO_vfprintf_internal (s=<optimized out>,
format=<optimized out>, ap=ap@entry=0x7ffe286718b8) at vfprintf.c:1635
1635 process_string_arg (((struct printf_spec *) NULL));
いえ、わかりません。optimized されているのでわからないのですが、少なくともNULLがあるのでここなんでしょう。けど、どう直せばいいの？
ひとまずココまで。
2017年10月17日火曜日
谷埋め型大規模盛土造成地の安定計算式
宅地防災マニュアル には、以下の記述があります。
http://www.mlit.go.jp/crd/web/topic/pdf/takuchibousai_manual070409.pdf
http://www.mlit.go.jp/common/001089011.pdf
先日、この式を使おうかと式を読み始めたのですが、非常に不可解。いえ、複合すべり（谷埋め型）の直線部分にモーメントが使われているようです（現行のガイドラインの図中では「円弧の場合」となっていますが）。
通常、モーメント比は円弧、力の比は複合や直線すべりでと考えていましたが、この式はそうなっていません。直線部分のモーメント原点(任意点O)はどうやって決めるのか？円弧部分のモーメント原点と一致しないが良いのか？導出や出典がないので追いかけられない、と途方に暮れていました。
式の形だけを見ると、おおざっぱにはモーメント原点が分割片の上方に離れるほど Rti が大きくなり、安全率は高くなりそうです。水平に離れるほど、Rwi や Rri が大きくなり、安全率が低くなりそうです。一意に決められない直線部分の原点の取り方次第で答えが変わりそうというのはすっきりしません。安全率が低くなる原点を探索せよ、ということでしょうか？
PowerSSA（Ver.5.5、五大開発）と斜面の安定計算（Ver.12、FORUM8）はこの式に未対応です。COSTANA（Ver.18.1F、富士通エフ・アイ・ピー） だけがこの基準に対応と謳われていましたので、試算してみました。
結果、やはり原点の取り方によって安全率が変わります。傾向も、まあまあ想定に沿っています。
これ以上の理解は困難なので、COSTANAにおけるモーメント原点の決め方についてサポートさんに確認してみました。が、明解な回答は帰ってきません。（SEさんなのか、ソフトの使い方には幾分慣れていらっしゃるようですが、力学の基礎理論を御存知ないようでした）。
五大さんとFORUM8 さんにも確認してみましたが、両社ともあえて実装していないように受け止められました。（富士通さんとは対照的に、FORUM8さんは技術的な回答でした）。
ただ、実装している富士通さんも悪くはないと思います。基準通り計算されているようですので、設計通りなのでしょう。もともと安全率の定まらない計算式なのか、2次元の0.01にこだわる業界がおかしいのか？
結局、解説で定義される「2次元分割法」を使うのをやめました（２社もこのような判断だったのかもしれません）。
標準以外にも簡易ヤンブーや 3次元計算などが紹介されており、基準の中で比較的自由に泳げますので、すっきりしない式は使わないことにしました。
それにしても、この谷埋め型大規模盛土造成地の安定計算式、どのようにして生まれたのでしょうか？ひょっとすると、直線部分の原点の決め方が出典に書かれているのかもしれません。
今後、何かしらの情報に触れる機会があるかもしれませんので、その時を楽しみにしておきましょう。
**************************************
マニュアルの解説では、盛土の安定計算箇所の全応力式と有効応力式の「間隙水圧」の書き方が曖昧。２巻の軟弱地盤ので箇所ではきちんと書かれていますので、担当者が別なのでしょうね。
http://www.mlit.go.jp/crd/web/topic/pdf/takuchibousai_manual070409.pdf
谷埋め型大規模盛土造成地の安定性については、二次元の分割法により検討することを標準とする。「２次元分割法」とは幅広い記載に感じますが、基準独自の定義があります。具体的な計算式は「宅地防災マニュアルの解説〔第二次改訂版〕」「大規模盛土造成地の変動予測調査ガイドラインの解説」に掲載されています。
http://www.mlit.go.jp/common/001089011.pdf
先日、この式を使おうかと式を読み始めたのですが、非常に不可解。いえ、複合すべり（谷埋め型）の直線部分にモーメントが使われているようです（現行のガイドラインの図中では「円弧の場合」となっていますが）。
通常、モーメント比は円弧、力の比は複合や直線すべりでと考えていましたが、この式はそうなっていません。直線部分のモーメント原点(任意点O)はどうやって決めるのか？円弧部分のモーメント原点と一致しないが良いのか？導出や出典がないので追いかけられない、と途方に暮れていました。
式の形だけを見ると、おおざっぱにはモーメント原点が分割片の上方に離れるほど Rti が大きくなり、安全率は高くなりそうです。水平に離れるほど、Rwi や Rri が大きくなり、安全率が低くなりそうです。一意に決められない直線部分の原点の取り方次第で答えが変わりそうというのはすっきりしません。安全率が低くなる原点を探索せよ、ということでしょうか？
PowerSSA（Ver.5.5、五大開発）と斜面の安定計算（Ver.12、FORUM8）はこの式に未対応です。COSTANA（Ver.18.1F、富士通エフ・アイ・ピー） だけがこの基準に対応と謳われていましたので、試算してみました。
結果、やはり原点の取り方によって安全率が変わります。傾向も、まあまあ想定に沿っています。
これ以上の理解は困難なので、COSTANAにおけるモーメント原点の決め方についてサポートさんに確認してみました。が、明解な回答は帰ってきません。（SEさんなのか、ソフトの使い方には幾分慣れていらっしゃるようですが、力学の基礎理論を御存知ないようでした）。
五大さんとFORUM8 さんにも確認してみましたが、両社ともあえて実装していないように受け止められました。（富士通さんとは対照的に、FORUM8さんは技術的な回答でした）。
ただ、実装している富士通さんも悪くはないと思います。基準通り計算されているようですので、設計通りなのでしょう。もともと安全率の定まらない計算式なのか、2次元の0.01にこだわる業界がおかしいのか？
結局、解説で定義される「2次元分割法」を使うのをやめました（２社もこのような判断だったのかもしれません）。
標準以外にも簡易ヤンブーや 3次元計算などが紹介されており、基準の中で比較的自由に泳げますので、すっきりしない式は使わないことにしました。
それにしても、この谷埋め型大規模盛土造成地の安定計算式、どのようにして生まれたのでしょうか？ひょっとすると、直線部分の原点の決め方が出典に書かれているのかもしれません。
今後、何かしらの情報に触れる機会があるかもしれませんので、その時を楽しみにしておきましょう。
**************************************
マニュアルの解説では、盛土の安定計算箇所の全応力式と有効応力式の「間隙水圧」の書き方が曖昧。２巻の軟弱地盤ので箇所ではきちんと書かれていますので、担当者が別なのでしょうね。
2017年10月14日土曜日
吸水膨張試験
岩石の吸水膨張試験ができないか？と問い合わせ。
できません。その設備、ありません。
トンネル業務で膨潤性を判定する際には、スメクタイト含有量を XRD 結果から推定し、利用しています。吸水膨張圧まで測定したことは個人的にありません。その先の計算を見据えて興味を持ち続けていますが、残念ながらナシです。
あらためて地盤工学会基準を見てみますと、以下のように書かれていました。
興味を惹かれ、切土アンカーの文献を読みました。が、ピースの試験長と膨張圧の関係に着目されておらず、イマイチでした。要素シミュでパラメーターを求め、数値解析に持っていく、という流れが BEST でしょうか？web 上にはこのような文献もありました。
A Study of Swelling Behaviour in a Tunnel Using Finite Element Methods
他には、線膨張係数を使って見かけの E を変更している文献もありました。おそらく、分子シミュでも扱われているのではないでしょうか？
土木の場合、純粋な鉱物学的「膨潤」のみを指して膨張性地山とは呼でしょう。塑性化後の押出しを区別しにくいのか、「○○cmの押し出しが発生した」というように結果のみが示されます。観測だけでは区別していない（できない）ため、試験の定量的利用が難しいのでしょう。
まずは正攻法でも、そうでなくても良いので、数値解析を利用し現象を理解する材料を作る必要があるでしょう。解析例を蓄積しすれば一部の会社の特殊技術ではなくなり、設計・施工法も標準化されるでしょう。地質屋さんのモデル化もより正確性を求められます。
皆で進めると、近い将来、難しい問題ではなくなるように思われます。
できません。その設備、ありません。
トンネル業務で膨潤性を判定する際には、スメクタイト含有量を XRD 結果から推定し、利用しています。吸水膨張圧まで測定したことは個人的にありません。その先の計算を見据えて興味を持ち続けていますが、残念ながらナシです。
あらためて地盤工学会基準を見てみますと、以下のように書かれていました。
- 吸水膨張試験は地山の膨張性を判定する指標の一つとして取り扱われているに過ぎない
- 結果を設計施工に積極的に利用している例はわずか
- その理由として、膨張応力や膨張性を利用した設計手法・解析手法に関する研究・検討事例が極めて少ないことなどが挙げられる。
- しかし近年、変状事例が各地で顕在化してきており、設計条件を決める場合に試験結果を利用している例がある。（近年といっても、古いと思います。）
- 14例のうち、13例がトンネル、１例が切土アンカー
興味を惹かれ、切土アンカーの文献を読みました。が、ピースの試験長と膨張圧の関係に着目されておらず、イマイチでした。要素シミュでパラメーターを求め、数値解析に持っていく、という流れが BEST でしょうか？web 上にはこのような文献もありました。
A Study of Swelling Behaviour in a Tunnel Using Finite Element Methods
他には、線膨張係数を使って見かけの E を変更している文献もありました。おそらく、分子シミュでも扱われているのではないでしょうか？
土木の場合、純粋な鉱物学的「膨潤」のみを指して膨張性地山とは呼でしょう。塑性化後の押出しを区別しにくいのか、「○○cmの押し出しが発生した」というように結果のみが示されます。観測だけでは区別していない（できない）ため、試験の定量的利用が難しいのでしょう。
まずは正攻法でも、そうでなくても良いので、数値解析を利用し現象を理解する材料を作る必要があるでしょう。解析例を蓄積しすれば一部の会社の特殊技術ではなくなり、設計・施工法も標準化されるでしょう。地質屋さんのモデル化もより正確性を求められます。
皆で進めると、近い将来、難しい問題ではなくなるように思われます。
2017年10月13日金曜日
COSTANA
今日は1日 COSTANA で安定計算。
普段は PowerSSA を使用しています（こちらの方が断然、操作性で優れています）。
今回は同じモデルで DECALT を使用する予定があり、仕方なくデータを共有できる COSTANA を選択しました。
が、やはり入力が面倒。
EXCEL からのコピペはできません。代わりに DXF を用意していたのですが、こちらも読み込んでくれません。読み込みにコツがいるのを覚えていたのですが、今回はそれを試してもダメ。結局サポートに問い合わせました。
が、サポートも若手のようで、返答がイマイチ。返答の是正、是正でようやく正解を得られました。コツは 2007 形式の DXF で、レイヤーに 2byte 文字の使用はダメ、でした。地層をくるっと囲む形で作画しておくことは、前回学習した通りです。
読み込んだ後の計算時にも、安全率が０を示したり（円弧の探索方向（大→小）を逆にすると正しく計算してくれました）、異常に小さかったり（ダミーで設定していた下側の土層の値を読んでいた）など、戸惑うこと多し。
で、計算終了。軟弱部分に対策を打たないと持たない結果となりました。したがって、 DECALT の出番なしです（ま、ある程度は予想していましたが）。やはり、最初から PowerSSA でやればよかったかな。
********************************
20171014追記
結局、機能が足りなかったので、PowerSSA でやり直しました。
もっとソフトの詳細を調べてから取り掛からないとダメですね。
普段は PowerSSA を使用しています（こちらの方が断然、操作性で優れています）。
今回は同じモデルで DECALT を使用する予定があり、仕方なくデータを共有できる COSTANA を選択しました。
が、やはり入力が面倒。
EXCEL からのコピペはできません。代わりに DXF を用意していたのですが、こちらも読み込んでくれません。読み込みにコツがいるのを覚えていたのですが、今回はそれを試してもダメ。結局サポートに問い合わせました。
が、サポートも若手のようで、返答がイマイチ。返答の是正、是正でようやく正解を得られました。コツは 2007 形式の DXF で、レイヤーに 2byte 文字の使用はダメ、でした。地層をくるっと囲む形で作画しておくことは、前回学習した通りです。
読み込んだ後の計算時にも、安全率が０を示したり（円弧の探索方向（大→小）を逆にすると正しく計算してくれました）、異常に小さかったり（ダミーで設定していた下側の土層の値を読んでいた）など、戸惑うこと多し。
で、計算終了。軟弱部分に対策を打たないと持たない結果となりました。したがって、 DECALT の出番なしです（ま、ある程度は予想していましたが）。やはり、最初から PowerSSA でやればよかったかな。
********************************
20171014追記
結局、機能が足りなかったので、PowerSSA でやり直しました。
もっとソフトの詳細を調べてから取り掛からないとダメですね。
2017年10月10日火曜日
アクティベーションできない Civil3D 2018
日曜日からアクティベーションできない状態が続いていた Civil3D 2018。
症状はコチラの方と同じ。調べてみると、過去にも同様の報告があります。
https://forums.autodesk.com/t5/autocad-ri-ben-yu/akutibeshonkodoga-ru-lidekinai/m-p/7163715/highlight/true#M3057
私が管理者なのですが、入れません。
アカウント内で情報を確認すると、AEC に切り替える前の IDS が紐づいたまま。このあたりがあやしい。
連休明けの今朝、販売店のプロに確認したのですが原因不明。すぐにAutodesk に問い合わせていただきました。
結果がわかったのが夕方。Autodesk のサーバー側の不具合でした。時々あるとのことです。
あるなら公表しておいてほしいですね。解決するまで3日かかりました。
症状はコチラの方と同じ。調べてみると、過去にも同様の報告があります。
https://forums.autodesk.com/t5/autocad-ri-ben-yu/akutibeshonkodoga-ru-lidekinai/m-p/7163715/highlight/true#M3057
私が管理者なのですが、入れません。
アカウント内で情報を確認すると、AEC に切り替える前の IDS が紐づいたまま。このあたりがあやしい。
連休明けの今朝、販売店のプロに確認したのですが原因不明。すぐにAutodesk に問い合わせていただきました。
結果がわかったのが夕方。Autodesk のサーバー側の不具合でした。時々あるとのことです。
あるなら公表しておいてほしいですね。解決するまで3日かかりました。
QGIS で 走向傾斜 その3
dip のラベル位置についての備忘録。（QGIS 2.14 ）
（strike・dipの表示はコチラ↓
https://staff.aist.go.jp/t-yoshikawa/Geomap/QGIS_memo.html）
(@map_scale *0.003 * cos( "strike" * pi() /180)) ||','|| ( @map_scale *0.003 * sin( "strike" * pi() /180))
「0.003」は offset の調整。適当に変える。
https://gis.stackexchange.com/questions/174145/how-to-set-position-of-label-around-a-point-in-qgis-according-to-a-field
https://groups.google.com/forum/#!topic/qgisshitumon01/FeD38t6N8P4
（strike・dipの表示はコチラ↓
https://staff.aist.go.jp/t-yoshikawa/Geomap/QGIS_memo.html）
(@map_scale *0.003 * cos( "strike" * pi() /180)) ||','|| ( @map_scale *0.003 * sin( "strike" * pi() /180))
「0.003」は offset の調整。適当に変える。
https://gis.stackexchange.com/questions/174145/how-to-set-position-of-label-around-a-point-in-qgis-according-to-a-field
https://groups.google.com/forum/#!topic/qgisshitumon01/FeD38t6N8P4
2017年10月9日月曜日
要素分割の勘どころ
世間が3連休になると、心なしか余裕が出てきます。
久しぶりに、1冊読みました。
岸正彦「有限要素法・要素分割の勘どころ」
実務では 力学の FEM を手掛けておらず、忘れそうだなあと思っていたところでした。良いタイミングで、この本に目が留まったと思います。
内容は、機械工学分野における FEM の要素分割数に関する話題でした。どの程度密に、あるいは粗にメッシュを切れば良いかの目安が提示してあります。当然、扱う形状や目的によって異なるのですが、まあ10分割程度で良いでしょうという目安は重宝すると思われます。
地下水の場合はあまり気にしなくて良い要素選択についても触れられていました。6面体2次要素が万能と思っていたのですが、題材によってはそうでもないようです。
特異点についても書かれています。
昔、メッシュを細かく切れば切るほど地下水の流速が上昇する現象について宿題を出されたことがありますが、これは力学も共通です。特異点だということを弁えておれば、評価を誤りません。
降伏判定でのミーゼス応力の評価も当たり前のように書かれていますね。機械工学の分野では当たり前に使われているのでしょう。
応力の種類については、以前、連続体力学の講習会でも触れられていました。「表示している応力が何応力なのか解析者がわかっていればOK」といったような内容を言われていたと思います。
頭の中の、この辺の知識をブラッシュアップできたと思います。
さあ、明日から頑張りましょう。
久しぶりに、1冊読みました。
岸正彦「有限要素法・要素分割の勘どころ」
実務では 力学の FEM を手掛けておらず、忘れそうだなあと思っていたところでした。良いタイミングで、この本に目が留まったと思います。
内容は、機械工学分野における FEM の要素分割数に関する話題でした。どの程度密に、あるいは粗にメッシュを切れば良いかの目安が提示してあります。当然、扱う形状や目的によって異なるのですが、まあ10分割程度で良いでしょうという目安は重宝すると思われます。
地下水の場合はあまり気にしなくて良い要素選択についても触れられていました。6面体2次要素が万能と思っていたのですが、題材によってはそうでもないようです。
特異点についても書かれています。
昔、メッシュを細かく切れば切るほど地下水の流速が上昇する現象について宿題を出されたことがありますが、これは力学も共通です。特異点だということを弁えておれば、評価を誤りません。
降伏判定でのミーゼス応力の評価も当たり前のように書かれていますね。機械工学の分野では当たり前に使われているのでしょう。
応力の種類については、以前、連続体力学の講習会でも触れられていました。「表示している応力が何応力なのか解析者がわかっていればOK」といったような内容を言われていたと思います。
頭の中の、この辺の知識をブラッシュアップできたと思います。
さあ、明日から頑張りましょう。
2017年10月6日金曜日
QGIS でルートマップ
QGISでルートマップを作成しています。
実際に手を動かしてみると、作業はCADより早いと感じました。
走向傾斜は数字と種別を入力するだけです。それだけで記号が回転し、傾斜の数字を表示してくれます。圧倒的に速い。
露頭は太線で表現しました。こちらは属性に硬さや亀裂間隔、コメントを入れておけばラベルとして表示してくれます。こちらも、速い。
写真はEXIF情報から撮影位置をプロットできます。撮影方向も属性として取り込めますので、それを使って記号を回転させ、撮影方向を表現できます。後に両者の微修正は必要ですが、それを踏まえても走向傾斜と同様に、圧倒的に早くなりました。
プロットされた記号にカーソルを合わせると写真を表示するようにも設定できます。GIS上で位置・方向の修正はもちろん、不要な写真の削除が行えます。最初に全部の写真を読み込み、空間的なバランス・重要性を確認しながら写真を選別する工程が1つの画面上で実施できるようになり、効率が良くなったように感じます。その後、連番を振り直し（属性値として入力）、それをラベルとして表示してやれば完成です。
属性として写真ファイルのフルパス、ファイル名も含まれています。この属性が収められている dbf ファイルは EXCEL で読めますので、それらを利用して採用した写真のみコピーし、さらに連番でリネームするマクロを組みました。コメントを属性として入れておけば、マクロだけで写真台帳まで作れそうです。
あと、コンポーザーを使えば凡例も作ってくれます。CAD ではモノが増えるたびに修正や位置調整を行う必要があったので、地味に時間がかかる作業でした。QGIS ではほぼ自動です。やはり、速い。
短所もあります。
やはり地質の3次元分布推定は QGIS では無理。Civil3D ＋GEORAMA でボーリング結果も踏まえて実施したいですね。そうするとQGISの DXF 出力の不完全さがネックになります。一応、 PDF 出力で解決していますが、座標が合わせは出力枚数が多いと面倒。将来的には DXF 出力が使い物になるレベルまで改善されることを期待したいと思います。
GIS とルートマップ、案外相性はよさそうです。手を動かしてみないと、わからないものですね。
***************************
20171009追記
短所の追加です。
近年のソフトにしては珍しいと思いますが、まれに落ちますね。データ保存をこまめに実施する必要があります。
あと、2-byte文字に完全対応していない点も残念。データの取り込み等で対応していないプラグインがあるようです。データ保存もうまくいかない場合があります。
お客様には日本語表示しないとダメですから、やはり QGIS でなく、Arc を使用すべきなのかもしれません。
20171010追記
属性データをコピペできないのは残念。
写真番号を1つ飛ばしていた箇所があり連番を振り直さないといけなかったのですが、コピペができないので悩みました。属性の結合も考えましたが、面倒。結局 EXCELでdbfを開いて連番を振り直し、ArcGIS にて該当箇所のみコピペで修正しました。
実際に手を動かしてみると、作業はCADより早いと感じました。
走向傾斜は数字と種別を入力するだけです。それだけで記号が回転し、傾斜の数字を表示してくれます。圧倒的に速い。
露頭は太線で表現しました。こちらは属性に硬さや亀裂間隔、コメントを入れておけばラベルとして表示してくれます。こちらも、速い。
写真はEXIF情報から撮影位置をプロットできます。撮影方向も属性として取り込めますので、それを使って記号を回転させ、撮影方向を表現できます。後に両者の微修正は必要ですが、それを踏まえても走向傾斜と同様に、圧倒的に早くなりました。
プロットされた記号にカーソルを合わせると写真を表示するようにも設定できます。GIS上で位置・方向の修正はもちろん、不要な写真の削除が行えます。最初に全部の写真を読み込み、空間的なバランス・重要性を確認しながら写真を選別する工程が1つの画面上で実施できるようになり、効率が良くなったように感じます。その後、連番を振り直し（属性値として入力）、それをラベルとして表示してやれば完成です。
属性として写真ファイルのフルパス、ファイル名も含まれています。この属性が収められている dbf ファイルは EXCEL で読めますので、それらを利用して採用した写真のみコピーし、さらに連番でリネームするマクロを組みました。コメントを属性として入れておけば、マクロだけで写真台帳まで作れそうです。
あと、コンポーザーを使えば凡例も作ってくれます。CAD ではモノが増えるたびに修正や位置調整を行う必要があったので、地味に時間がかかる作業でした。QGIS ではほぼ自動です。やはり、速い。
短所もあります。
やはり地質の3次元分布推定は QGIS では無理。Civil3D ＋GEORAMA でボーリング結果も踏まえて実施したいですね。そうするとQGISの DXF 出力の不完全さがネックになります。一応、 PDF 出力で解決していますが、座標が合わせは出力枚数が多いと面倒。将来的には DXF 出力が使い物になるレベルまで改善されることを期待したいと思います。
GIS とルートマップ、案外相性はよさそうです。手を動かしてみないと、わからないものですね。
***************************
20171009追記
短所の追加です。
近年のソフトにしては珍しいと思いますが、まれに落ちますね。データ保存をこまめに実施する必要があります。
あと、2-byte文字に完全対応していない点も残念。データの取り込み等で対応していないプラグインがあるようです。データ保存もうまくいかない場合があります。
お客様には日本語表示しないとダメですから、やはり QGIS でなく、Arc を使用すべきなのかもしれません。
20171010追記
属性データをコピペできないのは残念。
写真番号を1つ飛ばしていた箇所があり連番を振り直さないといけなかったのですが、コピペができないので悩みました。属性の結合も考えましたが、面倒。結局 EXCELでdbfを開いて連番を振り直し、ArcGIS にて該当箇所のみコピペで修正しました。
2017年10月5日木曜日
Windows10 クリーンインストール？
初夏から続いていた現場がひと段落。
荷物を整理して、メンテナンスを行いました。これから月末まで、じっくり内業です。
先日、AEC が使えるようになったとアナウンスが来ておりました。この機会に Civil3D と GEORAMA を 2018に上げ、ついでに Windows10 のクリーンインストールも済ませておこうと考えていました。長年使っていた Win7 でいくつか取れない不具合が残ってしまっており、一気に片付ける計画でした。
が、すんなりいきません。
4月ごろに作っていた インストール用 DVD では、インストール先のドライブが表示されません。古かったかな？などと思いながら MS のサイトからツールを使ってインストール用 USB を作り、再度進めてみました。が、こちらも同じ結果。データ保存用のドライブは出てくるのですが、Cドライブ（システム）は表示されません。
このCドライブ、SSD 2個で RAID0 を組んでいたのですが、それが原因でしょうか？少なくとも、Win7は起動しますので BIOS 等の設定は問題なしです
Cドライブ以外の SATA ケーブルを抜いてもダメ、新しく作った DVD でもダメ。ドライブ選択画面でドライバを読み直すと、そこでエラーがかかり振り出しに戻されます。
お手上げ状態でしたので、MSのサポートに聞いてみました。が、こちらでも解決せず。同様の事例はあるようでしたが今回はダメ。USB でなくDVD からの起動や、他のドライブを外すなどした場合に RAID0 を認識する事例があるとのことでしたが。
結局、7 を起動した状態で DVD からインストール。
設定を引き継がない「なにもしない」を選択。インストール後に、残ったごみを色々捨て、クリーンインストールっぽくしました。ま、このあたりで妥協しましょう。
起動は 7 よりも早くなりました。すっきりしたようです。
ある程度整理した状態でバックアップを取っておけば、1年毎にクリーンな状態に戻せるでしょうか。それが済んでから、AEC等大物をインストールすることにしましょう。
荷物を整理して、メンテナンスを行いました。これから月末まで、じっくり内業です。
先日、AEC が使えるようになったとアナウンスが来ておりました。この機会に Civil3D と GEORAMA を 2018に上げ、ついでに Windows10 のクリーンインストールも済ませておこうと考えていました。長年使っていた Win7 でいくつか取れない不具合が残ってしまっており、一気に片付ける計画でした。
が、すんなりいきません。
4月ごろに作っていた インストール用 DVD では、インストール先のドライブが表示されません。古かったかな？などと思いながら MS のサイトからツールを使ってインストール用 USB を作り、再度進めてみました。が、こちらも同じ結果。データ保存用のドライブは出てくるのですが、Cドライブ（システム）は表示されません。
このCドライブ、SSD 2個で RAID0 を組んでいたのですが、それが原因でしょうか？少なくとも、Win7は起動しますので BIOS 等の設定は問題なしです
Cドライブ以外の SATA ケーブルを抜いてもダメ、新しく作った DVD でもダメ。ドライブ選択画面でドライバを読み直すと、そこでエラーがかかり振り出しに戻されます。
お手上げ状態でしたので、MSのサポートに聞いてみました。が、こちらでも解決せず。同様の事例はあるようでしたが今回はダメ。USB でなくDVD からの起動や、他のドライブを外すなどした場合に RAID0 を認識する事例があるとのことでしたが。
結局、7 を起動した状態で DVD からインストール。
設定を引き継がない「なにもしない」を選択。インストール後に、残ったごみを色々捨て、クリーンインストールっぽくしました。ま、このあたりで妥協しましょう。
起動は 7 よりも早くなりました。すっきりしたようです。
ある程度整理した状態でバックアップを取っておけば、1年毎にクリーンな状態に戻せるでしょうか。それが済んでから、AEC等大物をインストールすることにしましょう。
2017年9月27日水曜日
地盤沈下観測等における衛星活用マニュアル
「地盤沈下観測等における衛星活用マニュアル」 平成29年3月 環境省水・大気環境局
SAR を使った広域観測に関するマニュアルです。実務に取り入れられるのはまだ先かと思っていましたが、すでにマニュアル化されていました。私のような初心者にもちょうど良いレベルになっています。ありがたい。
意外と内容が面白く、一気に読んでしまいました。以下、備忘録です。
雲の有無に左右されないと聞いていましたので、降雨にも大きく影響されないのではと漠然と考えていましたが、そうではないようです。マニュアルに書かれていますので、やはり経験上よくなかったのでしょう。（先日、データを購入したのですが、確認すると1シーンのみ数時間前に降雨がありました。）
Sentinel-1 に関しても書かれています。
実施例では C バンドにもかかわらず、意外と変位量を把握できているように見えます。沈下は都市域の問題だからでしょうか？
esa のサイトでシーンを検索てみました。が、ALOS2 と同様に2014年以降しか引っ掛かりません。古いデータが安価で手に入ると、過去の変動を多量に処理して把握できるかと思ったのですが。残念。ま、近年のデータがあれば、ALOS2 との比較はできます。山中や広いグラウンドなど、都市域以外でどこまで把握できるか知りたいですね。
あと、InSAR は初歩で、そのスタッキング処理、2.5次元解析までの実施がマニュアル化されています。これ、重要ですね。
試行したことがあるのは 最初のステップのみ。スタッキング処理、2.5次元解析までできて当たり前、といった感覚なのでしょうか？早急にスタッキング処理だけでもクリアーしたいですね。
InSAR では多くの実施例を見かけるのですが、すべて広域です。七五三掛の例でも1km弱。解像度は3mと十分に高いので、色のつながりを見るにしても、もっと狭い範囲の変動を把握できないかと期待しています。
今後の動向としては、3次元解析はもちろん、過去にさかのぼったり、上記のように狭い箇所に着目したりする、などでしょうか？
今後の動向に着目しながら、早く現状に追いつきましょう。
SAR を使った広域観測に関するマニュアルです。実務に取り入れられるのはまだ先かと思っていましたが、すでにマニュアル化されていました。私のような初心者にもちょうど良いレベルになっています。ありがたい。
意外と内容が面白く、一気に読んでしまいました。以下、備忘録です。
p27
ALOS-2 は、非常に高い精度で軌道の調整を行っているため基線長は 500m以下に抑えられており十分に短く、どの組合せでも高い干渉性が得やすいため、ほとんど全 ての観測された衛星データで干渉 SAR解析を行うことができる
p28
ALOS-2 の場合、１ペアの干渉 SAR 解析の２つの 衛星データの間隔は、3 年未満とすることが望ましい
p28
解析に用いる衛星データの選定にあたっては、データ観測時間帯の気象条件、特 に降雨データ（X バンド降雨データ）などを確認し、降雨が確認されれば解析対象デ ータから除外することが望ましい。また、用いる場合は解析精度が悪化しやすいこと に注意する必要がある。
p37
ALOS-2 では、処理レベル 1.1 データ（SLC:Single Look Complex）を入手
p65
ALOS-2 と Sentinel-1 を地盤高の観測に用いた場合の長所・短所
雲の有無に左右されないと聞いていましたので、降雨にも大きく影響されないのではと漠然と考えていましたが、そうではないようです。マニュアルに書かれていますので、やはり経験上よくなかったのでしょう。（先日、データを購入したのですが、確認すると1シーンのみ数時間前に降雨がありました。）
Sentinel-1 に関しても書かれています。
実施例では C バンドにもかかわらず、意外と変位量を把握できているように見えます。沈下は都市域の問題だからでしょうか？
esa のサイトでシーンを検索てみました。が、ALOS2 と同様に2014年以降しか引っ掛かりません。古いデータが安価で手に入ると、過去の変動を多量に処理して把握できるかと思ったのですが。残念。ま、近年のデータがあれば、ALOS2 との比較はできます。山中や広いグラウンドなど、都市域以外でどこまで把握できるか知りたいですね。
あと、InSAR は初歩で、そのスタッキング処理、2.5次元解析までの実施がマニュアル化されています。これ、重要ですね。
試行したことがあるのは 最初のステップのみ。スタッキング処理、2.5次元解析までできて当たり前、といった感覚なのでしょうか？早急にスタッキング処理だけでもクリアーしたいですね。
InSAR では多くの実施例を見かけるのですが、すべて広域です。七五三掛の例でも1km弱。解像度は3mと十分に高いので、色のつながりを見るにしても、もっと狭い範囲の変動を把握できないかと期待しています。
今後の動向としては、3次元解析はもちろん、過去にさかのぼったり、上記のように狭い箇所に着目したりする、などでしょうか？
今後の動向に着目しながら、早く現状に追いつきましょう。
2017年9月24日日曜日
ジオリファレンサーで位置合わせできない QGIS2.14
QGIS で踏査結果をまとめようとして、また躓きました。
踏査で使った地図をラスターで貼り付けたいのですが、できません。ジオリファレンサープラグインでラスターを読み込み、位置を「マップキャンパスより追加」するのですが、まったく違う位置に張り付きます。
違う PC でもダメ。
手法を変えてもダメ。
晩ご飯を食べた後、もしやと思い画像を反転させてからポイントを追加してみると、、、
できました。
移動や拡縮は容易にできるようですが、回転は得意でないのでしょうか？今回、ほぼ180度回さないといけなかったので、うまく機能しなかったようです。北が上になるように画像を調整してからジオリファレンサーで位置合わせ、といった手順になります。今まで使ったソフトに比べてクセがありました。
使っていると、まだまだ出てくるのでしょう。ひとつづつ、クセを覚えていきましょう。
踏査で使った地図をラスターで貼り付けたいのですが、できません。ジオリファレンサープラグインでラスターを読み込み、位置を「マップキャンパスより追加」するのですが、まったく違う位置に張り付きます。
違う PC でもダメ。
手法を変えてもダメ。
晩ご飯を食べた後、もしやと思い画像を反転させてからポイントを追加してみると、、、
できました。
移動や拡縮は容易にできるようですが、回転は得意でないのでしょうか？今回、ほぼ180度回さないといけなかったので、うまく機能しなかったようです。北が上になるように画像を調整してからジオリファレンサーで位置合わせ、といった手順になります。今まで使ったソフトに比べてクセがありました。
使っていると、まだまだ出てくるのでしょう。ひとつづつ、クセを覚えていきましょう。
2017年9月23日土曜日
air lift method
簡易索道を張ってもらった若い助手の方にコンプレッサーを借りていました。
それを使って、エアリフト法による孔内洗浄をテストしました。結果は上々。
15mくらいの孔内水位でも汲み出すことができました。
その結果を助手の方に報告していたのですが、横からオペさんが「昔はよくやっていた」と入ってこられました。
2人で「え？！」と驚き。
「エアリフト」という言葉は知っていましたが、その知識と映像、具体的手順が結びついたのがつい最近。しかもUSGSのサイト。「海外では豪快な洗い方をするなあ」と思っていた程度です。
https://www.usgs.gov/media/videos/usgs-groundwater-monitoring-well-redevelopment-using-air-lift-method
https://water.usgs.gov/ogw/video/gwpd.html
オペさん曰く、日本でも「さく井では昔から実施している」とのこと。昔は会社でも井戸掘りの仕事を多く請け負っていたそうで、大型のコンプレッサーを持ち込んで実施されていたそうです。圧をかけすぎるとVPが割れるので注意が必要とか、VP100を入れるべきところをVUを入れてしまい、割って掘りなおした先輩がいるとか、教えていただきました。
この応用で、「エアリフトポンプ」といったものがあるということも御存知でした。井戸掘りを多く請け負っていた支店では複数台所有していたとのこと。もっと早く知りたかったですね。
伝承が途切れていた技術でした。危ないですね。
ひとまず、ノウハウをお持ちの方が身近にいたというこがわかりました。
それを使って、エアリフト法による孔内洗浄をテストしました。結果は上々。
15mくらいの孔内水位でも汲み出すことができました。
その結果を助手の方に報告していたのですが、横からオペさんが「昔はよくやっていた」と入ってこられました。
2人で「え？！」と驚き。
「エアリフト」という言葉は知っていましたが、その知識と映像、具体的手順が結びついたのがつい最近。しかもUSGSのサイト。「海外では豪快な洗い方をするなあ」と思っていた程度です。
https://www.usgs.gov/media/videos/usgs-groundwater-monitoring-well-redevelopment-using-air-lift-method
https://water.usgs.gov/ogw/video/gwpd.html
オペさん曰く、日本でも「さく井では昔から実施している」とのこと。昔は会社でも井戸掘りの仕事を多く請け負っていたそうで、大型のコンプレッサーを持ち込んで実施されていたそうです。圧をかけすぎるとVPが割れるので注意が必要とか、VP100を入れるべきところをVUを入れてしまい、割って掘りなおした先輩がいるとか、教えていただきました。
この応用で、「エアリフトポンプ」といったものがあるということも御存知でした。井戸掘りを多く請け負っていた支店では複数台所有していたとのこと。もっと早く知りたかったですね。
伝承が途切れていた技術でした。危ないですね。
ひとまず、ノウハウをお持ちの方が身近にいたというこがわかりました。
2017年9月22日金曜日
簡易索道 その2
簡易索道でボーリング資材を搬入していただいています。
ポイントとの通りに良い立木がなく「難しいかな？」と思っていたのですが、オペさん「楽勝です」とのこと。
実際見てみると、三又などをうまく活用して搬入されていました。確かに、難なく作業されていましたが、私には無理。何度も経験してノウハウを身に着けていないと、現場で「楽勝です」なんて言えないと思います。感謝です。
若い方々は見たこともないでしょう。そうなると、計画もできません。災害対応もあるので現場に引き連れてくる時間はありませんが、今回の搬入方法を写真や動画で残しておき、あとで教育に使うことにしましょう。
とにかく、オペさんに助けていただき、感謝、感謝の1日でした。
2017年9月21日木曜日
ReCap Photo
台風18号による被災写真を Recap (photo) に投げ込みました。
できたモデルを表示しようとすると、以下の情報が表示されました。
3か月くらい前に使用した際には表示されていなかったように思います。
内容を見てみると、いくつかの変更点がありました。気になったのは以下の2点。
・使用できる写真が1000枚に増えた
・ReCap pro のサブスクリプションにバンドルされる
長い時間・コストをかけて実用に耐えうる機能を実装したので、有料にしますよ、ということでしょうか？
従来の Recap (photo) でも、細々した仕様変更がありました。
e-mail で招待し、モデルをシェアできるのは以前からでしょうか？知りませんでした。
一般的な測量でも UAVが 使われだしています。SfM の精度向上を求め、メーカーさんは努力されていることでしょう。
まだまだ仕様変更は続くと思われます。ついていきましょう。
できたモデルを表示しようとすると、以下の情報が表示されました。
写真プロジェクトの作成は処理機能が強化された新しい ReCap Photo ™ に移行します。 詳細は、ここをクリックしてください。
3か月くらい前に使用した際には表示されていなかったように思います。
内容を見てみると、いくつかの変更点がありました。気になったのは以下の2点。
・使用できる写真が1000枚に増えた
・ReCap pro のサブスクリプションにバンドルされる
長い時間・コストをかけて実用に耐えうる機能を実装したので、有料にしますよ、ということでしょうか？
従来の Recap (photo) でも、細々した仕様変更がありました。
e-mail で招待し、モデルをシェアできるのは以前からでしょうか？知りませんでした。
一般的な測量でも UAVが 使われだしています。SfM の精度向上を求め、メーカーさんは努力されていることでしょう。
まだまだ仕様変更は続くと思われます。ついていきましょう。
2017年9月18日月曜日
QGIS で 走向傾斜 その2
QGIS で 走向傾斜のシンボルを DXF へ変換した際、歪んでしまう件の続きです。https://phreeqc.blogspot.jp/2017/08/qgis.html
新たな情報を探しているうちに、以下の情報が引っ掛かりました。プリントコンポーザにて SVG や PDF 出力に対応しているとのこと。
https://docs.qgis.org/2.14/ja/docs/user_manual/print_composer/overview_composer.html
そういえば、Civil3D も 2017 から PDF のジオメトリ読み込みに対応していました。
試してみると、DXF 経由ではないので座標やスケールは飛びますが、読み込み自体はOK。歪まずに Civil3D へ取り込むことができました。（Civil 側にて取り込み時のスケール設定はあるのですが、まだよくわかりません。）現段階ではこのあたりが落としどころでしょう。
GIS を使って少し作業を進めると、ラインの表記が楽になったと気づきました。これ、Arcを使われている先輩が、大昔に言われていました。
遷急線や flow line 等のラインが折れていても、等間隔で破線や進行方向のマーク（マーカーライン）を表示してくれます。小崩壊頭部の ┬┬┬ マークも綺麗に並んでくれます。欲を言えば、┬┬┬ のケバが自動で崩積土の範囲まで伸びてくれたら大きな崩壊にも使えるのですが。ま、これはCADと同様、手作業です。
当面は QGIS でルートマップを作成し、Civil3D ＋ GEORAMAで 3次元分布を考慮した地質図を作成することになるでしょうか？
もう少し触ってみましょう。
新たな情報を探しているうちに、以下の情報が引っ掛かりました。プリントコンポーザにて SVG や PDF 出力に対応しているとのこと。
https://docs.qgis.org/2.14/ja/docs/user_manual/print_composer/overview_composer.html
そういえば、Civil3D も 2017 から PDF のジオメトリ読み込みに対応していました。
試してみると、DXF 経由ではないので座標やスケールは飛びますが、読み込み自体はOK。歪まずに Civil3D へ取り込むことができました。（Civil 側にて取り込み時のスケール設定はあるのですが、まだよくわかりません。）現段階ではこのあたりが落としどころでしょう。
GIS を使って少し作業を進めると、ラインの表記が楽になったと気づきました。これ、Arcを使われている先輩が、大昔に言われていました。
遷急線や flow line 等のラインが折れていても、等間隔で破線や進行方向のマーク（マーカーライン）を表示してくれます。小崩壊頭部の ┬┬┬ マークも綺麗に並んでくれます。欲を言えば、┬┬┬ のケバが自動で崩積土の範囲まで伸びてくれたら大きな崩壊にも使えるのですが。ま、これはCADと同様、手作業です。
当面は QGIS でルートマップを作成し、Civil3D ＋ GEORAMAで 3次元分布を考慮した地質図を作成することになるでしょうか？
もう少し触ってみましょう。
2017年9月17日日曜日
縦断図 測点間隔の変更（Civil3D 2017）
弾性波探査で、逆解析に遠隔の情報を取り入れたいと考えました。
地形は広域の3次元データ（LP）になっているため、任意のピッチで地盤高を把握することができます。探査測線上は既に Civil3D で線形を設定し、縦断を切っていますので、あとは遠隔まで線形を伸ばし、5mピッチで高さを表示させるだけです。
計画も現地盤もサーフェスから縦断に取り込んでいますので、レポート機能が使えません。今回は以下の手順としました。
①既存の線形を複写し、端部を 50m 延長。
この時点で縦断図も複写され、延長されます。
②開始測点を-0+50に設定。
線形を選択し右クリック - 線形プロパティ - 測点 -0+50
縦断図で複写前の地盤高と見比べる。ずれていなければOK。
③縦断図の測点表示を5mピッチに変更
縦断図を選択し右クリック-縦断ビュープロパティ
「情報」タブ - オブジェクトスタイル - 現在の選択をコピー、リネーム
必要により表示する標高を「標高」タブで変更
右クリック - 縦断ビュースタイルを編集
「水平軸」- 副ティックの詳細 - 間隔：5.00m
サーフェスから作成した縦断の測点毎の地盤高を、テキストに吐き出す方法までは思いつきませんでした。ひとまず、これで先に進みましょう。
**************************************************************
おまけ1
線形に測点ラベルを付ける場合
線形を右クリック-線形ラベルを編集
主測点 追加：100m
副測点 追加：5m
おまけ2
測点ピッチにかかわらず、縦断図内の地形や計画ラインの折れ点で高さを抜きたい場合は以下の通り（235の技の125番目に詳細が書かれています）。安定計算などではこちらの方が良いでしょう。
縦断図内の地形線等を選択し右クリック - 「縦断ジオメトリを編集」
縦断レイアウトツール - 縦断グリッドビュー
地形は広域の3次元データ（LP）になっているため、任意のピッチで地盤高を把握することができます。探査測線上は既に Civil3D で線形を設定し、縦断を切っていますので、あとは遠隔まで線形を伸ばし、5mピッチで高さを表示させるだけです。
計画も現地盤もサーフェスから縦断に取り込んでいますので、レポート機能が使えません。今回は以下の手順としました。
①既存の線形を複写し、端部を 50m 延長。
この時点で縦断図も複写され、延長されます。
②開始測点を-0+50に設定。
線形を選択し右クリック - 線形プロパティ - 測点 -0+50
縦断図で複写前の地盤高と見比べる。ずれていなければOK。
③縦断図の測点表示を5mピッチに変更
縦断図を選択し右クリック-縦断ビュープロパティ
「情報」タブ - オブジェクトスタイル - 現在の選択をコピー、リネーム
必要により表示する標高を「標高」タブで変更
右クリック - 縦断ビュースタイルを編集
「水平軸」- 副ティックの詳細 - 間隔：5.00m
サーフェスから作成した縦断の測点毎の地盤高を、テキストに吐き出す方法までは思いつきませんでした。ひとまず、これで先に進みましょう。
**************************************************************
おまけ1
線形に測点ラベルを付ける場合
線形を右クリック-線形ラベルを編集
主測点 追加：100m
副測点 追加：5m
おまけ2
測点ピッチにかかわらず、縦断図内の地形や計画ラインの折れ点で高さを抜きたい場合は以下の通り（235の技の125番目に詳細が書かれています）。安定計算などではこちらの方が良いでしょう。
縦断図内の地形線等を選択し右クリック - 「縦断ジオメトリを編集」
縦断レイアウトツール - 縦断グリッドビュー
登録:
投稿 (Atom)