この週末、EXCEL でのフーリエ変換を試していました。
これまで FFT は Python を使用しており、仕事でも Python を使うつもりでいたのですが、今回は EXCEL。理由は「後輩君が EXCEL で始めたから」。
私は空間、彼は時間を扱っており、別の作業です。が、DFT 部分は共通。彼が EXCEL で作り始めた（が正解にたどり着けていない）ので、今回はそれをフォローできる体制を整えておくことにしました。
EXCELでは、以下の3つの方法が考えられます。
1．分析ツールの「フーリエ解析」を使用する。
2．関数を使用する。
3．VBAで組む。
まず、分析ツールのフーリエ解析。試したところ、一番手軽でした。
当然、後輩君はこれを使用しています。が、 FFT なのでデータ数は2の累乗に限定されます。たとえパディングでかわしたとしても、採用されている計算式が明記されていないため、結果をデータ数で割るべきかどうかわかりません。故に振幅も出せません。
（VBA での結果と比較すると、データ数で割っていない値が表示されていました。）
関数では複素数を扱うのがやや面倒です。四則演算のみでもIM○○といった関数を使う必要に迫られます。さらに、k次の答えを求めるためには、k列必要です。これでは非現実的。
VBA では複素有限フーリエ変換を組もうとしました。が、一旦躓きました。VBAでも複素数を扱いづらい。WorksheetFunction でもエラーが出るので原因究明しかけました。が、結論としてはその時間をとらずに有限フーリエ変換に変更しました。今回はデータ数が700以下と少ないので、FFTでない方が効率的なのかもしれません。
ここまで来れば簡単。k、mの2重ループで有限フーリエ係数を出して、それから振幅、フーリエ振幅、Power、複素振幅を計算します。
計算後、スペクトルを図化する際にどの振幅を使うか迷いました。
調べてみると、フーリエ振幅ですね。今まで、スペクトル表示の際はただの振幅を利用しているものと思っていましたが、基本はフーリエ振幅を使っているようです（ランニングスペクトルではPowerが一般的）。慣習のようですね。分野にもよるのでしょう。
EXCEL では VBA が楽でした。分析ツールの出す答えが何を示すのかも分かったので、今後はコチラも使えます。
彼が週明けに自力で正解にたどり着いていたなら、それに越したことはありません。どうなっているでしょうか。
ま、頭の整理ができましたので、手を動かして良かったと思います。
*******************
20191217
結局、私は Python を利用しました。これが楽でした。
2019年12月15日日曜日
2019年12月4日水曜日
TREND-POINT
地上レーザーのデータを可視化しています。
サーフェス化して断面を切っていますが、同時に航空LPのデータも切っています。大体、同じ形状になります。両者の精度、思ったより良いですね。
レーザーのデータから地表を抽出するには、木や草を除去する必要があります。また、座標の変換も必要な場合があるでしょう。これ、ReCap ではできません。
プロに聞いたら、ライセンスに空きのあるソフトがありました。
TREND-POINT
https://const.fukuicompu.co.jp/products/trendpoint/
Leica のデータも読めました。
が、樹木等を除去するのはかなり困難。プロもトライ＆エラーで解決するそうです。航測会社さんの処理はとても速いのですが、きっと独自のノウハウがあるのでしょう。
これはあきらめました。
座標変換は簡単。
図面から公共座標を拾って点群に与えるだけ。それを計算させると独立座標から変換してくれます。この機能だけでも使えそうです。
プロに聞いたところ、点群を平面図に変換できるソフトはないようです。が、いずれできるでしょうね。フルサーフェス化したり、ソリッド化したり。
新たなハードが出ると新たなデータが生まれ、それを効率よく処理するソフトが整備されます。昔からそうですが、近年は浸透が速く、多様化しているように思えます。
頑張って、ついて行きましょう。
サーフェス化して断面を切っていますが、同時に航空LPのデータも切っています。大体、同じ形状になります。両者の精度、思ったより良いですね。
レーザーのデータから地表を抽出するには、木や草を除去する必要があります。また、座標の変換も必要な場合があるでしょう。これ、ReCap ではできません。
プロに聞いたら、ライセンスに空きのあるソフトがありました。
TREND-POINT
https://const.fukuicompu.co.jp/products/trendpoint/
Leica のデータも読めました。
が、樹木等を除去するのはかなり困難。プロもトライ＆エラーで解決するそうです。航測会社さんの処理はとても速いのですが、きっと独自のノウハウがあるのでしょう。
これはあきらめました。
座標変換は簡単。
図面から公共座標を拾って点群に与えるだけ。それを計算させると独立座標から変換してくれます。この機能だけでも使えそうです。
プロに聞いたところ、点群を平面図に変換できるソフトはないようです。が、いずれできるでしょうね。フルサーフェス化したり、ソリッド化したり。
新たなハードが出ると新たなデータが生まれ、それを効率よく処理するソフトが整備されます。昔からそうですが、近年は浸透が速く、多様化しているように思えます。
頑張って、ついて行きましょう。
2019年11月27日水曜日
2019年11月17日日曜日
スマホで GIS
GIS データを現場で確認する手段を探しました。
複数のデータを重ねているのですが、それらを個別に、現場毎に事前に印刷するのは面倒です。online が当たり前の時代、データを クラウド上に up すればスマホで確認くらいはできるでしょう、と調べ始めました。
まずは QGIS。
これはオフライン&Android しか方法がありませんでした。データをスマホにコピーし、アプリ「QField for QGIS」で閲覧するのみ。
次に ArcGIS。
Pro でも Map でも良いのですが、オンラインでグループ内共有し、アプリ「Collector for ArcGIS」で閲覧します。が、非常に複雑な手順です。更新した場合も手間。サポートさんに聞いても時間がかかるばかりで、こちらは現場に間に合いませんでした。
どちらが良いか？というと、QGISでしょうか。
今回は携帯電波の入らない現場が複数あり、オフラインでデータを閲覧できるQField for QGIS に助けられました（地理院タイルはダメでしたが）。バッテリーは1日持続するようになりましたが、エリア外は広く残っています。オフラインありきで準備しないといけないですね。
********************************
20191201追記
地理院タイルはキャッシュを使えました。
キャッシュ＋立ち入り禁止区域＋スマホGPS で位置関係が分かりました。便利。
複数のデータを重ねているのですが、それらを個別に、現場毎に事前に印刷するのは面倒です。online が当たり前の時代、データを クラウド上に up すればスマホで確認くらいはできるでしょう、と調べ始めました。
まずは QGIS。
これはオフライン&Android しか方法がありませんでした。データをスマホにコピーし、アプリ「QField for QGIS」で閲覧するのみ。
次に ArcGIS。
Pro でも Map でも良いのですが、オンラインでグループ内共有し、アプリ「Collector for ArcGIS」で閲覧します。が、非常に複雑な手順です。更新した場合も手間。サポートさんに聞いても時間がかかるばかりで、こちらは現場に間に合いませんでした。
どちらが良いか？というと、QGISでしょうか。
今回は携帯電波の入らない現場が複数あり、オフラインでデータを閲覧できるQField for QGIS に助けられました（地理院タイルはダメでしたが）。バッテリーは1日持続するようになりましたが、エリア外は広く残っています。オフラインありきで準備しないといけないですね。
********************************
20191201追記
地理院タイルはキャッシュを使えました。
キャッシュ＋立ち入り禁止区域＋スマホGPS で位置関係が分かりました。便利。
2019年11月16日土曜日
プロの仕事？ その2
地上レーザースキャナーを初めて使いました。
機材所有部署から事前にレクチャーを受け準備していたのですが、事情により現場の前日に別機種に変更。再度1時間ほどレクチャーを受けました。
テスト中、手元では70m程の点群しか表示されていなかったのですが、射程は倍だそうで、映っていない点群も解析時には使用できるとのことでした。
で、現場。
今まで3次元地質モデルを作成する際には、地表面を作るのがネックになっていました。
測量図面から3次元に起こすのは手間。UAV ＋ SfM が楽なのですが、自分では積極的に操作したくはない。結果的に他部署にお願いする形になっていました。
ですが、このスキャナーであれば墜落の心配はなく、数分でデータを取得してくれます。何度か場所を変える必要は生じますが、GPSも付いており、簡単・楽です。
帰社後にデータを確認。
が、70m以遠のデータが出てきません。スキャナーを所有していた部署にも確認したのですが、「そのようなことはないはず」との回答。弱りました。
結論から言うと、データは取れていませんでした。いくつかのモードの中で、点群を最も密に取得できるモードを選択していたのですが、この場合は65mまでと’マニュアル’に記載がありました。そう、マニュアルに。
読まずに出かけました。反省。
で、現場はやり直し。
これがプロの仕事？と問われると恥ずかしくなるような内容です。ベテランですし、変化に追従する方法をよく知っていましたが、実施しておらず失敗。お粗末です。
次は失敗しません。十分に準備していきましょう。
機材所有部署から事前にレクチャーを受け準備していたのですが、事情により現場の前日に別機種に変更。再度1時間ほどレクチャーを受けました。
テスト中、手元では70m程の点群しか表示されていなかったのですが、射程は倍だそうで、映っていない点群も解析時には使用できるとのことでした。
で、現場。
今まで3次元地質モデルを作成する際には、地表面を作るのがネックになっていました。
測量図面から3次元に起こすのは手間。UAV ＋ SfM が楽なのですが、自分では積極的に操作したくはない。結果的に他部署にお願いする形になっていました。
ですが、このスキャナーであれば墜落の心配はなく、数分でデータを取得してくれます。何度か場所を変える必要は生じますが、GPSも付いており、簡単・楽です。
帰社後にデータを確認。
が、70m以遠のデータが出てきません。スキャナーを所有していた部署にも確認したのですが、「そのようなことはないはず」との回答。弱りました。
結論から言うと、データは取れていませんでした。いくつかのモードの中で、点群を最も密に取得できるモードを選択していたのですが、この場合は65mまでと’マニュアル’に記載がありました。そう、マニュアルに。
読まずに出かけました。反省。
で、現場はやり直し。
これがプロの仕事？と問われると恥ずかしくなるような内容です。ベテランですし、変化に追従する方法をよく知っていましたが、実施しておらず失敗。お粗末です。
次は失敗しません。十分に準備していきましょう。
プロの仕事？
ドライブレコーダーの電圧感知機能がイマイチ。
購入したカー用品店にて電圧を計って不具合を説明をしたところ、本体交換となりました。が、交換しても直らない。で、2回目は配線ごと交換となりました。配線は自分で行っていたのですが、無償で取外し＆取付け＆今からできる、ということでしたので若いプロにお任せしました。
が、いつまで待っても作業中。それほど時間がかかる作業ではないのにどうしたのだろうと思いながらピットに行ってみると、「作業は終わったがドアロックができなくなった」とのこと。面白い。なぜドラレコを外しただけでロックができなくなるのかわかりません。
3人がかりで2時間ほど調べていただき、やっと原因がわかりました。室内イルミのヒューズが飛んでいました。サービスマニュアルを見ない限り、イルミとロックが連動しているとは容易に思いつかないでしょう（ま、ロックしたらイルミが切れるので逆から考えると繋がりますが）。
なぜ飛んだのだろうか？と帰ってきて配線部分を確認してみると、わかりました。取付の際にカプラー手前の細線からエレクトロタップで常時電源を分岐させていたのですが、その先のギボシや2股部分（変更・拡張の可能性を考えていました）で配線を外さずにタップごと、根元からすべて外されていました。これ、アースを取っていたフレーム近くにあるので、触れさせると一発でショートします。
調べてみるとこのカプラー、フットランプ用でした（怪我の功名。翌日、フットランプを付けました）。
エレクトロタップ外してしまったら次の取付けはどうするのでしょう（ヒューズボックスでACCを取れないのですが）。しかも、外すときに本体側の線を切断するリスクもあったろうに。というか、作業前にバッテリー外してなかったんですね。
若いプロがミスをして、ベテランのプロがフォローする。どこかで見たような構図です。が、アマがわかるようなケアレスミスを起こさないよう、事前に教育しておいていただきたいところです。
これ、ブーメランで帰ってきます。
購入したカー用品店にて電圧を計って不具合を説明をしたところ、本体交換となりました。が、交換しても直らない。で、2回目は配線ごと交換となりました。配線は自分で行っていたのですが、無償で取外し＆取付け＆今からできる、ということでしたので若いプロにお任せしました。
が、いつまで待っても作業中。それほど時間がかかる作業ではないのにどうしたのだろうと思いながらピットに行ってみると、「作業は終わったがドアロックができなくなった」とのこと。面白い。なぜドラレコを外しただけでロックができなくなるのかわかりません。
3人がかりで2時間ほど調べていただき、やっと原因がわかりました。室内イルミのヒューズが飛んでいました。サービスマニュアルを見ない限り、イルミとロックが連動しているとは容易に思いつかないでしょう（ま、ロックしたらイルミが切れるので逆から考えると繋がりますが）。
なぜ飛んだのだろうか？と帰ってきて配線部分を確認してみると、わかりました。取付の際にカプラー手前の細線からエレクトロタップで常時電源を分岐させていたのですが、その先のギボシや2股部分（変更・拡張の可能性を考えていました）で配線を外さずにタップごと、根元からすべて外されていました。これ、アースを取っていたフレーム近くにあるので、触れさせると一発でショートします。
調べてみるとこのカプラー、フットランプ用でした（怪我の功名。翌日、フットランプを付けました）。
エレクトロタップ外してしまったら次の取付けはどうするのでしょう（ヒューズボックスでACCを取れないのですが）。しかも、外すときに本体側の線を切断するリスクもあったろうに。というか、作業前にバッテリー外してなかったんですね。
若いプロがミスをして、ベテランのプロがフォローする。どこかで見たような構図です。が、アマがわかるようなケアレスミスを起こさないよう、事前に教育しておいていただきたいところです。
これ、ブーメランで帰ってきます。
2019年11月4日月曜日
地すべりと地質
若い方に、興味のある研究テーマを聞いてみました。
「加水ハロイサイト」をキーワードに挙げられていました。近年の地震災害でマスコミに取り上げられた鉱物です。
以前は層状粘土鉱物が注目されていました。それらが整理・オーソライズされるに至らず、別の鉱物へ新展開を見出すようになった感がありますね。長い間この業界にいたにもかかわらず、何の成果も出せなかったことには、責任の一端を感じます。
地すべり災害は地質（岩種）に関係するといわます（がけ崩れ災や土石流災も岩種に関係しているといわれますが、これは疑問です）。
新鮮でも軟らかい岩種、（先天的、後天的にかかわらず）亀裂の発達した岩種に特徴的なのは感覚で理解できます。それらの粘土鉱物の力学的性質に着目するのも自然でしょう。
が、地質屋さんとしてはここまで。鉱物と力学的考察について統一見解が出されるまでには至りませんでした。
より難しくしているのは、地形的・水理的な力学バランスと構成鉱物の力学的性質が重なった結果を、一方だけで解釈しようとしているからでしょう。いえ、着手時は２属性のうち1属性に着目するとしておきながら、いつの間にかそれだけで binary classification として着地させたいロジックのすり替え、焦りがあったのかもしれません。
ま、一方だけでもデータが整理されるのは、後進のためにはありがたいことです。が、現段階では、統計や機械学習の視点ではデータが足りません（この程度の問題では機械学習に頼るまでもないでしょうが）。
データが揃えば、自ずと解けるレベルの問題でしょう。
ハロイサイトでも良いのですが、それだけに着目せず、力学的条件もあわせて整理しておけば、いつか後進が解いてくれることでしょう。
「加水ハロイサイト」をキーワードに挙げられていました。近年の地震災害でマスコミに取り上げられた鉱物です。
以前は層状粘土鉱物が注目されていました。それらが整理・オーソライズされるに至らず、別の鉱物へ新展開を見出すようになった感がありますね。長い間この業界にいたにもかかわらず、何の成果も出せなかったことには、責任の一端を感じます。
地すべり災害は地質（岩種）に関係するといわます（がけ崩れ災や土石流災も岩種に関係しているといわれますが、これは疑問です）。
新鮮でも軟らかい岩種、（先天的、後天的にかかわらず）亀裂の発達した岩種に特徴的なのは感覚で理解できます。それらの粘土鉱物の力学的性質に着目するのも自然でしょう。
が、地質屋さんとしてはここまで。鉱物と力学的考察について統一見解が出されるまでには至りませんでした。
より難しくしているのは、地形的・水理的な力学バランスと構成鉱物の力学的性質が重なった結果を、一方だけで解釈しようとしているからでしょう。いえ、着手時は２属性のうち1属性に着目するとしておきながら、いつの間にかそれだけで binary classification として着地させたいロジックのすり替え、焦りがあったのかもしれません。
ま、一方だけでもデータが整理されるのは、後進のためにはありがたいことです。が、現段階では、統計や機械学習の視点ではデータが足りません（この程度の問題では機械学習に頼るまでもないでしょうが）。
データが揃えば、自ずと解けるレベルの問題でしょう。
ハロイサイトでも良いのですが、それだけに着目せず、力学的条件もあわせて整理しておけば、いつか後進が解いてくれることでしょう。
登録:
投稿 (Atom)