CUDA Toolkit and Compatible Driver Versions

現段階で、Ubuntu18.04 に自動で入ったドライバーは Ver.390.48。
対応する CUDA Toolkit は 9.1。

ドライバとCUDA Toolkit
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#unsupported-features

Table 1. CUDA Toolkit and Compatible Driver Versions

CUDA Toolkit	Linux x86_64 Driver Version	Windows x86_64 Driver Version
CUDA 10.0.130	>= 410.48	>= 411.31
CUDA 9.2 (9.2.148 Update 1)	>= 396.37	>= 398.26
CUDA 9.2 (9.2.88)	>= 396.26	>= 397.44
CUDA 9.1 (9.1.85)	>= 390.46	>= 391.29
CUDA 9.0 (9.0.76)	>= 384.81	>= 385.54
CUDA 8.0 (8.0.61 GA2)	>= 375.26	>= 376.51
CUDA 8.0 (8.0.44)	>= 367.48	>= 369.30
CUDA 7.5 (7.5.16)	>= 352.31	>= 353.66
CUDA 7.0 (7.0.28)	>= 346.46	>= 347.62

NVIDIA GPU CLOUD は、まだUbuntu16。CUDA 9.1もありません。
https://www.nvidia.com/ja-jp/gpu-cloud/

NVIDIA Docker には、18.04対応のファイルがあります。 が、CUDA9.2以上。加えて非公式。
https://hub.docker.com/r/nvidia/cuda/

# CUDA 9.2 is not officially supported on ubuntu 18.04 yet, we use the ubuntu 17.10 repository for CUDA instead.

ドライバーを手動で上げて、9.2を入れようかな？と思いましたが、急ぐ必要もないので公式対応まで待つことにしました。
少し早かったかな？

バズワード

T型技術者の横線を太くするための一貫として、引き続き次の2冊を読みました。

小池和也「Docker 仮想化環境構築入門」
小川雄太郎「作りながら学ぶ！深層強化学習」

Docker の方は、ひとまず半分＋αまで。
わかりやすいのですが、半分まで読んだころには頭が一杯。
気になっていた AWS の箇所まで飛ばして読んで、次の書籍に。

深層強化学習の方は、実装主体なので案外早く読み終えました。実際に手を動かしていませんので見えていない部分があるかもしれませんが、思ったより簡単でした。


感想は2つ
・組み込むまでのアイデア捻出が鍵。
実際に運用段階になると、ほぼプログラマーの役割になると思いますが、いかに早く設計方針を固められるかは、技術者側の力量に左右されると感じています。

・クラウド利用に関する選択肢は多い。
AWS を利用するにしても、両者で別の方法が書かれていました。また、紹介されている方法はサービスの極一部です。ある課題を解くために運用する手段としてどの選択肢が最適なのか、私には判断する知識がありません。インフラエンジニアに頼りたいところです。


executives は「AIが必要。」「他はアマゾンでやってるみたいだから、これもアマゾンでやって」などと言われます。が、本来、個人レベルで解決できる類の問題ではなく、複数分野のプロが集まってお金をかけないと、解決できないレベルの問題です。ま、発言のレベルからは、バズワード化して他所に話せる形にしておくだけでも、御満足なのだと推測されますが。
技術者としては、それで終われません。プロに頼れるようになった場合、頼れなかった場合の両方を想定して、動いておきましょう。

パイプひずみ計

はじめてパイプひずみ計を設置。

観測は何度もありますが、設置は初めてでした。

ボーリング孔を利用した地すべり観測では、孔内傾斜計かパイプひずみ計のどちらかが使われています。地域性もあるようです。
個人的には、孔内傾斜計の方が変位量、方向を判断しやすいので好んで利用していたのですが、自動観測には向いていません。
パイプひずみ計は自動観測できるところがメリットです。最近では、孔内傾斜計のアルミケーシングが曲がって観測できなくなった後、ケース内に極細パイプを入れて観測を続けることが可能になりました。これもメリットですね。

パイプひずみ計は、1方向2ゲージで50cmピッチだと、15mで30ch。3インチケーシングだと、これくらいが限界。孔内傾斜計のように4インチケーシング（φ86mmコアチューブ掘削）だと良いのですが、基準に示されていないためお客様が好まれません。

自動観測にのせるにしても、30chの接続には時間がかかります。
モノレールで山の上に自動観測にかかわる資機材を運んでセットし、埋設されたコードを接続し、web上での動作確認を行って撤収するには、最初約3時間/箇所かかりました。慣れてくると2時間くらいで可能になりましたが、思ってたより面倒でした。
設置してしまうと観測に出向く必要がなく、機材や観測者の確保が不要になります。台風通過時~通過後に常時監視できるのは大きなメリットですね。

孔内傾斜計とパイプひずみ計の長所を併せ持つ、東京電機「アルミケーシング型３ｍパイプひずみ計」というものも販売されています。今回、いくつかの孔でこれを設置してみました。http://www.tokyodenki.com/files/1/%E3%82%A2%E3%83%AB%E3%83%9F%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%B3%E3%82%B0%E3%83%91%E3%82%A4%E3%83%97%E3%81%B2%E3%81%9A%E3%81%BF%E8%A8%88%E3%83%91%E3%83%B3%E3%83%95%E3%83%AC%E3%83%83%E3%83%88.pdf
今のところ、傾斜計ですべり面深度と移動方向を決定、ひずみ計で常時監視、というメリットを享受しています。（長く使えば問題点も見えてくると思われますが。）

今後の少子高齢化、働き方改革？の面からも、パイプひずみ計の需要は増えるかもしれません。アルミひずみ計を含め、動向には留意しましょう。

機械学習環境の更新（Ubuntu18.04）

Ubuntu を 18.04LTS に UP。

クリーンインストールを選択したのですが、ブートローダーの導入に失敗。
Win10 とは物理的に SSD を分けていましたので、Ubuntu の「インストールの種類」を選択する段階で「それ以外」を選択し、Ubuntu のSSD を指定すると、うまく入りました。

①まずは NVIDIA ドライバー。
$ sudo ubuntu-drivers autoinstall
$ sudo reboot
$ nvidia-smi
GPUの情報が出ました。OK。

②Win10 のために時計合わせ。
$ sudo timedatectl set-local-rtc true

③リモートデスクトップは Win側に VNC でなく、Ubuntu 側に XRDPを入れました。手順は googling で得られた通り。重いので、見直すかも。

④Docker、Nvidia Docker
共に18.04へ対応済みでした。手順は4月に入れた16の時と同様。
https://docs.docker.com/install/linux/docker-ce/ubuntu/#install-using-the-convenience-script
https://github.com/NVIDIA/nvidia-docker

⑤Deep Water
今回はDeepwater、XGBoost 共に GPU で動きました（1060の1枚刺し状態ですが）。
https://phreeqc.blogspot.com/2018/04/6-deep-water-deepwater.html

Deep Water は、H2O.ai の HP から消えています。開発は終了したのでしょうか？手元で問題が発生しなくなった時には開発終了になっていた、というのも残念ですね。今後を見据え、他のツールを準備しないといけません。プロがいたらインフラからソフトまで準備して頂けるのでしょうけど。

今日はここまで。
ひとまず、寄せ集めの機械学習環境を更新できました。

AI の活用

昨日の NHK スペシャルを見ました。

ウェザーニューズ社の取り組みが紹介されていました。
最近、web では「気象庁の発表より早い」という意見も出ていましたが、それだけ自信がついてきたのでしょうね。

・今年2月よりAIを利用。
・14時間前に7月豪雨の予測を発表
・教師データは雨雲レーダーの画像のみ。
・過去3年分の画像を学習。
・現在の画像を与えて予測。
・予報は250mメッシュ。

防犯、医療分野での活用についても紹介されていました。
正解に近い可能性があるなら情報の一つとして利用しますし、それで結果がついてくれば信頼性が向上し、良いスパイラルにはまっていくのでしょう。

番組では 「AI」というようにざっくり、一括りにされており、具体的な手法・ライブラリ等には触れられませんでした。
また、「ブラックボックス」も協調されていましたね。これはおそらく、output を全て確認できる状態で結果が提供されていないだろうという点と、ノンパラメトリック手法故の解釈性の低下といった点の、2つの要因が含まれていると思われます。地質モデル作成における決定論的手法と統計学的手法の違いにも似ていますね。
実際のところ、何を重視したモデルなのかは、ある程度教えてくれます。個人的には、検討するための材料としては十分なように感じています。

機械学習関連のライブラリや、GUI は自由に使える時代です。素人でも結果を出せるソフトも販売されています。ノンパラメトリック手法を敬遠するのは構わないと思いますが、使えないのはまずいでしょう。両方使える技術者が有利になるのは必然です。

データサイエンス

研修でのお話。

今、求められる技術者はπ型。T型ではダメだとのこと。

なぜか？

AIが登場したかららしい。

ふわっとした答えですが、なんとなく仰りたいところはわかりました。

ま、私の仕事だと、理学（のうち2つ）・工学（のうち2つ）・情報（のうち1つ）くらいは必要なのではないかと感じています。πではなく、T×5。


先日よりT型の横線部分を太くしようと、以下の図書を読んでいました。

久野ほか「大学4年間のデータサイエンスが10時間でざっと学べる」

近年、大学で教えられ始めた「データサイエンス」。統計の延長かな？っと思っていたら、そうでもなかったようです。
授業では、計算を GPU に乗せたり、ライブラリを利用したプログラミング、データベースなども扱われているようです。ビッグデータを扱わざるを得ない状況ですので、その入れ物や入出力の方法についても基礎知識として学ぶ必要があるのでしょう。
もちろん、機械学習や近年のディープラーニングも対象となっています。今まで虫食い状に扱っていた内容が案外網羅されていましたので少し驚くとともに、このような内容を基礎知識として有している学生はありがたい、と感じますね。いまだ「プログラミングできません」「GPUって何ですか？」「データが大きくEXCELで開けません」と言われる方いますからね。問題を解決できないのではなく、解決するステージにすらたどり着けないのは残念。機会の損失リスクへの対応ができていない状態です。

この本で印象に残ったのは、以下の3点。

• 機械学習とは、学習シナリオ（問題設定）をコンピューターに与え、それを解くように機会を訓練させる方法。（p110）
• パラメトリックモデル（解釈性が高い）とノンパラメトリックモデル（真のモデルに近い可能性が高い）。(p120~121)
• ディープラーニング：ネットワークの深層化と大規模化により高い汎化性能を実験的に実現←過学習しやすい問題をビッグデータでカバー←ハードウェアとネットの発展が下支え(p212~215)

今年度も、大量のデータを扱う必要に迫られています。

さくっと解決したいですね。