インスタンスタイプの変更

EC2 の H2O を起動。

メモリは56GB確保。
java -Xmx56g -jar h2o.jar

11GB の csv 読み込みは OK。
splitはダメ。うーん、メモリ？ H2O？ Java? の限界。

Jupyter 経由で CSV を分割し、再度 H2O へ。
今度はモデリングまで到達しましたが、ここにきてメモリエラー。より大きなインスタンスが必要でした。見誤りました。
Java heap space', caused by java.lang.OutOfMemoryError: Java heap space
#e Thread WARN: Swapping!  GC CALLBACK, (K/V:29.58 GB + POJO:23.09 GB + FREE:3.33 GB == MEM_MAX:56.00 GB), desiredKV=9.82 GB OOM!


SagerMaker に移行。
が、こちらも、データクレンジング時にメモリーエラー。EC2同様、メモリ64GBでは不足でした。うーん。失敗。

Machine Learning ではどうか？
こちらはOK。データ量に応じてスケールアップしてくれるようです。
が、Machine Learning では細かい調整ができません。EC2, SageMaker にて、より多くのメモリを積んでいるインスタンスで動かすしかなさそうですね。

まずは 既存のインスタンスを右クリックから「インスタンスの設定」-「インスタンスタイプの変更」で メモリ128GB の r5d.4xlarge に変更。これはすぐ反映されました。簡単！

で、開始。
が、始まりません。
You have requested more instances (1) than your current instance limit of 0 allows for the specified instance type. Please visit http://aws.amazon.com/contact-us/ec2-request to request an adjustment to this limit.

制限緩和のリクエストが必要とのこと。そういえば、以前実施したことがありますね。左の「制限」から該当インスタンスを見ると以下の通り示されています。
実行中のオンデマンドインスタンスの数: r5d.4xlarge 0

取り急ぎリクエストしておきましょう。