2019年9月25日水曜日

Prediction One

SONY さんの Automatic ML「Prediction One」
https://predictionone.sony.biz/

H2O の Driverless AI (最近、国内販売の代理店ができたようです)とコンセプトは同じです。

まずはKaggle の Credit Card Fraud Detection でテスト。
このデータは不均衡で、陽性0.2%です。ダメだろうなあと思いつつ前処理なしで喰わせてみました。
結果は上々。AUCが0.981。驚き。
残念なのは速度。GPUを使いませんし、CPUのコアも1つしか使用していません。メモリもかなり余っていました。

次に、手持ちのデータでテスト。同様に0.1%の Imbalanced data です。
結果はエラー。「予測ターゲットのユニーク数が少なすぎます。」と出ます。交差検証必須を外しても、学習・予測データを最初から分けてもダメ。わずか0.1%の差か?データの並びか?

前処理済みのデータではどうか?と思い over sampling 済みのデータでテスト。
が、これもダメ。60万行×40列なので仕様上は問題ないはずですが、学習を始めると1時間程度で停止します。

残念ながら前処理で python を使いますし、大きなデータを扱わないわけにはいかないので、実務には向かないようです。が、そこそこ精度は出そうな点、評価に資するための十分なレポートを作成してくれる点、ドキュメントに基礎知識等の解説が丁寧に解説されている点、日本語を扱える点から、入門者には良いツールでしょう。

国産 Automatic ML。Driverless AI レベルまで進化すれば  great machine learning expert の不在は重要でなくなるかも(前処理に強い方は必須です)。
https://phreeqc.blogspot.com/2019/09/rules-of-machine-learning.html

SONY さん、応援します。

0 件のコメント:

コメントを投稿