メモリオーバー

興味本位でいくつかを対象に FFT や PCA をかけています。

これが興味深い。想像してなかったことや、「考えると当前」といったような結果が浮かび上がります。先の 1/f もそうですね。

この過程で、頻繁に遭遇するのがメモリーオーバー。
48GB 積んでいますが、簡単にオーバーします。GPUならなおさら。前処理としてスライスしたり、pooling したりするのですが、ダメですね。ビッグデータどころか1時間のデータも扱えません。

簡単なのは物量作戦。メモリが足りなければ積めば良い、です。が、ある程度で頭打ちになるでしょう。何とか、効率よい処理方法を考えないと。FFT はできそうですが、PCAは思いつきません。
うーん、どうしましょう。