Pythonの重たい処理を自前環境でやるには時間がかかりすぎるしリソースを食ってしまって他作業ができない。GCPの無料クレジット枠（約3万円）でリッチな環境を作って重たい処理を高速で回したい。処理的に問題なければGoogle Colabでもいいが、まずはGCEにPython環境を作ってみる。
①GCE初期構築
最低限を入れる。python実行環境まで。下記参照。分かりやすい。
これから始めるGCP（GCE） 安全に無料枠を使い倒せ - Qiita
はじめに本記事は、これからGCP（GCE）を始める人を対象とした記事になります。個人開発や学習等でGCP（GCE）を利用するにあたり、GCP（GCE）の構築手順（VMインスタンス作成〜SSH接続…
qiita.com
pythonコードの実行は、
python3 ソースコード名②VMインスタンスにgcloudでソースとファイルを移動する
③エラーがなくなるまでライブラリを入れる
こんな感じでエラーが出るので、その都度下記にようにインストールコマンドたたいてエラーを解消する。
sudo pip3 install pandas
sudo pip3 install dfply
sudo pip3 install dask
sudo pip3 install sklearn
sudo pip3 install time
sudo pip3 install lightgbmエラーがでなくなったら、必要なライブラリのインポートが完了。ここからは重たい処理を実行させるための 高スペックマシンに乗せ換える作業を行う。
④スナップショットを作る
⑤スナップショットから高性能GCEを作る
ここまでの流れで、GCEにPython実行環境を構築して、（少しは）リッチな環境でpython処理を回すことができる。
だが実際のところ、無料トライアルは使用できるCPUの数に上限があるため（大体8）、いうほどリッチな環境は構築できない。リッチな環境作るには金を払え～～～
今回期待していたほどリッチな環境が作れず残念だが、いつか金払って重めの処理やりたいのでそのときはこの流れが参考になるからよしとする。
コメント