Googleの提供するデータ分析用のツール. Colabと略される.
Colabにおけるデータ保存まとめ
- Google Cloud Storage
- Google Drive
Google Driveをマウントする
Google Cloud Storageにデータを保存する
Google Cloud Storage にデータを保存する場合はgsutilでやり取り.
from google.colab import auth
auth.authenticate_user()
project_id = 'hogehoge'
!gcloud config set project {project_id}GCSからColabへDownload.
!gsutil cp gs://hogehoge.appspot.com/model.tar .ColabからGCSへUpload.
!gsutil cp model.tar gs://hogehoge.appspot.com/💡ColabのRegionとCloud Storageの関係
(4.5GBのデータをStorageから頻繁にダウンロードしてたらバカみたいに課金されたので… )
Cloud Storageを利用する場合, 5GB以内ならば保存は無料でかつ大陸内の通信ならば無料. しかし問題は大陸間をまたぐ移動で課金されるということ. (料金| Cloud Storage).
そしてどうもColabはランダムにRegionが選択されるようだ. そこで例えば東京リージョンのCloud StorageにデータをおいておいてColabから利用しようとすると, 節約を考えるならばランダムに割り当てられるのがasiaであるまで 待つしかない(ランタイムガチャ).
Colabがどのregionで稼働しているかは gcping というツールをColab上でたたいてしらべる.
!curl https://storage.googleapis.com/gcping-release/gcping_linux_amd64_latest > gcping && chmod +x gcping
!. /gcpingランタイムのリセットには2種類ある. ここではFactory Resetと呼ばれるほうを実行する必要がある. ボタン表記的には ツールバーから Runtime > Disconnect and delete runtime(ランタイム > すべてのラインタイムをリセット).
Restrat runtime(ランタイムを再起動)を選択してしまうとregionは変わらないので注意.
ref. 🖊Google Colabのリージョンを調べてCloud Storageからのダウンロード料金を節約する方法 | Futurismo
Google Colab Tips
いろいろと小技をまとめていく.
👉Related
- up: 📂データサイエンス
- refs.