🔖データ分析プロジェクト管理

🔥虚無との戦い

データ分析プロジェクト管理まとめ

データ分析プロジェクト, または機械学習プロジェクト管理について.

正解があるというよりはペストプラクティス.

データサイエンスプロジェクトの流れ

問題定義/仮説生成
- 📝イシューアナリシス
- 📝仮説検証
📝データ収集
📝データラングリング
- データクリーニング
📝探索的データ解析
特徴量設計
モデル構築
🔖データ可視化
デプロイ
モデル運用

ディレクトリ構造ベストプラクティス

src: 実験用のプロをグラム. lib, bin.
data: 実験用のデータ.
notes
result

Topics

📝Reproducible Research

🔦機械学習研究でのコード・データ管理方法

私が機械学習研究をするときのコード・データ管理方法 - Qiita

実験に用いる元データは改変不可能になっていることが大前提.

大本のrawデータをS3で管理.

tweets/
    2015/
        01/
            01/
               tweet-001.gz

元テータから切り出した実験データは圧縮して保存.

projects/
    20151101_{project_name}/
        data.gz
        readme.txt
   ...

🔗References

http://www.chokkan.org/publication/coding-for-researchers.pdf
- 研究者流コーディングの極意.

up: 📝データ分析