データサイエンスとは
データの収集から分析、モデリング、そしてそこから得られた知見をビジネスに活用するまでの全プロセス. 計量科学.
データサイエンスプロセス
🔍データ分析: 統計学、数学などの専門知識を用いてデータを掘り下げる一部.
- 問題定義/仮説生成
- 📝データ収集
- 📝データラングリング
- データクリーニング
- 📝探索的データ解析
- 特徴量設計
- モデル構築
- 🔖データ可視化
- デプロイ
- モデル運用
CRISP-DM の6工程
- Business Understanding — 何を解決するか、成功の定義
- Data Understanding — データ収集、EDA、品質確認
- Data Preparation — クレンジング、特徴量作成（工数の6〜8割はここ）
- Modeling — アルゴリズム選択、学習、チューニング
- Evaluation — ビジネス目標に照らして評価（技術指標だけで判断しない）
- Deployment — 本番投入、監視
🔍予測(prediction)
- データや科学的根拠に基づく客観的な🤔予想(guess)
- 未来に対する科学的推論
📊データサイエンスプロジェクト
機械学習プロジェクト.
ディレクトリ構造ベストプラクティス
- src: 実験用のプロをグラム. lib, bin.
- data: 実験用のデータ.
- notes
- result
🔦機械学習研究でのコード・データ管理方法
私が機械学習研究をするときのコード・データ管理方法 - Qiita
実験に用いる元データは改変不可能になっていることが大前提.
大本のrawデータをS3で管理.
tweets/
2015/
01/
01/
tweet-001.gz元テータから切り出した実験データは圧縮して保存.
projects/
20151101_{project_name}/
data.gz
readme.txt
...Refs
- AIエージェント頼みでデータ分析コンペにチャレンジしてみた, もうコードかかないからVSCodeじゃなくてObsidianという点が驚いた.
- 目指せメダリスト！Kaggle実験管理術 着実にコンペで成果を出すためのノウハウ (AI & TECHNOLOGY) | 髙橋 正憲, 篠田 裕之 |本 | 通販 | Amazon
Topics
Opinions
📐まず仮説ありき、そして分析
最も大事なことは, 📝仮説を立ててそれから分析をすること.
問題を整理するために闇雲に分析するのではない. この主張の理由は, 📝仮説思考, つまり限られたリソースの中で最短で解見極めることを目的とする.
仮説ドリブンだからこそデータドリブンが成り立つ – Data
仮説がなく研究をして大した発見がなかったという物理学研究の事例.