機械学習まとめ
学習パラダイム
🐥Glossary
過学習
学習しすぎて精度が劣化する. オーバーフィッティング
Out-of-Sample(OOS)
データ分析や機械学習において、モデルの作成・学習に使用しなかった新しいデータのこと. このデータを使ってモデルの予測性能を検証することで、過学習を防ぎ、未知のデータに対する真の予測能力を評価
汎化
既知の学習から未知を予測できるようになること. 機械学習の目標.
📊識別モデル
識別モデル/discriminative models, 条件付きモデル/conditional models.
- ロジスティック回帰(LR)
- 条件付き確率場(CRF)
- 決定木
- ランダムフォレスト
🤖教師あり学習
🤖自己教師あり学習
テキスト内の消された単語を予測させることで、ほぼ無限に多様な訓練データを用意できるという発明！
2018, Google BERTが実装.
<2024-12-03 Tue 17:44> はじめてしった、これはすごい. 📚大規模言語モデルは新たな知能か - 岡野原大輔(2023)
🤖教師なし学習
📝Pre-training
事前学習.
転移学習/ファインチューニング
転移学習とファインチューニングも既存のモデルを再学習によって改良する. 内部の技術が異なるが目的は似ている.
📝転移学習
Transfer Learning.
📝Fine Tuning
ファインチューニング. 既存のモデルを元に機械学習モデルを改良する技術.
🤖レコメンドシステム
レコメンダシステム、レコメンドエンジン、recommender system. 推薦アルゴリズム… 呼び方がいろいろある.
- 💭朝活DTMのためにAI推薦のYoutubeやネット記事に釣り上げられずに早く寝る(25/04/11)
- 🌱SNSは検索フォームをGoogle検索のように使い推薦タイムラインを無視する
- 📕Twitter推薦アルゴリズムがイーロンマスクによってのオープンソース化された衝撃!(23/03/31)
📝機械学習プロダクト開発
MLOps.
📚パターン認識と機械学習/PRML
機械学習ガチ本としてよく言及されるやつ.