大規模言語モデル(Large Language Model/LLM)とは, 📝自然言語処理(NLP)の一分野.
大量のテキストデータを用いて学習し, 文章の表現や意味を理解することができる. 📝言語モデル.
- 🖊LLM AgnetsにおけるBrain.
- 🤖大規模言語モデル(LLM)
- 🤖小規模言語モデル(SLM)
🐥Glossary
😛ハルシネーション
幻覚. 人工知能によって生成された、虚偽または誤解を招く情報を事実として提示する応答.
ハルシネーションの問題は、簡単に嘘をつくこと.
🪟Context Window
モデルが一度に処理できるトークン数.
コンテキストウィンドウが大きいほど、モデルはより長い文章やより大量の情報を一度に処理できるようになる。これにより、文脈を深く理解し、整合性の取れた出力を生成できるようになる.
LLMモデル
🤖LLM推論モデル
Reasoning Model.
2025年から.
- OpenAI o1/o3
- Claude 3.7 Sonnet
- Gemini 2.0 Flash Thinking
- 💭クロード・ソネット君によってついにプログラマの終焉を経験的に悟った(25/04/26)
- 📰生成AI推論モデルによって東大入試合格ライン突破(2025/04)
- 🗣Chain-of-Thought(CoT)
🖊テキスト生成AI
テキスト生成AI 🖊文章 x 🤖生成AI, テキストを生成するAIエージェントシステム/アプリ.
App/Service
- 📝ChatGPT: 汎用タスクに対応.
- 🤖Microsoft Copilot: ChatGPTと同じGPT4を利用.
- 🔍Google Gemini: 検索向け.
- 🤖Claude: 長文生成、分析、コード生成に優れる.
🤖Microsoft Copilot
- Windows CopilotがWindowsOSからはアクセスが便利.
- 🤖GPTモデルのカスタマイズ.
- 🤖GitHub Copilot: Microsoft配下.
🔍Google Gemini
🔖GoogleのチャットAI. 旧Bard.
🔍DeepSeek
2024末に登場した中国産AI. ChatGPTと同じだが、圧倒的に価格が安いということで2025/01に話題.
<2025-03-11 Tue 08:28> DeepSeek誕生の物語は出来すぎているので中国プロパガンダの可能性を疑う批判的思考を忘れない.
🗣LLM Fine Turning
- 🗣Prompt Tuning: 重み付けを変えない. プロンプトを工夫するアプローチ.
🗣Full Fine Turning
🗣PEFT
Parameter-Effecitient Fine Turning.
🗣Instruction Tuning
指示チューニングは、事前学習済みの LLM を、様々な命令に対応できる形式に変更するために行うもの. モデルに明示的な指示を与えるデータを使い、タスク指向の調整.
LLMの文脈における📝Fine TuningはInstruction Turningをさすことが多い.
LLM推論パラメータ
- Temperature: softmax活性化の調整
- Repetition Penalty
- Top_k, Top_p
§1.4 推論パラメータ｜Ollamaで体験する国産LLM入門
LLM性能
学習データ量
学習に利用されたデータ. テキストデータはtoken数で表現される.
学習パラメータ数
モデルサイズ. 機械学習モデルが学習によって調整する変数.
- 7B (70億): 8GB程度
- 13B (130億): 16GB程度
- 70B (700億): 64GB程度
§1.5 LLMの選び方: パラメータ数と性能から考える｜Ollamaで体験する国産LLM入門
比較サイト
- Chatbot Arena LLM Leaderboard: https://lmarena.ai/?leaderboard
- コミュニティ投票型ランキングサイト.
- 日本語LLM評価 - 総合
🤖LLM Agnets
🤖LLMを活用する🤖AI Agents.
Functions
- Reasoning
- Planning
Environments
- Database
- Web
- APIs
- Knowledge Base
- Apps
- Physical World
Refs
- Large Language Model Agents, by UC Berkley
- 💭Bot開発からAI Agent開発へ！(24/11/28)
関連技術
📝ロングコンテキストLLM
Long Context LLM, LMと略される.
長文の理解ができるLLM.
Topics
🤖llms.txt
AI時代の robots.txt. by 👨Jeremy Haward.
🇯🇵国産LLM
日本語対応モデル. 公開LLMを日本語情報でファインンチューニングしたもの.
- Shallow: 東工大と産総研の共同プロジェクト
- ELYZA
- LLM-jp: NII
- rinna: Microsoftからのspinout
- Tanuki: 東大松尾研
🔦言語モデルのべき乗則の発見
2020: 言語モデルのべき乗則の発見. データと計算量を投入すレバするほどに知能が獲得できる.
機械学習研究者を落胆させた. 結局アルゴリズムとか工夫とかじゃなく、金かよ.
Insights
🔗References
📚大規模言語モデルは新たな知能か - 岡野原大輔(2023)
<2024-12-03 Tue 17:12> 町田図書館で借りた. 👨クロード・シャノンが第4章に出てきて感動した.
https://hillbig.github.io/large-language-models/
🔦無意識での予測と実際の観測誤差をもとにフィードバックがなされ脳が変わるかも - 岡野原大輔
📝Self-Attention Mechanismの説明からの余談.
余談だが、人も「成功する」「できる」/「できない」と話している、頭のなかで考えている間に、無意識下で頭の中で勝手に発生した予測と実際の観測とのずれをもとにフィードバックがなされ、内部状態が変わるということが起こっているかもしれない.
p117. 🔖ポジティブ思考
<2024-12-03 Tue 18:34> 急に苫米地さんのようなことを言い出す岡野原氏w しかし、これを信じてみよう. できる！できる！できる！
moocs
👉Related
- 📝自然言語処理(NLP)の革命キタ.
- 🤖Transformer: DLとGenAIの架け橋的なブレイクスルー技術.