🔥虚無との戦い

🤖大規模言語モデル(LLMs)

8 min read

大規模言語モデル(Large Language Model/LLM)とは, 📝自然言語処理(NLP)の一分野.

大量のテキストデータを用いて学習し, 文章の表現や意味を理解することができる. 📝言語モデル.

🐥Glossary

😛ハルシネーション

幻覚. 人工知能によって生成された、虚偽または誤解を招く情報を事実として提示する応答.

ハルシネーション (人工知能) - Wikipedia

ハルシネーションの問題は、簡単に嘘をつくこと.

🪟Context Window

モデルが一度に処理できるトークン数.

コンテキストウィンドウが大きいほど、モデルはより長い文章やより大量の情報を一度に処理できるようになる。これにより、文脈を深く理解し、整合性の取れた出力を生成できるようになる.

LLMモデル

🖊テキスト生成AI

テキスト生成AI 🖊文章 x 🤖生成AI, テキストを生成するAIエージェントシステム/アプリ.

App/Service

🤖Claude

Anthropicが開発したLLMで、長文の処理や複雑な指示の理解に優れています。詳細な分析や長文のドキュメント処理が必要な場合に適しています。

Claude3.5 Sonnet /Artifacts(2024/06)

Claudeに生成を依頼したコンテンツをリアルタイムで表示・編集できる

Claude MCP(202)

Claude3.7 Sonnet(2025/02/25)

  • Claude3.7 Sonnet
  • Claude3.7 Sonnet Thinking
  • Claude Code, 従来からの20%性能アップ？！

  • 拡張思考モデル

    拡張思考モード(extended thinking mode). これは問題解決にCENだけではなくDMNを活用するという設計思想. 標準よりも時間がかかる. 標準モードからはじめて、次第に拡張思考モデルに切り替えるかを見極める.

    拡張思考モデル - Anthropic

    <2025-03-06 Thu 10:44> DeepSearchでCursorAIでどちらをつかえばいいの?と聞いたら、たいていはClaude3.7 Sonnet. 中/大規模リファクタリングや難解な問題はThinkingとのこと.

    🧠デフォルトモードネットワーク(DMN)

🤖Microsoft Copilot

  • Windows CopilotがWindowsOSからはアクセスが便利.
  • 🤖GPTモデルのカスタマイズ.
  • 🤖GitHub Copilot: Microsoft配下.

🔍Google Gemini

🔖GoogleのチャットAI. 旧Bard.

https://bard.google.com/

🔍DeepSeek

2024末に登場した中国産AI. ChatGPTと同じだが、圧倒的に価格が安いということで2025/01に話題.

https://chat.deepseek.com/

<2025-03-11 Tue 08:28> DeepSeek誕生の物語は出来すぎているので中国プロパガンダの可能性を疑う批判的思考を忘れない.

🗣LLM Fine Turning

  • 🗣Prompt Tuning: 重み付けを変えない. プロンプトを工夫するアプローチ.

🗣Full Fine Turning

🗣PEFT

Parameter-Effecitient Fine Turning.

🗣Instruction Tuning

指示チューニングは、事前学習済みの LLM を、様々な命令に対応できる形式に変更するために行うもの. モデルに明示的な指示を与えるデータを使い、タスク指向の調整.

LLMの文脈における📝Fine TuningはInstruction Turningをさすことが多い.

LLM推論パラメータ

  • Temperature: softmax活性化の調整
  • Repetition Penalty
  • Top_k, Top_p

§1.4　推論パラメータ｜Ollamaで体験する国産LLM入門

LLM性能

学習データ量

学習に利用されたデータ. テキストデータはtoken数で表現される.

学習パラメータ数

モデルサイズ. 機械学習モデルが学習によって調整する変数.

  • 7B (70億): 8GB程度
  • 13B (130億): 16GB程度
  • 70B (700億): 64GB程度

§1.5　LLMの選び方: パラメータ数と性能から考える｜Ollamaで体験する国産LLM入門

比較サイト

🤖LLM Agnets

🤖LLMを活用する🤖AI Agents.

Functions

  • Reasoning
  • Planning

Environments

  • Database
  • Web
  • APIs
  • Knowledge Base
  • Apps
  • Physical World

Refs

関連技術

📡MCP

Model Context Protocol.

A protocol for seamless integration between LLM applications and external data sources.

  • 2024年11月に、Anthropicが発表したクライアント-サーバー間通信のプロトコル.
  • 通信プロトコルを定め、LLMにコンテキストを渡す方法を標準化することが目的.
  • 自然言語で指示できるLLMのための🔌API.

https://github.com/modelcontextprotocol

📝ロングコンテキストLLM

Long Context LLM, LMと略される.

長文の理解ができるLLM.

Topics

🇯🇵国産LLM

日本語対応モデル. 公開LLMを日本語情報でファインンチューニングしたもの.

  • Shallow: 東工大と産総研の共同プロジェクト
  • ELYZA
  • LLM-jp: NII
  • rinna: Microsoftからのspinout
  • Tanuki: 東大松尾研

🔦言語モデルのべき乗則の発見

2020: 言語モデルのべき乗則の発見. データと計算量を投入すレバするほどに知能が獲得できる.

機械学習研究者を落胆させた. 結局アルゴリズムとか工夫とかじゃなく、金かよ.

Insights

🔗References

📚大規模言語モデルは新たな知能か - 岡野原大輔(2023)

<2024-12-03 Tue 17:12> 町田図書館で借りた. 👨クロード・シャノンが第4章に出てきて感動した.

https://hillbig.github.io/large-language-models/

🔦無意識での予測と実際の観測誤差をもとにフィードバックがなされ脳が変わるかも - 岡野原大輔

📝Self-Attention Mechanismの説明からの余談.

余談だが、人も「成功する」「できる」/「できない」と話している、頭のなかで考えている間に、無意識下で頭の中で勝手に発生した予測と実際の観測とのずれをもとにフィードバックがなされ、内部状態が変わるということが起こっているかもしれない.

p117. 🔖ポジティブ思考

<2024-12-03 Tue 18:34> 急に苫米地さんのようなことを言い出す岡野原氏w しかし、これを信じてみよう. できる！できる！できる！

moocs

グラフビュー

バックリンク

Recents