Overview
🐥Glossary
Shot/Zero-shot/Few-shot
Shotは例示, 推論過程, デモンストレーション. アウトプットの具体例. こんなものがほしいみたいな.
Zero-shotは例示なし. Few-shotは少数の例示あり.
Input Semantics Pattern
LLMへの入力とそれを変換して出力を生成するパターン
Output Customization Pattern
🗣Persona Pattern
あなたは xx です, 専門家として…
🗣Template Pattern
出力フォーマット指定.
cf. 🎨Template Method: 継承によるIFの規定.
Prompt Improvement Pattern
出力の質を改善.
Interaction Pattern
UserとLLMのやりとりパターン.
Flipped Interaction Pattern
LLMに逆質問してもらう.
Context Control Pattern
LLMが扱うコンテキスト情報に関するカテゴリー.
プロンプトテクニックパターン
🗣Chain-of-Thought(CoT)
思考の連鎖.
複雑なタスクを最終的な解決に向けた論理的なステップの連続に区切ることで、人間のような推論プロセスをシミュレートするもの.
ref. https://arxiv.org/abs/2201.11903
🗣Zero-shot CoT
いわゆる, 🤖段階的に考えて(Step by Step)という, この文を加えるだけで推論能力が上がるという魔法の言葉として紹介されるやつの理論がこれ.
中間的な推論ステップを介することで複雑な推論が可能になる.
🗣Self-Consistency
QAの正答例をいくつも与えることで事前に学習させてから問題を解かせるテクニック.
📐Generate Knowledge Prompting
指示の前に知識を生成させてから問題を解かせるテクニック.
- Aについて説明してください.
- Bについて説明してください.
- AとBをつかって…
Least-to-Most Prompting
decomposite and recomposite.
プロンプトベストプラクティス
ref. 🔍Best practice for prompt engineering with OpenAI API
📐プロンプトはシンプルからはじめて改善する
プロンプトは推論を繰り返すことで複雑なものを推論できる.
Start with zero-shot, then few-shot (example), neither of them worked, then fine-tune.
📐Zero-shot Prompting(例示なしのプロンプト)からはじめて, 📐Few-shot Prompting(いくつか例を与えるプロンプト)をやって, それでもうまく行かなければ改善していく.
📐指示とコンテキストを区切る
指示はプロンプトの最初に置き, 文脈と区切りをいれると精度が上がる.
「"""」が推奨されている. """で区切ることは中はMarkdownの書式でかける.
Summarize the text below as a bullet point list of the most important points.
Text: """ {text input here} """
🔍Best practice for prompt engineering with OpenAI API
📐「しないこと」より「すること」
xxしてはいけないという制約条件ではなく, 具体的な指示を与える.
やってほしくないこと伝えるだけでなく, 代わりに何をすべきかを伝える.
プロンプト事例
🔗References
- 【ChatGPT】プロンプトパターンまとめ - Qiita
- プロンプトエンジニアリング応用編
- 500+ Best ChatGPT Prompts
- Prompt Engineering 勉強会 / 2023.03.21 GPT-4 Prompt 報告会 - Speaker Deck
🔍Best practice for prompt engineering with OpenAI API
OpenAI APIのプロンプトエンジニアリング公式ベストプラクティス.
- Best practices for prompt engineering with OpenAI API | OpenAI Help Center
- ChatGPTプロンプトエンジニアリングのコツ8箇条～OpenAI公式のベストプラクティスから学ぶ～ - Qiita
🔍Prompt Engineering Guide - DAIR.AI
- https://github.com/dair-ai/Prompt-Engineering-Guide
- elvis(@omarsar0)という人
- 日本語: Prompt Engineering Guide
このDAIR.AIも📝fast.aiのような理念を持っているのがよい.
Democratizing Artificial Intelligence Research, Education, and Technologies.
https://github.com/dair-ai/ML-YouTube-Courses
🎓Prompt Engineering for ChatGPT - Jules White, Coursera
プロンプトエンジニアリングパターンの論文解説.
- https://arxiv.org/abs/2302.11382
- Prompt Engineering for ChatGPT Course (Vanderbilt) | Coursera
- プロンプトパターンを学ぶ – 西野竜太郎ウェブサイト
個人的にはアーキテクチャパターンPOSAのDouglas C. Schmidtさんが論文の末尾に名前を連ねているのが熱い. プロンプトエンジニアリングがGoFデザインパターンと結びついた. 📝アーキテクチャパターン(POSA)
🎓Accelerate Your Learning with ChatGPT - Dr. Jules White/Barbara Oakley, coursera, 勉強に応用.
👉Related
なんか📝デザインパターンみたい -> 📝アーキテクチャパターン(POSA)の人が頑張ってパターンにまとめてた. 🎓Prompt Engineering for ChatGPT - Jules White, Coursera