提示模板PromptTemplate)的格式

一、提醒模板在LLM技术栈中的地位

提醒模板（Prompt Template）用于监视微调（SFT，Supervised Finetuning）阶段。

SFT很紧张

SFT是年夜语言模子（LLM，Large Language Model）训练中的第二个阶段，也称为指令微调（Instruction Finetuning）。

图1 LLM的训练四步曲

如图1所示，具备通用才能的LLM助手，通常必要阅历四个阶段的训练：

预训练（Pretraining）：耗时长，数据量年夜、数据质量低；

监视微调（SFT，Supervised Finetuning）：数据量小，数据质量高；10~100K;

奖励模子训练（RM，Reward Modeling）：数据量小，数据质量高；100K~1M;

强化进修（RL，Reinforcement Learning）：数据量小，数据质量高；10K~100K;

在垂直范畴，基于预训练过的开源模子（如LLaMA、ChatGLM、Mistral等），完成增量预训练和SFT即可利用于营业场景。每每无需进行RM和RL。有时刻，乃至直接基于基座模子完成SFT即可满意营业要求。但不管若何，SFT是必弗成少的。

以是，SFT很紧张，本文先容SFT中，数据的输入格局，也便是Prompt Format。

二、LLaMA的Prompt Template

2.1 单轮对话模板

图2 LLaMA单轮对话Prompt模板

LLaMA单轮对话Prompt模板如图2所示。、[INST]、<等为特殊的token。用以标记一轮对话的开端、用户新闻的、体系提醒等。

system_prompt只加在第一轮对话的最开首处。各种营业场景有分歧的system_prompt。我们可以使用随意率性的system_prompt，但症结是要坚持与训练时用到system_prompt同等。

2.2 多轮对话模板

图3 LLaMA多轮对话Prompt模板

多轮对话的prompt模板如图3所示。system_prompt由于过长，被省略了。可以看到这对特殊token之间的内容为一轮对话。[INST][/INST]之间为用户新闻（user_message）。

2.3 user_message

user_message为用户新闻，表现用户的输入数据。以Stanford alpaca指令微调数据为例，user_message由”instruction”+ “input”拼接而来。如下图所示。

图4 Stanford Alpaca SFT微调数据

instruction表现要求模子做的事，也便是详细的义务。input表现当前义务的输入信息。input可认为空。

三、ChatGLM2的Prompt模板

ChatGLM2中build_prompt代码如下图所示

图5 ChatGLM2 构建prompt代码

可以知道，把SFT数据输入后，会形成如下的prompt数据：

图6 ChatGLM2 Prompt的输出格局

此中为特殊token---eos_token，表现序列停止。

四、总结

prompt模板用于SFT阶段。

prompt模板中通常会参加system_prompt信息；这个system_prompt因营业场景的分歧而分歧。

prompt模板中带有多种特殊token。

prompt模板因模子而异。

prompt模子要想生效，症结是要和训练时的模子坚持同等。

Reference

1.ChatGLM2-6B多轮对话训练方式: https://zhuanlan.zhihu.com/p/651293366

2.The state of GPT by Andrew Karpathy：

https://medium.com/@chassweeting/the-state-of-gpt-by-andrew-kaparthy-fad2f007c1b9

3.指令微调数据集： https://blog.csdn.net/dzysunshine/article/details/130870398

4.Llama 2 is here - get it on Hugging Face： https://huggingface.co/blog/llama2

5.Get Llama2 Prompt Format Right:

https://www.reddit.com/r/LocalLLaMA/comments/155po2p/get_llama_2_prompt_format_right/

6.NLP实践 -- Llama2多轮对话Prompt构建：

https://blog.csdn.net/weixin_44826203/article/details/131974846