StableVicuna，这是第一个通过人类反馈强化学习（RHLF）训练的大规模开源聊天机器人。StableVicuna是Vicuna v0 13b的进一步指令微调和RLHF训练版本，它是一个指令微调的LLaMA 13b模型。

同样，这里有一些基准，显示了与其他类似规模的开源聊天机器人相比，StableVicuna的整体性能。

为了实现StableVicuna的强大性能，我们利用Vicuna作为基础模型，并遵循Steinnon等人和Ouyang等人概述的典型的三阶段RLHF管道。使用三个数据集，通过监督微调（SFT）进一步训练基础Vicuna模型：