Title: Panda LLM: Training Data and Evaluation for Open-Sourced Chinese Instruction-Following Large Language Models
PDF: https://arxiv.org/pdf/2305.03025v1.pdf
Code: https://github.com/dandelionsllm/pandallm
以LLaMA为基础模型，采用了两阶段训练方法开发了中文大语言模型Panda LLM。同时探索了各种训练数据因素（如数量、质量和语言分布），以及指令数据集多样性对大语言模型性能的影响。 作者通过大量的定量分析和补充评估，为如何构建一个高性能大模型的持续发展提供了有价值的见解。已公开模型权重，代码和数据集
pandallm
Previous: PandaLM
Next: llama_generative_agent