ALL WRITINGS
文章归档
关于代码、系统和构建过程中的取舍。
- 篇公开文章
- 5,542
- 页归档
- 555
训练大型机器学习模型的实用建议和技巧
帮助您训练大型模型(>1B 参数)、避免不稳定性、保存开始失败的实验而不从 0 重新开始
基于ChatGLM-6B+LoRA在指令数据集上进行微调
基于deepspeed支持多卡微调,速度相比单卡提升8-9倍具体设置可见 微调3 基于DeepSpeed进行Lora微调
LLMTune: 在消费级GPU上微调大型65B+LLM
可以在普通消费级GPU上进行4位微调,例如最大的65B LLAMA模型。LLMTune还实现了LoRA算法和GPTQ算法来压缩和量化LLM,并通过数据并行处理大型模型。此外,LLMTune提供了命令行界面和Python库的使用方式
Chinese-Guanaco
一个中文低资源的量化训练/部署方案
QLoRA--Guanaco
一种高效的微调方法,可以在单个48GB的GPU上微调一个拥有65B参数的模型,同时保持完整的16位微调任务性能,并通过QLoRA将梯度反向传播通过一个冻结的、4位量化的预训练语言模型到低秩适配器(LoRA)