ALL WRITINGS

文章归档

关于代码、系统和构建过程中的取舍。

篇公开文章
5,542
页归档
555
737

LLMTune: 在消费级GPU上微调大型65B+LLM

可以在普通消费级GPU上进行4位微调,例如最大的65B LLAMA模型。LLMTune还实现了LoRA算法和GPTQ算法来压缩和量化LLM,并通过数据并行处理大型模型。此外,LLMTune提供了命令行界面和Python库的使用方式

739

Chinese-Guanaco

一个中文低资源的量化训练/部署方案

740

QLoRA--Guanaco

一种高效的微调方法,可以在单个48GB的GPU上微调一个拥有65B参数的模型,同时保持完整的16位微调任务性能,并通过QLoRA将梯度反向传播通过一个冻结的、4位量化的预训练语言模型到低秩适配器(LoRA)