TOPIC INDEX

NLP / LLM 资源

该主题下的全部技术记录与实践总结。

篇主题文章
1215
页内容
102

xturing

一个Python软件包,用于高效、快速、简单地微调LLM模型,支持LLaMA、GPT-J、GPT-2等多种模型,可使用单GPU和多GPU训练,使用LoRA等高效微调技术可将硬件成本降低高达...

阅读全文

LLMTune: 在消费级GPU上微调大型65B+LLM

可以在普通消费级GPU上进行4位微调,例如最大的65B LLAMA模型。LLMTune还实现了LoRA算法和GPTQ算法来压缩和量化LLM,并通过数据并行处理大型模型。此外,LLMTune...

阅读全文

QLoRA--Guanaco

一种高效的微调方法,可以在单个48GB的GPU上微调一个拥有65B参数的模型,同时保持完整的16位微调任务性能,并通过QLoRA将梯度反向传播通过一个冻结的、4位量化的预训练语言模型到低秩...

阅读全文

WizardLM

赋予大型预训练语言模型遵循复杂指令的能力,使用完整进化指令(约300k)训练的WizardLM-7B模型

阅读全文