文章归档

ChatGLM Efficient Tuning

基于 PEFT 的高效 ChatGLM 微调

Open Assistant

包含大量AI生成的、人工标注的语料库和包括基于LLaMA和基于Pythia的多种模型可选。发布的数据集包括超过161K较高质量的，多达35种语言的人工助手型交互对话语料库

Scaling Transformer to 1M tokens and beyond with RMT

该论文提出一种名为 RMT 的新技术，或许可将 Transform 的 Token 上限扩展至 100 万，甚至更多。

chinese_llama_alpaca_lora 抽取框架

RedPajama

1.2 万亿tokens数据集

MOSS

MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预...

replit-code-v1-3b

BY-SA 4.0授权发布，这意味着允许商业使用

OpenLLaMA

LLaMA模型的开源复现，在RedPajama数据集上训练，使用了与LLaMA相同的预处理步骤和超参数，模型结构，上下文长度，训练步骤，学习率调度和优化器。OpenLLaMA的PyTorch和Jax权重可以在Huggingface Hub上获得。OpenLLaMA...

Open-Chinese-LLaMA

基于 LLaMA-7B 经过 中文数据集增量预训练 产生的 中文大语言模型基座

HuggingChat

Hugging Face 推出第一个 ChatGPT 开源替代品：HuggingChat。基于 Open Assistant 大模型搭建，支持中文对话与编写代码，但暂不支持中文回复。应用已上线，无需代理，打开即可访问