磁力 magnet:?xt=urn:btih:dc73d45db45f540aeb6711bdc0eb3b35d939dcb4&dn=LLaMA-
-
通过git-lfs的方式直接clone下载
Hugging Face
模型汇总
Hugging Face
decapoda-research/llama-13b-hf
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
apt-get install git-lfs
git lfs install
git clone https://huggingface.co/decapoda-research/llama-13b-hf
-
通过ipfs下载
安装ipfs客户端，下载链接。
然后 ipfs 下载地址
也可以直接下载7B模型，index为：QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
-
通过lama-dl脚本下载
curl -o- https://raw.githubusercontent.com/shawwn/llama-dl/56f50b96072f42fb2520b1ad5a1d6ef30351f23c/llama.sh | bash
- 百度网盘下载
百度网盘链接
提取码：1p5n
其他参考博客
Where can I download the weights of the 7B model? #149
LLaMA Int8 4bit ChatBot Guide v2
如何评价 LLaMA 模型泄露？
磁力 magnet:?xt=urn:btih:dc73d45db45f540aeb6711bdc0eb3b35d939dcb4&dn=LLaMA-也可以直接下载7B模型，index为：QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw。安装ipfs客户端，下载。
参数量级130亿，大小比肩最近Meta开放的LLaMA-13B，但从数据集、模型权重到计算优化训练，全部开源。
最关键的是，可商用。
没错，虽然就GPT-3而言，之前DeepMind、Meta等组织陆陆续续开源过几个模型，不过基本都是半遮半掩。
尤其最接近GPT-3的Meta OPT模型，不仅权重只开放给研究者，而且不可商用：
这意味着之前企业就算能抄作业，抄来的也没办法直接用。
现在，一家名叫Cerebras的公司开源了这一系列GPT模型，业界终于有机会追赶了。
模型性能如何？
Cerebras一共开源了7个GPT模型，参数量分别达到1.11亿、2.56亿、5.9亿、13亿、27亿、67亿和130亿。
据Cerebras公司表示，他们开放出来的模型不仅包含数据集，可用于研究也可商用，而且关键是预训练模型权重开放（从下图来看文件大小近50G）。
基于他们公开的预训练模型，大伙儿只需要用少量的数据对对模型进行微调，就能构建出效果不错的模型来。
除此之外，这次GPT模型的训练还额外考虑到了计算优化训练（Compute-Optimal Training）
试试Colab上的预训练模式！
该存储库包含企业使用低秩适应 （LoRA）重现Stanford Alpaca结果的代码。我们提供了一个类似的质量指令模型，可以在 Raspberry Pi 上运行(用于研究) ，并且代码可以很容易地扩展到，和模型。text-davinci-00313b30b65b
除了在单个RTX 4090上运行五个小时的训练代码之外，我们还发布了一个脚本，用于下载和推理基本模型和LoRA，以及生成的LoRA权重本身。为了廉价高效地进行微调，我们使用了 Hugging Face 的PEFT 以及 Tim Dettmers 的bitsandbytes。
在没有超参数进行调整或基于数据验证的检查点的情况下，LoRA 模型可以产生的输出可与 Stanford Alpaca 模型系统相媲美。(参见下面的输出。)进一步调整可能导致更好的性能；我邀请感兴趣的用户试一试并报告他们的结果。
为了讨论和支持，用户在这里创建一个专用的 Discord 服务器。
大模型指令微调水平在不断地提高，这次微软用上了 GPT-4。
我们知道，从谷歌 T5 模型到 OpenAI GPT 系列大模型，大语言模型（LLMs）已经展现出了令人印象深刻的泛化能力，比如上下文学习和思维链推理。同时为了使得 LLMs 遵循自然语言指令和完成真实世界任务，研究人员一直在探索 LLMs 的指令微调方法。实现方式有两种：一是使用人类标注的 prompt 和反馈在广泛任务上微调模型，二是使用通过手动或自动生成指令增强的公共基准和数据集来监督微调。
在这些方法中，Self-Instruct 微调是一种简单有效的方法，它从 SOTA 指令微调的教师 LLMs 生成的指令遵循数据中学习，使得 LLMs 与人类意图对齐。事实证明，指令微调已经成为提升 LLMs 零样本和小样本泛化能力的有效手段。
最近，ChatGPT 和 GPT-4 的成功为使用指令微调来改进开源 LLMs 提供了巨大的机遇。Meta LLaMA 是一系列开源 LLMs，其性能与 GPT-3 等专有 LLMs 相媲美。为了教 LLaMA 遵循指令，Self-Instruct 因其卓越性能和低成本被快速采用。比如斯坦
energy_Liu:
Structured SVM（SSVM）
sinat_38569280:
R-CNN笔记2：rcnn_train.m文件
weixin_43127964:
caffe学习笔记2：Fine-tuning一个类别识别的预处理的网
lalianhaizai:
