在本地安装 llama.cpp？

Question

在本地保存 LLama.cpp 文件。在您想要应用程序的文件夹中打开终端。
```
git 克隆 https://github.com/ggerganov/llama.cpp
```
```
复制代码
```
```
制作
```
下载模型，并将其放入“models”（子）文件夹中。例如： https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin

注：更好的模型 = 更好的结果。
然而，也存在限制。例如，65B模型'alpaca-lora-65B.ggml.q5_1.bin'（5 位）=49GB空间；需要 51GB RAM。
希望将来我们能找到更好的。此外，对于仅使用 CPU 或 GPU（以及来自哪个品牌 - AMD、NVIDIA）的模型，有不同的文件（要求）。

为了充分利用您的硬件 - 检查可用型号。'ggml
-alpaca-7b-q4.bin' 7B 型号无需额外的图形卡即可工作。它很轻便。

从终端更新路径 + 运行（问题）提示

/文件/Llama/llama.cpp$

制作-j && ./main -m。/楷模/ggml-羊驼-7b-q4.bin-p“送给我妻子的最好礼物是什么？“-n 512

结果：

来源：https://github.com/ggerganov/llama.cpp

最好：
1. 检查更好的（Web）GUI（在终端之上）。2
. 添加角色，例如

https://www.youtube.com/watch?v=nVC9D9fRyNU 从 https://discord.com/channels/1018992679893340160/1094185166060138547/threads/1094187855854719007

附言最简单的AI本地安装是下载'一键-安装程序'来自 https://github.com/oobabooga/one-click-installers （并遵循提示信息）。

对于 Ubuntu \ Terminal：

$ chmod + x start_linux.sh
$./start_linux.sh

然而，现在的世界并不完美。我失败的尝试包括：

乌巴布加无法运行我的笔记本电脑硬件（未找到 GPU）。错误 - 已报告。而且看起来我选择的型号如果没有 NVIDIA 显卡就无法工作
达赖lama 因文件夹权限限制和一些项目版本兼容性问题而失败。所以我跳过了它，即使它看起来很有希望。 https://github.com/cocktailpeanut/dalai

Answer 1

在本地保存 LLama.cpp 文件。在您想要应用程序的文件夹中打开终端。
```
git 克隆 https://github.com/ggerganov/llama.cpp
```
```
复制代码
```
```
制作
```
下载模型，并将其放入“models”（子）文件夹中。例如： https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin