llama 3.2 最近在 meta 开发者大会上推出，展示了令人印象深刻的多模式功能以及针对使用高通和联发科技硬件的移动设备进行优化的版本。这一突破使开发人员能够在移动设备上运行 llama 3.2 等强大的 ai 模型，为更高效、私密和响应迅速的 ai 应用程序铺平道路。
meta 发布了 llama 3.2 的四个变体：
- 多模态模型具有 110 亿 (11b) 和 900 亿 (90b) 参数。
- 纯文本模型具有 10 亿 (1b) 和 30 亿 (3b) 参数。
较大的模型，尤其是 11b 和 90b 变体，在图像理解和图表推理等任务中表现出色，通常优于 claude 3 haiku 等其他模型，甚至在某些情况下与 gpt-4o-mini 竞争。另一方面，轻量级 1b 和 3b 模型专为文本生成和多语言功能而设计，使其成为注重隐私和效率的设备上应用程序的理想选择。
在本指南中，我们将向您展示如何使用 termux 和 ollama 在 android 设备上运行 llama 3.2。 termux 在 android 上提供 linux 环境，ollama 帮助在本地管理和运行大型模型。
为什么在本地运行 llama 3.2？
在本地运行人工智能模型有两大好处：
- 即时处理，因为一切都在设备上处理。
- 增强隐私，因为无需将数据发送到云端进行处理。
尽管目前支持移动设备流畅运行llama 3.2这样的模型的产品还不多，但我们仍然可以在android上使用linux环境来探索它。
在 android 上运行 llama 3.2 的步骤
1.在android上安装termux
termux 是一个终端模拟器，允许 android 设备无需 root 访问即可运行 linux 环境。它是免费的，可以从 termux github 页面下载。
对于本指南，请下载 termux-app_v0.119.0-beta.1+apt-android-7-github-debug_arm64-v8a.apk 并将其安装在您的 android 设备上。
2. 设置 termux
启动 termux 后，请按照以下步骤设置环境：
- 授予存储访问权限：
termux-setup-storage
此命令可让 termux 访问 android 设备的存储空间，从而更轻松地进行文件管理。
- 更新包：
pkg upgrade
当提示更新 termux 和所有已安装的软件包时，输入 y。
- 安装基本工具：
pkg install git cmake golang
这些软件包包括用于版本控制的 git、用于构建软件的 cmake 以及编写 ollama 的编程语言 go。
3.安装并编译ollama
ollama 是一个在本地运行大型模型的平台。安装和设置方法如下：
- 克隆 ollama 的 github 存储库：
git clone --depth 1 https://github.com/ollama/ollama.git
- 导航到 ollama 目录：
cd ollama
- 生成go代码：
go generate ./...
- 构建奥拉玛：
go build .
- 启动 ollama 服务器：
./ollama serve &
现在 ollama 服务器将在后台运行，允许您与模型交互。
4. 运行 llama 3.2 模型
要在 android 设备上运行 llama 3.2 模型，请按照以下步骤操作：
-
选择型号：
- 像llama3.2:3b（30亿个参数）这样的模型可供测试。为了提高效率，这些模型被量化。您可以在 ollama 的网站上找到可用型号的列表。
下载并运行 llama 3.2 模型：
./ollama run llama3.2:3b --verbose
--verbose 标志是可选的，并提供详细的日志。下载完成后，您可以开始与模型交互。
5. 绩效管理
在 samsung s21 ultra 等设备上测试 llama 3.2 时，1b 型号的性能平稳，3b 型号的性能易于管理，尽管您可能会注意到旧硬件上的延迟。如果性能太慢，切换到较小的 1b 模型可以显着提高响应能力。
可选的清理
使用 ollama 后，您可能需要清理系统：
- 删除不需要的文件：
chmod -r 700 ~/go rm -r ~/go
- 将 ollama 二进制文件移至全局路径：
cp ollama/ollama /data/data/com.termux/files/usr/bin/
现在，您可以直接从终端运行 ollama。
结论
llama 3.2 代表了人工智能技术的重大飞跃，为移动设备带来了强大的多模式模型。通过使用 termux 和 ollama 在本地运行这些模型，开发人员可以探索不依赖云基础设施的隐私优先、设备上 ai 应用程序的潜力。有了 llama 3.2 这样的模型，移动 ai 的未来看起来很光明，可以为各个行业提供更快、更安全的 ai 解决方案。
