ollama 提供轻量级命令行方案在本地运行大模型:先安装运行时,再拉取 gguf 模型(如 llama3),通过 ollama run 交互对话或 ollama serve 启动 api 服务,并支持 modelfile 自定义配置。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

如果您希望在本地计算机上快速启动并运行大型语言模型,Ollama 提供了一种轻量级、命令行驱动的方式。以下是使用 Ollama 在本地运行人工智能大模型的具体操作流程:
一、安装 Ollama 运行环境
Ollama 需要先在系统中部署基础运行时,它不依赖 Docker 或复杂虚拟环境,而是通过原生二进制方式运行,适用于 macOS、Linux 和 Windows(WSL2)。安装后即可直接调用命令行接口启动模型。
1、访问 https://ollama.com/download,根据您的操作系统下载对应安装包。
2、双击安装程序完成默认安装;macOS 用户若使用 Homebrew,可执行:brew install ollama。
3、安装完成后,在终端输入 ollama --version,确认输出版本号表示安装成功。
二、拉取并加载大模型
Ollama 自带模型仓库,支持一键拉取主流开源大模型,所有模型以轻量化 GGUF 格式存储,无需手动转换权重或配置推理引擎。
1、在终端中执行:ollama pull llama3,下载 Meta 官方发布的 Llama 3 8B 模型。
2、如需其他模型,可替换为:ollama pull phi3(Microsoft Phi-3)、ollama pull qwen2(通义千问 Qwen2)等。
3、执行 ollama list 查看已下载模型,确认状态为 loaded 或已缓存。
三、启动交互式大模型会话
通过内置的 REPL(读取-求值-打印循环)界面,用户可直接与模型进行实时对话,无需编写任何 Python 脚本或 API 调用代码。
1、在终端中输入:ollama run llama3,Ollama 将自动加载模型并进入交互模式。
2、出现 >>> 提示符后,即可键入任意问题,例如:“解释量子纠缠”。
3、按回车提交,模型将流式输出响应;输入 /bye 可退出当前会话。
四、运行模型服务并接入外部工具
Ollama 可启动本地 HTTP API 服务,使其他应用(如前端页面、Python 脚本、curl 请求)能通过 REST 接口调用模型能力。
1、在新终端窗口中执行:ollama serve,服务默认监听 http://127.0.0.1:11434。
2、另开终端,使用 curl 发送请求:curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"你好,请自我介绍"}'。
3、响应体中包含逐 token 流式 JSON 输出,字段 response 即为模型生成文本内容。
五、自定义模型配置与上下文管理
Ollama 支持通过 Modelfile 构建定制化模型,可设定系统提示、温度参数、最大上下文长度等,避免每次运行重复指定。
1、新建文件命名为 Modelfile,写入内容:FROM llama3\nPARAMETER temperature 0.7\nSYSTEM "你是一位严谨的物理学者"。
2、执行:ollama create my-physics-model -f Modelfile,构建专属模型镜像。
3、启动该模型:ollama run my-physics-model,此时所有交互均基于设定的系统角色与参数生效。










