零基础上手指南：如何用Ollama在本地跑大模型-元界资源网

AI大模型浪潮席卷全球，但每次把敏感数据传到云端，你是不是都有点心里没底？

今天给你推荐一个神器——Ollama，它能让你在本地电脑跑大模型，数据完全不离开你的机器。

为什么本地运行大模型？

很多人可能觉得，直接用ChatGPT不就好了？

说实话，云端确实方便，但有三个场景你一定遇到过：

隐私顾虑——工作文档、代码、聊天记录，不想让第三方看到
网络依赖——没网就用不了，关键时刻卡壳
成本压力——API调用按token计费，大规模使用肉疼

本地运行大模型，就是来解决这些问题的。

Ollama是什么？

Ollama是2023年横空出世的开源工具，它的核心功能就是——让本地跑大模型变得超级简单。

之前你要是想本地部署LLM，得折腾Docker、配环境变量、编译源码，没点技术底子根本搞不定。

Ollama直接把门槛拉到了地板：

✅ 一键安装
✅ 一行命令跑模型
✅ 支持Windows、macOS、Linux全平台
✅ 模型库丰富，Llama、Qwen、Mistral随便选

GitHub星标已经突破15万+，可以说是目前最火的本地大模型运行工具。

安装有多简单？

macOS/Linux用户：

打开终端，一行命令搞定：

curl -fsSL https://ollama.com/install.sh | sh

Windows用户：

直接去官网下载安装包：👉 ollama.com/download

安装完在终端验证一下：

ollama --version

看到版本号就说明装好了。

怎么跑第一个模型？

装好之后，用一条命令就能启动大模型：

跑Llama 3（推荐新手入门）：

ollama run llama3

跑中文优化版Qwen：

ollama run qwen2.5

首次运行会自动下载模型文件，大概需要几GB空间和一点耐心。下载完成后，你就可以直接和模型对话了：

>>> 你好，请介绍一下你自己

就像用ChatGPT一样，只不过数据都在本地。

常用命令一览

Ollama的命令非常简洁，常用的就这几个：

命令	作用
`ollama run 模型名`	运行模型，开始对话
`ollama list`	查看已下载的模型
`ollama pull 模型名`	手动下载模型
`ollama rm 模型名`	删除模型
`ollama create 自定义名 -f Modelfile`	自定义模型配置

比如想查看你电脑上有哪些模型：

ollama list

想删掉一个占空间的模型：

ollama rm llama3

怎么选模型？

Ollama支持很多开源模型，新手推荐从这几个开始：

Llama 3——Meta开源，综合能力强，英文尤其出色
Qwen 2.5——阿里开源，中文能力突出
Mistral——欧洲团队开源，小巧高效
Phi-3——微软开源，体积小但智商不低

模型大小从几GB到几十GB不等，如果你的电脑配置一般（8GB以下内存），建议从Qwen 2.5的小版本开始，Phi-3也是不错的选择。

能用API调用吗？

完全可以。

Ollama提供了和OpenAI兼容的API接口，如果你有编程基础，可以这样调用：

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
    model="llama3",
    messages=[{"role": "user", "content": "你好"}]
)
print(response.choices[0].message.content)

也就是说，你之前用OpenAI写的代码，只需要改个地址就能跑本地模型。