本地部署大模型：用 Ollama 把 AI 跑在你的电脑上
为什么你要在本地跑 AI？
我问过不少供应链同行："你用 ChatGPT 吗？"大部分人回答："用啊。"再问："敢把公司数据放进去吗？"大部分人沉默了。
这就是目前最大的矛盾——AI 很强，但云端的 AI 意味着你要把数据交给别人。对于供应链这个数据敏感度极高的领域，采购价格、客户信息、库存数据……任何一个泄露都可能造成严重损失。
而且还有一个现实问题：付费。ChatGPT Plus 一个月 20 美元，如果你是重度用户，Team 版要 25 美元/人/月。如果团队 50 个人用，一年光订阅费就上万美金。
本地部署大模型就是这两个问题的最佳解决方案：数据不出电脑、完全免费、而且不限量使用。今天我就手把手教你怎么用 Ollama 这个工具，在你的电脑上跑起 AI。
Ollama 是什么？
Ollama 是一个开源的本地大模型运行工具。简单说，它把"怎么下载、怎么装、怎么跑大模型"这件事，从一个复杂的工程问题简化成了一个命令。
你不需要懂 Python，不需要配置 CUDA，不需要管什么模型架构。装好 Ollama，输入 ollama run qwen2.5，你就可以在终端里跟一个本地大模型对话了。就这么简单。
硬件要求：你的电脑能不能跑？
这是大家最关心的问题。先给结论：只要你的电脑是过去三年买的，基本上都能跑。关键在于你想跑多大参数的模型。
我的建议是分三档：
第一档（适合所有电脑）：3B-7B 参数的小模型。比如 Qwen 2.5-7B、Llama 3.2-3B。这些模型参数量小，但日常的翻译、摘要、文本生成完全够用。我的 2021 款 MacBook Air（8GB 内存），跑 Qwen 2.5-7B 每秒能生成 15-20 个 tokens，聊胜于无但能用。
第二档（推荐配置）：14B-20B 参数的中等模型。比如 Mistral Small、Qwen 2.5-14B。需要 16GB 以上内存，能流畅生成，效果接近 GPT-3.5。这是目前性价比最高的选择。
第三档（高端配置）：70B+ 参数的大模型。比如 Llama 3-70B、DeepSeek-V3。需要 64GB 以上内存或者多张显卡，效果跟 GPT-4 有一拼，但硬件成本也上去了。
我最推荐的入门配置：16GB 以上内存的电脑 + Qwen 2.5-7B 或者 Llama 3.1-8B。跑起来流畅，效果够用，而且完全免费。
手把手安装教程（总耗时：10 分钟）
Mac 用户
打开终端，输入一行命令：brew install ollama。如果没装 Homebrew，去 ollama.com 下载安装包，双击安装就行。然后输入：ollama run qwen2.5。等待几分钟下载完成，你就可以开始对话了。
Windows 用户
同样去 ollama.com 下载 Windows 安装包，安装完成后打开命令行工具，输入：ollama run qwen2.5。就搞定了。Ollama 会帮你管理模型文件的下载和加载。
Linux 用户
运维同事应该更熟悉：curl -fsSL https://ollama.com/install.sh | sh。然后同样 ollama run qwen2.5。
整个安装过程真的就是两分钟的事。我第一次装的时候，做好心理准备要折腾一两个小时，结果装完一脸懵逼："就这？这就装完了？"
安装之后：从对话到真正有用的 4 个场景
本地跑起了 AI，但怎么让它真正帮你干活？我分享几个供应链场景的实际用法。
场景 1：离线版翻译工具
做跨境供应链，每天都要处理英文合同、报关单、海外邮件。我写了一个简单的脚本，在终端里直接输入要翻译的英文段落，本地模型秒出中文翻译。不需要联网，不用担心数据泄露，而且免费无限量使用。
终端输入：ollama run qwen2.5 "Translate the following to Chinese: The Seller shall deliver the Goods within 30 days from the date of receipt of the Purchase Order."
场景 2：合同条款审阅助手
把合同模板中的关键条款提取出来，让模型逐条标注"有利条款"和"风险条款"。我试过把一份 20 页的英文服务合同丢给本地模型，它花了大概 5 分钟给出了完整的条款分析。虽然不是每一条都准确，但作为第一轮筛选已经非常够用了。
场景 3：Excel 公式助手
供应链的 Excel 报表动不动就是几十个字段的嵌套公式。遇到不会写的公式，直接问本地模型："我要根据客户等级和订单金额计算折扣，怎么写公式？"模型秒回公式，复制粘贴就能用。
场景 4：本地知识库问答
这是更高阶但最有价值的玩法。用 Ollama + Open WebUI（一个开源的 Web 界面），你可以搭建一个公司内部的 AI 知识库。把公司的 SOP 文档、操作手册、培训材料全部丢进去，员工可以用对话的方式查询。数据完全保存在本地服务器上，不经过任何第三方。
跟云端模型比，本地模型的差距有多大？
说点实话：本地模型在"创造力"和"复杂推理"方面，跟 GPT-4 和 Claude 还有明显差距。如果你需要写创意文案、做深度分析、或者处理非常复杂的逻辑推理，云端模型仍然是更好的选择。
但如果你需要的是：合同条款提取、文档翻译、邮件草稿、Excel 公式编写、标准化的问答——本地模型 80% 的情况下够用，而且免费的。
我的建议是混合使用：不敏感的场景（如创意写作、复杂分析）用 ChatGPT/Claude 等云端模型。敏感数据（合同、财务数据、客户信息）全部在本地处理。既省钱又安全。
一个让你今晚就能开始的行动建议
我知道这篇文章信息量不小，但请记住最关键的一句话：装 Ollama 只需要 2 分钟。
不管你用的是 Mac、Windows 还是 Linux，今晚就打开电脑，花两分钟把 Ollama 装上，再花五分钟下载一个 Qwen 2.5-7B。不用想太多，不用等"准备好了再说"。装上之后，随便丢给它一个你手头的工作任务试一试，你就知道本地 AI 到底能不能用了。
这个方向的进步速度非常快。去年我还在说"本地模型也就玩玩"，今年我已经把好几个工作流迁到了本地。如果你现在不开始，一年后你会后悔这一年的机会成本。
—— Alen
