背景:为什么做这个项目#
这个仓库是演讲 《Mac 电脑上如何本地部署一个 LLM 模型》 的完整配套文档:即使不看视频,照着文档一步步操作,也能在自己的 Mac 上完成部署。很多朋友手里有一台 Apple Silicon 的 Mac,想用 AI 编程,却被三个问题挡住——API 订阅贵、模型选型晕、不知道本地模型怎么"真正干活"。这个项目就是把这条路打通,并用一个看得见的结果收尾:让本地模型画出一只骑自行车的小黄鸭 🦆🚲。
意义在哪里#
- 🔒 隐私是第一理由:数据从不离开你的电脑——私有代码、商业文档、客户数据、个人对话,不上云、不用于训练、不泄露。涉及商业机密/合规/隐私的场景,本地推理是首选
- 💰 成本可控:一次部署,模型跑在本地统一内存里,不按 token 计费
- 🛠 让本地模型真正干活:不止是网页聊天,而是接入 Claude Code 等 Harness,进入真实的编程工作流
- 🧭 降低心智门槛:从"本地部署到底在部署什么"的心智模型,到硬件评估、模型选型、术语速查,一篇文档讲透
三步上手(Apple Silicon,统一内存 ≥16GB)#
- 安装 oMLX:
brew install omlx - 启动并选模型:
omlx start,在菜单栏选择模型(如 Qwen3.6-35B MLX 3bit) - 接入 Claude Code:
omlx launch claude→ 让它"画一只骑自行车的小黄鸭"
技术栈:Apple MLX 框架 + oMLX 运行时 + Claude Code。仓库里还有配套幻灯片和「小黄鸭画廊」(每个模型的实际画作对比)。
视频讲解#
开源地址:MESevenJourney/mac-llm-deploy(中英双语 README)






