跳过正文
  1. 项目/

Mac LLM Deploy

米柒说
作者
米柒说
全栈开发工程师 · 着迷于 AI · 开源贡献者
目录

背景:为什么做这个项目
#

这个仓库是演讲 《Mac 电脑上如何本地部署一个 LLM 模型》 的完整配套文档:即使不看视频,照着文档一步步操作,也能在自己的 Mac 上完成部署。很多朋友手里有一台 Apple Silicon 的 Mac,想用 AI 编程,却被三个问题挡住——API 订阅贵、模型选型晕、不知道本地模型怎么"真正干活"。这个项目就是把这条路打通,并用一个看得见的结果收尾:让本地模型画出一只骑自行车的小黄鸭 🦆🚲。

意义在哪里
#

  • 🔒 隐私是第一理由:数据从不离开你的电脑——私有代码、商业文档、客户数据、个人对话,不上云、不用于训练、不泄露。涉及商业机密/合规/隐私的场景,本地推理是首选
  • 💰 成本可控:一次部署,模型跑在本地统一内存里,不按 token 计费
  • 🛠 让本地模型真正干活:不止是网页聊天,而是接入 Claude Code 等 Harness,进入真实的编程工作流
  • 🧭 降低心智门槛:从"本地部署到底在部署什么"的心智模型,到硬件评估、模型选型、术语速查,一篇文档讲透

三步上手(Apple Silicon,统一内存 ≥16GB)
#

  1. 安装 oMLXbrew install omlx
  2. 启动并选模型omlx start,在菜单栏选择模型(如 Qwen3.6-35B MLX 3bit)
  3. 接入 Claude Codeomlx launch claude → 让它"画一只骑自行车的小黄鸭"

技术栈:Apple MLX 框架 + oMLX 运行时 + Claude Code。仓库里还有配套幻灯片和「小黄鸭画廊」(每个模型的实际画作对比)。

视频讲解
#

开源地址:MESevenJourney/mac-llm-deploy(中英双语 README)

相关文章