用 Ollama 在笔记本上跑 7B 模型
轻薄本也能跑起量化后的大模型，关键在显存与内存的取舍。
本地部署
标签
AI 大模型本地部署服务
把大模型搬到你自己的机器上，数据不出内网，推理成本可控，还能按业务定制。
大模型本地部署入门：从 Ollama 到 vLLM
不想把数据交给云端？本地跑大模型已经足够平民化。这篇梳理从个人玩具到服务化部署的演进路线。
标签
轻薄本也能跑起量化后的大模型，关键在显存与内存的取舍。
把大模型搬到你自己的机器上，数据不出内网，推理成本可控，还能按业务定制。
不想把数据交给云端？本地跑大模型已经足够平民化。这篇梳理从个人玩具到服务化部署的演进路线。