用 Ollama 在笔记本上跑 7B 模型
轻薄本也能跑起量化后的大模型，关键在显存与内存的取舍。
AI
标签
AI 大模型本地部署服务
把大模型搬到你自己的机器上，数据不出内网，推理成本可控，还能按业务定制。
智能客服接入
把知识库接进对话模型，常见咨询交给机器人先挡一挡。
本地向量库搭建：Chroma 入门
把文档切成片段、嵌入成向量，检索就能从关键词升级到语义。
知识库搭建
文档结构化、可检索，让团队经验沉淀下来不再随人走。
大模型本地部署入门：从 Ollama 到 vLLM
不想把数据交给云端？本地跑大模型已经足够平民化。这篇梳理从个人玩具到服务化部署的演进路线。
AI 大模型本地部署服务
帮你在自己的机器上跑起开源大模型，数据不出门，推理更可控。