用 Ollama 在笔记本上跑 7B 模型
用 Ollama 在笔记本上跑 7B 模型
轻薄本也能跑起量化后的大模型,关键在显存与内存的取舍。
动手前先把环境理清
轻薄本也能跑起量化后的大模型,关键在显存与内存的取舍。围绕这个主题,先想清楚要达成什么,再决定用什么手段。
真正上手时会遇到几个坑,照着做能少走弯路。
实践中不必追求一步到位,先把最小可用跑通,再逐步打磨。
做完记得验证一下,能跑通才算真正学会。
如果对你有帮助,欢迎在文章下留言,或者去留言板聊聊。
轻薄本也能跑起量化后的大模型,关键在显存与内存的取舍。
轻薄本也能跑起量化后的大模型,关键在显存与内存的取舍。围绕这个主题,先想清楚要达成什么,再决定用什么手段。
实践中不必追求一步到位,先把最小可用跑通,再逐步打磨。
如果对你有帮助,欢迎在文章下留言,或者去留言板聊聊。
评论(0)