在ollama中拉取魔搭中的模型

学习笔记
, ,
1

前提

  • 本文主要用来解决用户从ollama直接拉取模型(例如使用 ollama pull命令)报错的情况。由于ollama网站是一个国外网站，有的时候访问不太稳定，导致用户可能会卡在模型拉取的步骤。

  • 魔搭是一个国内的网站，在访问稳定性上会好很多，可以用来替代huggingface或者ollama模型源，本文的目的就是使用魔搭中提供的模型加载到ollama中。

操作步骤

  • 首先确认已经在环境中安装并启动ollama(命令行执行ollama ls 不报错)

  • 在魔搭中搜索模型(魔搭社区)，搜索想要查找的模型名称+模型尺寸+gguf关键字，例如想要搜索qwen2.5-7b模型，就去搜索qwen2.5 7b gguf，找到结果url为: https://modelscope.cn/models/Qwen/Qwen2.5-7B-Instruct-GGUF

  • 从url中取models后的部分/Qwen/Qwen2.5-7B-Instruct-GGUF 与魔搭的地址 modelscope.cn进行组合，变成最终拉取使用的模型名称modelscope.cn/Qwen/Qwen2.5-7B-Instruct-GGUF

  • 使用语句ollama pull modelscope.cn/Qwen/Qwen2.5-7B-Instruct-GGUF拉取模型使用即可。

拉取特定标签

ollama可以直接拉取魔搭理的特定标签。这样就不用全部下载了。

打开其中的某个文件

组成ollama pull语法 域名/组织/仓库/:标签

ollama pull modelscope.cn/lmstudio-community/Mistral-Nemo-Instruct-2407-GGUF:Q4_K_M

参考资料

2 个赞