预训练模型下载

2025-03-12 581 words 2 minutes

Contents

下载模型可以从huggingface下载，国内使用modelscope（魔塔）速度会更快，配置更简单，下边介绍如何从这两个网站下载模型。

1.HuggingFace

Hugging Face 是一个旨在推动自然语言处理（NLP）技术和工具发展的开源社区和公司，提供了一系列优秀的预训练NLP模型，本文介绍如何从Hugging Face的镜像网站下载模型。

1.1安装

# 安装必要的包
pip install transformers
pip install -U huggingface_hub
# 高速下载工具 hf-transfer
pip install -U hf-transfer

# 设置国内镜像站点 hf-mirror
# linux
export HF_ENDPOINT='https://hf-mirror.com'
# windows
$env:HF_ENDPOINT = "https://hf-mirror.com"

# 设置是否启用 hf-transfer
export HF_HUB_ENABLE_HF_TRANSFER=1
% 关闭
export HF_HUB_ENABLE_HF_TRANSFER=0

1.2下载

模型下载--resume-download表示在之前基础上下载，后是具体模型，--local-dir后是本地目录

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --local-dir deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

下载数据集，--resume-download表示在之前基础上下载，后是数据集，--local-dir后边是的是本地目录

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

2.ModelScope

2.1安装

# 安装包
pip install modelscope

2.2下载

默认下载地址为~/.cache/modelscope/hu(Linux) 和C:\Users\用户名\.cache\modelscope\hub\(windows)，可修改为设定地址，windows通过环境变量设置MODELSCOPE_CACHE为自定义路径，Linux使用echo 'export MODELSCOPE_CACHE="/your/custom/path/modelscope"' >> ~/.bashrc 设置。

# 下载模型
modelscope download --model tiansz/bert-base-chinese
# 下载数据集
modelscope download --dataset swift/Chinese-Qwen3-235B-2507-Distill-data-110k-SFT

# 可通过--local_dir指定下载路径 --max-workers指定线程