Hugging Face或ModelScope上下载模型或数据集

摘要Hugging Face或modelscope上下载模型或数据集的几种方法一、Hugging Face先安装和登录conda activateenvpipinstall-Uhuggingface_hub hf auth login下载数据集mkdir-p/home/data1/datasets/your_dataset hf download 数据集ID\--repo-type dataset\--local-dir /home/data1/datasets/your_dataset举例mkdir-p/home/datasets/ultrachat_200k hf download HuggingFaceH4/ultrachat_200k\--repo-type dataset\--local-dir /home/datasets/ultrachat_200k只下载某些文件hf download 数据集ID\--repo-type dataset\--include*.json\--local-dir /home/data1/datasets/your_dataset二、ModelScope如果要先登录modelscope login 或 modelscope login--token你的魔塔token方法一CLI下载conda activateenvpipinstall-Umodelscopemkdir-p目标文件夹 modelscope download\--dataset要下载的模型或数据集\--local_dir目标文件夹方法二Python SDK 下载如果 CLI 只下到元文件或者大文件没完整下来可以用 SDKconda activateenvpipinstall-Umodelscope[datasets]然后执行python -PY from modelscope.hub.snapshot_download import snapshot_download snapshot_download( repo_id要下载的模型或数据集, repo_typedataset, local_dir目标文件夹 ) PY