本地LLM相關~[02]在LINUX如何下載VLLM能用的大模型到本地特定路徑中(基本環境套件安裝)

資料來源: https://chatgpt.com/share/6a504030-020c-83e8-bf21-af45e667f9a7

https://share.gemini.google/JewM6s4aQODj

00.準備環境 [Ubuntu + vLLM + Hermes Agent + Dify 的 AI 伺服器]

sudo apt update
sudo apt upgrade -y

#安裝完整 Python3 環境
sudo apt install -y \
python3 \
python3-dev \
python3-pip \
python3-venv \
python3-setuptools \
python3-wheel \
python3-full

#安裝常用開發工具
sudo apt install -y \
build-essential \
cmake \
git \
curl \
wget \
unzip \
zip \
pkg-config

#SSL 與憑證
sudo apt install -y \
ca-certificates \
openssl

#壓縮工具
sudo apt install -y \
pigz \
xz-utils \
p7zip-full

#系統監控
sudo apt install -y \
htop \
iotop \
nvtop \
tree \
jq

#更新 pip
python3 -m pip install --upgrade pip

01.安裝工具

pip install -U "huggingface_hub[cli]" #pip install huggingface_hub
hf --version

02.建立模型存放目錄

sudo mkdir -p /data/models
sudo chown $USER:$USER /data/models #$USER:$USER [擁有者和群組 ; groups可以查詢帳號本身所在群組]

03.下載大模型以[例如下載 Qwen3.6-35B-A3B]

hf download Qwen/Qwen3.6-35B-A3B \
    --local-dir /data/models/Qwen3.6-35B-A3B

04.下載完成後的目錄結構

/data/models/
└── Qwen3.6-35B-A3B/
    ├── config.json
    ├── tokenizer.json
    ├── tokenizer_config.json
    ├── generation_config.json
    ├── model-00001-of-00009.safetensors
    ├── model-00002-of-00009.safetensors
    ├── ...
    └── model.safetensors.index.json

PS.Safetensors 是由 Hugging Face 推出的機器學習模型權重儲存格式。它旨在取代容易遭受惡意程式碼攻擊的舊有 pickle 格式，提供極高的安全性、極快的讀取速度（零拷貝）與跨框架（PyTorch, TensorFlow, Flax）的優異移植性。