1、相关指令

显卡信息

nvidia-smi

llama 版本确认

llama-cli --version

hugging face 大模型下载

$env:HF_ENDPOINT="https://hf-mirror.com"
hf download hf://unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf  --local-dir ./

大模型加载

llama-server -m ".\Qwen3.8-27B-UD-Q4_K_XL.gguf" -ngl 999

大模型体检

http://127.0.0.1:8080/health

接入deepseek harness配置

qwen

qwen-local

http://127.0.0.1:8080/v1

密钥随意输入

2、视频链接

请参照视频操作，视频链接。

付费咨询，远程一对一指导，请联系：gao_mygoh 。