Gguf

相关指令 # 下载魔搭工具 pip install modelscope # 下载大模型到当前文件夹 modelscope download --model unsloth/Qwen3.8-27B-GGUF Qwen3.8-27B-UD-Q2_K_XL.gguf --local_dir ./ # 下载 aria 下载工具 winget install aria2.aria2 # 检测安装是否成功 aria2c --version # 下载大模型指令 aria2c -x 16 -s 16 -c -o "模型名称" "你的下载链接" # 下载 hugging face 工具 pip install -U "huggingface_hub" # 配置镜像 $env:HF_ENDPOINT="https://hf-mirror.com" # huggingfac 下载大模型指令 hf download hf://unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF/Qwen3-Coder-30B-A3B-Instruct-UD-TQ1_0.gguf --local-dir ./ # bionic 适配大模型 lms import ./Qwen3.8-27B-UD-IQ1_S.gguf --copy # ollama 适配大模型 ollama create qwen -f .\Modelfile # ollama Modelfile 文件内容 FROM ".\Qwen3.8-27B-UD-IQ1_S.gguf" 视频链接 视频演示请参阅，请前往youtube链接。 ...

相关指令 #查看显卡信息 nvidia-smi #查看 llama 安装是否成功 llama-cli --version #魔搭下载大模型 modelscope download --model Abiray/Qwen3.8-27B-Q4_K_M-GGUF Qwen3.8-27B-Q4_K_M.gguf --local_dir ./ #llama加载大模型指令 llama-server -m ./Qwen3.8-27B-Q4_K_M.gguf -c 16384 --port 8080 -ngl 999 --host 0.0.0.0 #接入deepseek harness 配置方式 provide id：llamacpp（随意输入） api地址：http://127.0.0.1:8080/v1 密钥：123321（随意输入） 视频链接 视频演示请参阅，请前往youtube链接。 付费咨询，远程一对一指导，请联系：gao_mygoh 。