手把手教你用 llama.cpp 本地部署 AI 大模型:从 GitHub 安装、魔搭下载 GGUF 到手机端访问,一篇讲清全流程

相关指令 #查看显卡信息 nvidia-smi #查看 llama 安装是否成功 llama-cli --version #魔搭下载大模型 modelscope download --model Abiray/Qwen3.8-27B-Q4_K_M-GGUF Qwen3.8-27B-Q4_K_M.gguf --local_dir ./ #llama加载大模型指令 llama-server -m ./Qwen3.8-27B-Q4_K_M.gguf -c 16384 --port 8080 -ngl 999 --host 0.0.0.0 #接入deepseek harness 配置方式 provide id:llamacpp(随意输入) api地址:http://127.0.0.1:8080/v1 密钥:123321(随意输入) 视频链接 视频演示请参阅,请前往youtube链接。 付费咨询,远程一对一指导,请联系:gao_mygoh 。

2026年8月29日 · 高勉

deepseek harness 接入 ox alpha 方法

1、相关指令 ox alpha网站 https://oxalpha.com/ deepseek harness 接入api地址 https://opencode.ai/zen/v1 2、视频链接 视频指导,请前往视频链接。 付费咨询,远程一对一指导,请联系:gao_mygoh 。

2026年8月24日 · 高勉

Ollama 完整使用指南:手把手教你本地部署 AI 大模型,接入 DeepSeek Harness

ollama 指令 查看本地模型 ollama list 下载大模型 ollama pull qwen3.8:27b ollama pull hf.co/unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL 删除大模型 ollama rm qwen3.8:27b 查看大模型状态 ollama ps 视频链接 视频请参阅,视频链接 付费咨询,远程一对一指导,请联系:gao_mygoh 。

2026年8月20日 · 高勉

不用买Token!本地部署千问3.8,免费接入DeepSeek Harness|AI大模型本地运行教程

1、相关指令 显卡信息 nvidia-smi llama 版本确认 llama-cli --version hugging face 大模型下载 $env:HF_ENDPOINT="https://hf-mirror.com" hf download hf://unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q4_K_XL.gguf --local-dir ./ 大模型加载 llama-server -m ".\Qwen3.8-27B-UD-Q4_K_XL.gguf" -ngl 999 大模型体检 http://127.0.0.1:8080/health 接入deepseek harness配置 qwen qwen-local http://127.0.0.1:8080/v1 密钥随意输入 2、视频链接 请参照视频操作,视频链接。 付费咨询,远程一对一指导,请联系:gao_mygoh 。

2026年8月18日 · 高勉

DeepSeek Harness,为什么成了我的“白月光”?用了两天,我发现它真的不一样

1、安装、启动deepseek npx @deepseek-ai/dsh web 2、安装、卸载插件 安装(add 后面是插件名称) npx -y @deepseek-ai/dsh plugin --profile web add dsh-web-plugin-manager 卸载(remove 后面是插件名称) npx -y @deepseek-ai/dsh plugin --profile web remove dsh-web-plugin-manager 视频讲解 视频链接 付费咨询,远程一对一教学,请联系:gao_mygoh 。

2026年8月16日 · 高勉