使用流程：

一、下载llama.cpp windows版本的exe程序

https://github.com/ggml-org/llama.cpp/releases


二、下载GGUF格式的模型文件，跟llama放在同一个目录
https://huggingface.co/models?sort=trending&search=Qwen3.5

三、打开CMD，或者在LLama目录 直接运行CMD

#命令行交互方式
llama-cli -m Qwen3.5-0.8B-BF16.gguf

#webui界面交互方式
llama-server -m Qwen3.5-0.8B-BF16.gguf --port 8080


llama-server -m Qwen3.5-35B-A3B-UD-IQ3_S.gguf -c 8192 -ngl 999 --port 8080