llama cpp 运行阿里云通义千问模型safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge
llama cpp 运行阿里云通义千问模型 ,使用指令转换时,出现HeaderTooLarge 的错误
python3 convert-hf-to-gguf.py Qwen-1_8B-Chat/
使用的是 Qwen-1_8B-Chat/
git clone https://www.modelscope.cn/qwen/Qwen-1_8B-Chat.git
解决方案:
apt-get install git-lfs
cd Qwen-1_8B-Chat && git lfs pull
上述不可少 否则报错
safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge
然后再执行
python3 convert-hf-to-gguf.py Qwen-1_8B-Chat/