安装 mlx-lm:
pip install mlx-lm转换模型:
使用 mlx_lm.convert 命令将 Hugging Face 上的模型转换为 MLX 格式。例如,将 mistralai/Mistral-7B-v0.1 模型转换并量化:
python -m mlx_lm.convert --hf-path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B -q此命令会下载指定的 Hugging Face 模型,将其转换为 MLX 格式,并进行量化处理。
如果模型本地已经下载:
python -m mlx_lm.convert --hf-path /path/to/your/local/model -q此命令会将指定的本地 Hugging Face 模型转换为 MLX 格式,并默认保存在当前目录下的 mlx_model 文件夹中。