安装 mlx-lm:

pip install mlx-lm

转换模型:
使用 mlx_lm.convert 命令将 Hugging Face 上的模型转换为 MLX 格式。例如,将 mistralai/Mistral-7B-v0.1 模型转换并量化:

python -m mlx_lm.convert --hf-path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B -q

此命令会下载指定的 Hugging Face 模型,将其转换为 MLX 格式,并进行量化处理。

如果模型本地已经下载:

python -m mlx_lm.convert --hf-path /path/to/your/local/model -q

此命令会将指定的本地 Hugging Face 模型转换为 MLX 格式,并默认保存在当前目录下的 mlx_model 文件夹中。

最后修改:2025 年 02 月 28 日
感谢您的支持