为了给 Nowledge mem 搭配一个好用的本地模型,特地测试了目前主流的 qwen 3.6和gemma 4模型。结果如图
设备:Mac mini,Apple M4 Pro(12 核),64GB 统一内存
LM Studio 运行时:llama.cpp 2.24.0;MLX 1.10.0
统一配置:32K 上下文、全 GPU、关闭推理、关闭推测解码、温度 0、单模型独占加载
结论:综合首选:Qwen3.6 35B-A3B MLX 4bit
为了给 Nowledge mem 搭配一个好用的本地模型,特地测试了目前主流的 qwen 3.6和gemma 4模型。结果如图
设备:Mac mini,Apple M4 Pro(12 核),64GB 统一内存
LM Studio 运行时:llama.cpp 2.24.0;MLX 1.10.0
统一配置:32K 上下文、全 GPU、关闭推理、关闭推测解码、温度 0、单模型独占加载
结论:综合首选:Qwen3.6 35B-A3B MLX 4bit