终于有人核实 openrouter 的这个问题了
之前我在查看模型提供商时,就发现有些提供商提供的是量化版本
那么这就导致你可能在处理一个问题时,可能会同时用到不同的量化降智版本,因为 openrouter 的自动 Fallback 功能
不过在7月分添加了新的 quantizations 参数,可以解决这个问题,比如 Kimi K3,别看提供商有 19 个,但提供 bf16 bit 的只有 1 家,水分很大的
各位生产环境有用 openrouter 的,注意下
https://mmoustafa.com/blog/so-you-want-to-use-openrouter/