当企业开始关注推理成本和响应速度时,单纯追求最大模型不再划算。更多团队开始把小模型、专用模型和路由架构组合起来,按任务选择合适的能力。
这种方式的好处,是能把高价值请求送到更强的模型,把常规请求留给更轻的组件。模型栈越复杂,越需要路由层来控制成本和体验。
更轻的模型配合路由,正在成为成本与性能之间的平衡方案。
当企业开始关注推理成本和响应速度时,单纯追求最大模型不再划算。更多团队开始把小模型、专用模型和路由架构组合起来,按任务选择合适的能力。
这种方式的好处,是能把高价值请求送到更强的模型,把常规请求留给更轻的组件。模型栈越复杂,越需要路由层来控制成本和体验。