大模型API虽然多,便宜但老报错,鱼和熊掌如何得兼?
-
大家在使用各种大模型API的时候,可能也经常遇到如下错误:
[image]
[image]
[image]
Azure虽然稳定且高并发,但没有折扣。经过统计发现,不同渠道价格差异还不小:
[image]
那么如何既要又要还要?延时、成本、稳定
我想到一个办法,通过如下智能路由策略:
[image]
这样,遇到错误的时候就可以自动跳转了,某些API失效也会自动禁用:
[image]
另外,最近由于需要检索2万+文件,切分片段超过100万,计算embedding入向量库。如果开500+并发请求,这种时候小的api根本扛不住,必须增加多个Azure节点,然后利用API智能路由策略,可以实现分流一些到便宜的API:
[image]
阅读原文