速率限制

​

你需要关注什么

• 单位时间请求数限制
• 并发请求限制
• 不同模型或能力是否有独立配额
• 是否区分免费层、测试环境和生产环境

​

工程建议

• 在服务端统一做重试、退避和熔断
• 对高频调用场景增加缓存或队列削峰
• 将业务峰值与模型调用峰值分离，避免前端直接放大流量

​

推荐排查顺序

1. 先确认是否命中平台级限流
2. 再确认是否命中具体模型或能力的速率上限
3. 最后检查客户端是否存在异常重试或重复提交