为什么值得关注
很多团队第一次接入大模型 API 时,会把重点放在能不能调通接口。真正上线后,更多问题来自 Key 泄露、请求超时、模型限流、成本失控和异常不可追踪。Spring Boot 后端应该成为统一的模型访问层,而不是让前端直接接触供应商接口。
落地路径
API Key 放在环境变量或配置中心,按环境区分开发、测试和生产。后端封装统一客户端,设置连接超时、读取超时、最大重试次数和请求 ID;业务层只传入场景、提示词、模型参数和用户标识。对摘要、分类、标签生成等可缓存场景,可以加入结果缓存和模型降级策略。
工程注意点
重试只适合网络抖动和临时限流,不要对所有错误无脑重试。调用日志要记录模型、Token、耗时、状态码、失败原因和业务模块,但不要落敏感原文。成本统计最好按功能和用户维度聚合,便于发现异常调用。