growexs
本站致力于IT相关技术的分享
使用 Go 构建一个集成 DVC 的可复现 LLM 服务网关与 GraphQL API 使用 Go 构建一个集成 DVC 的可复现 LLM 服务网关与 GraphQL API
我们团队最近遇到了一个棘手的问题。随着业务对大型语言模型(LLM)的需求激增,模型微调团队几乎每周都会产出多个新版本的模型。这些模型被随意地存放在一个共享的 NFS 盘上,命名混乱,版本追踪全靠人力和文档。当应用端需要集成时,混乱就爆发了:
2024-06-15