Kimi开放平台“上下文缓存”技术开启公测
2024-07-02 14:25:15来源：环球网
7月2日消息，Kimi 开放平台日前宣布其“上下文缓存”技术进入公测阶段。该技术可为开发者大幅降低长文本旗舰大模型的使用成本，最高可达90%，并显著提升模型的响应速度。
据了解，上下文缓存技术作为一种高效的数据管理技术，其核心优势在于能够预先存储并快速提供那些可能被频繁请求的大量数据或信息。当用户再次请求相同信息时，系统无需重新计算或从原始数据源中检索，而是直接从缓存中快速提取，从而显著节省时间和资源。
Kimi 开放平台方面以某硬件产品说明书为例介绍了该技术的应用场景。对于一份长达9万字的说明书，在传统模式下，售前支持人员需要在10分钟内对产品的功能/使用方式进行40次问答，问题大概100个字，回答在120字以内。
然而，在接入上下文缓存技术后，9万字的文档只需创建并存储一次缓存，40次问答将仅收取将只收取问题的100字+回答的120字的费用，预计节省费用达92.27%。
业内人士称，在当前大模型行业日益注重效率和成本控制的背景下，Kimi的这一创新不仅为开发者提供了更经济、更高效的解决方案，也有望进一步推动大模型行业的应用和发展。
标签：
免责声明
