Tair KVCache

最新阿里云云产品活动优惠券领取，Tair KVCache是为大模型推理加速的分布式缓存，能突破显存瓶颈、支持更长上下文，首Token时间缩短90%，助您大幅提升服务吞吐与资源效率。

Tair KVCache为大语言模型推理提供KVCache缓存服务，实现GPU服务器HBM、DRAM等多级存储的池化管理。以存代算，提升大语言模型推理服务的推理速度和吞吐性能，提升GPU服务器的资源利用率，加速提效的同时降低资源成本。

实现智能路由和缓存资源的最优管理，统一管理多级存储资源（GPU显存、CPU内存、SSD、远端存储）。通过将KVCache卸载至分布式池化存储、单卡显存仅需保留热数据，以支持更大BatchSize（实验显示批处理规模提升5-10倍）、更长的长上下文处理（如百万Token级输入）。在提升吞吐性能和资源利用率的同时，降低大模型推理成本。