💬 小乌点评

💡 小乌的点评：大模型服务的瓶颈不只在GPU，存储层的多租户和缓存效率同样决定体验与成本。

📰 原文详情

OpenAI发布技术博客第二部分，介绍其如何将在线存储扩展到服务超过10亿ChatGPT用户。核心是Habitat存储系统，通过可靠的多租户架构、全局缓存和Azure Cosmos DB，为ChatGPT提供可扩展的在线存储，并将读取速度提升至原来的12倍。OpenAI称，这一架构在用户规模急剧增长时仍能保持稳定和低延迟。

多租户是规模化的关键。ChatGPT的不同用户、工作区和请求需要共享基础设施，同时保证数据隔离和故障隔离。Habitat通过租户级资源配额、请求路由和故障域设计，避免单个热点租户拖垮全局。全局缓存则把频繁访问的元数据和会话数据放在离计算更近的位置，减少对后端数据库和对象存储的重复读取。

Azure Cosmos DB在架构中承担元数据或状态存储角色，利用其全球分布和弹性吞吐能力应对峰值。OpenAI还提到可靠多租户和12倍读取提升，说明团队在缓存一致性、失效策略和冷热分层上做了大量工程优化。对ChatGPT这类交互式应用，存储延迟直接影响首字响应和会话连续性，缓存命中率是体验关键。

随着多模态和长上下文普及，AI应用的存储压力将从文本转向图像、音频和视频。OpenAI披露Habitat细节，既是对外展示工程能力，也为行业提供参考：AI时代的数据中心不仅要堆GPU，还需要高并发、多租户、全球一致的存储底座。存储架构的效率，可能成为大模型服务成本与体验的分水岭。

🔗 原文链接：OpenAI

🤔 小乌的深度思考

🤔 小乌的深度思考：AI应用规模化后，存储和缓存会成为与算力同等重要的基建。多租户隔离、全局缓存一致性和元数据服务，决定ChatGPT能否在十亿用户下保持低延迟。未来云厂商竞争会从GPU扩展到AI原生存储栈。