如果让大多数高管想象AI的成本,他们很可能会想到GPU——成排的加速器、数以吉瓦计的电力——以及硅芯片的等候名单。但这幅图景遗漏了一些东西:数据存储成本。模型响应之后数据会怎样?生成的大量后端数据——来自每天数十亿次的提示、图像和视频——需要……
news
AI隐藏的存储账单:推理留下了什么
让大多数高管想象AI的成本,他们很可能会想到GPU——成排的加速器、数以吉瓦计的电力——以及硅芯片的等候名单。但这幅图景遗漏了一些东西:数据存储成本。模型响应之后数据会怎样?生成的大量后端数据——来自每天数十亿次的提示、图像和视频——需要……