Bittet man die meisten Führungskräfte, sich die Kosten von KI vorzustellen, sehen sie wahrscheinlich GPUs – Racks voller Beschleuniger mit Gigawatt an Leistung – und eine Warteliste für Silizium. Doch dieses Bild lässt etwas aus: die Kosten für die Datenspeicherung. Was passiert mit den Daten, nachdem ein Modell geantwortet hat? Ein Großteil der im Backend erzeugten Daten – von Milliarden täglicher Prompts, Bildern und Videos – muss…
news
Die versteckte Speicherrechnung der KI: Was die Inferenz hinterlässt
Wenn man die meisten Führungskräfte bittet, sich die Kosten von KI vorzustellen, sehen sie wahrscheinlich GPUs – Racks voller Beschleuniger mit Gigawatt an Leistung – und eine Warteliste für Silizium. Doch dieses Bild lässt etwas aus: die Kosten für die Datenspeicherung. Was passiert mit den Daten, nachdem ein Modell geantwortet hat? Ein Großteil der im Backend erzeugten Daten – von Milliarden täglicher Prompts, Bildern und Videos – muss…