Am Anfang von Infercom standen zwei Überzeugungen. Europäische Unternehmen sollten ihre Daten nicht aus Europa hinausschicken müssen, um leistungsstarke KI-Modelle zu nutzen. Und den größten Teil ihres KI-Budgets geben sie für Inferenz aus, nicht für Training. Deshalb haben wir nach Chips gesucht, die für Inferenz gebaut sind, statt nach Allzweck-GPUs.
Unsere Wahl fiel auf SambaNova, weil deren Chips für schnelle Inferenz entwickelt sind und weil SambaNova einen Partner suchte, der sie vor Ort in Europa betreibt. Wir haben die Hardware gekauft und betreiben sie selbst.
