Lokale KI statt Cloud: Wie unser Chatbot auf einem eigenen GPU-Server in Deutschland läuft

Die einfachste Art, einen Chatbot zu bauen, ist ein Aufruf an die API eines großen Modellanbieters. Wir haben uns anders entschieden: Der BlueBranch Chatbot rechnet auf eigener Hardware. Dieser Beitrag erklärt, warum, und was wir dafür in Kauf nehmen.

Die Entscheidung: lokal statt Dienst

Drei Gründe sprachen für die eigene Hardware:

1. Datenschutz. Kundeninhalte verlassen den Server nicht. Für Kunden mit Auftragsverarbeitungsvertrag ist das oft der Unterschied zwischen „geht“ und „geht nicht“.
2. Kosten. Die Grafikkarte ist bezahlt. Ein Chatbot mit tausenden Anfragen im Monat kostet danach vor allem Strom, keine Abrechnung nach Token.
3. Verfügbarkeit. Kein fremdes Kontingent, keine Preisänderung, kein abgekündigtes Modell.

Die Hardware

Der Server ist ein dedizierter GPU-Server bei der Hetzner Online GmbH: Intel Core i5-13500, rund 62 GB Arbeitsspeicher und eine NVIDIA RTX 4000 SFF Ada mit 20 GB Grafikspeicher. Hetzner betreibt seine GPU-Server nach eigenen Angaben in nach ISO/IEC 27001 zertifizierten Rechenzentren in Deutschland und Finnland. Unsere Verarbeitung findet ausschließlich in Deutschland statt.

Die Modelle

Zusammen belegen sie etwa 15 von 20 GB. Damit ist die Obergrenze klar: Ein größeres Modell passt entweder nicht oder wird so langsam, dass Besucher warten müssten.

Warum die Geschwindigkeit vorhersagbar ist

Die Texterzeugung ist bandbreitenlimitiert, nicht rechenlimitiert. Für jedes einzelne Token muss die Grafikkarte einmal komplett über die Modellgewichte lesen. Die RTX 4000 SFF Ada schafft 280 GB/s, und gemessen erreicht ein 4,7-GB-Modell 94 Prozent dieser Nominalbandbreite. Daraus ergibt sich eine Faustformel: Tokens pro Sekunde entsprechen grob 262 geteilt durch die Modellgröße in GB. Für Gemma 4 mit 7,6 GB Gewichten sind das rund 34 Tokens pro Sekunde.

Das hat praktische Folgen. Die Antwortlänge ist der größte Hebel, deshalb gibt es zwei Antwortarten: Der Chat nutzt vier Kontextabschnitte und höchstens 250 Tokens, die Suche acht Abschnitte und bis zu 800 Tokens. Der Denkmodus des Modells ist abgeschaltet: Bei einer einsätzigen Antwort macht er den Unterschied zwischen 12,1 und 0,65 Sekunden.

Dazu kommt das Streaming. Gemessen erscheint das erste Wort nach 0,58 Sekunden, die vollständige Antwort nach 11,3 Sekunden. Ohne Streaming wirkte der Chat rund fünfzehnmal langsamer, als er ist. Die Wartezeit ist damit nicht kürzer, aber sie ist nicht mehr leer.

Der Preis dafür

Eigene Hardware heißt Verantwortung: Kapazität planen, Modelle pflegen, Ausfälle abfangen. Die Last teilen sich Besucherfragen, Spracherkennung und die Schlagwort-Anreicherung im Hintergrund. Deshalb läuft die Anreicherung im Schnellgang nur, solange niemand fragt, und tritt sofort zurück, sobald eine Anfrage kommt. Die Auslastung ist im Admin-Bereich sichtbar. Für die Antwortqualität hilft ein Reranker auf der CPU, der die Treffer der Suche nach Relevanz neu ordnet.

Was das für Dich bedeutet

Weil kein Anbieter außerhalb der EU beteiligt ist, entfallen Drittlandübermittlung und Folgefragen, wie sie beim Data Privacy Framework diskutiert werden. Die Datenschutzkonferenz sieht in ihrer Orientierungshilfe zu RAG den Betrieb eines Sprachmodells im eigenen Betrieb ausdrücklich als Möglichkeit, weniger personenbezogene Daten aus dem Modell extrahierbar zu machen. Alle Zusagen im Überblick: DSGVO & AVV.