Lokale KI-Modelle: Wann sie sich für Ihren Betrieb lohnen und wann nicht

Bei ChatGPT, Gemini, Claude oder Grok geht jede Eingabe an Server des Anbieters. Bei einem lokalen Modell liegt die Modelldatei auf Ihrem Gerät, und die Berechnung passiert dort. Programme wie Ollama oder LM Studio machen das zugänglich, LM Studio mit grafischer Oberfläche. Ollama beschreibt sich selbst als Weg, offene Modelle auf dem eigenen Rechner zu betreiben.

Die Modelle selbst nennt man Open-Weight-Modelle: Ihre Gewichte sind herunterladbar. Dazu gehören zum Beispiel gpt-oss von OpenAI, Gemma von Google und Qwen, die Ollama in seiner Übersicht aufführt. Wichtig: Herunterladbar heißt nicht automatisch frei für jede Nutzung. Die Lizenzen unterscheiden sich. Lesen Sie sie vor dem geschäftlichen Einsatz.

Vertrauliche Unterlagen: Verträge, Personalakten, Konstruktionsunterlagen, Kalkulationen, Gesprächsnotizen mit Kunden. Wenn Sie nicht möchten, dass so etwas auf fremden Servern landet, ist lokal die konsequenteste Antwort. Die Daten verlassen den Rechner nicht, und die Frage, was ein Anbieter damit tut, entfällt.

Klar umrissene Aufgaben: Zusammenfassen, Sortieren, einfache Entwürfe, Spracherkennung. Dafür reichen nach meiner Erfahrung oft kleinere Modelle, die auf normaler Hardware laufen.

Wiederkehrende Masse: Bei Cloud-Diensten zahlen Sie meist nach Nutzung. Lokal fallen keine Gebühren pro Anfrage an. Dafür zahlen Sie mit Hardware, Strom und Zeit. Günstiger ist lokal also nicht automatisch. Es rechnet sich erst, wenn die Nutzung regelmäßig und spürbar ist.

Unabhängigkeit: Ein lokales Modell läuft auch ohne Internet, und kein Anbieter ändert Ihnen über Nacht Tarife oder Bedingungen.

Hardware: Das Modell muss in den Arbeitsspeicher passen. Je größer und leistungsfähiger das Modell, desto mehr Speicher und Rechenleistung braucht es. Kleine Modelle laufen auf einem aktuellen Notebook oder Mac, große brauchen Spezialhardware. Welche Größe bei Ihnen läuft, steht in den Angaben zum jeweiligen Modell.

Qualität: Die stärksten Cloud-Modelle sind nach meiner Einschätzung bei anspruchsvollen Aufgaben weiterhin besser, etwa bei langen, mehrstufigen Aufträgen oder wenn viel Wissen gefragt ist. Bei einfachen Aufgaben fällt der Unterschied oft kleiner aus. Glauben Sie das nicht einfach, sondern vergleichen Sie mit Ihren eigenen Aufgaben.

Pflege: Jemand muss das Modell einrichten, aktualisieren, absichern und im Team zugänglich machen. Wer darf darauf zugreifen? Wo liegen die Daten, wer macht Sicherungen? Bei einem Cloud-Dienst übernimmt der Anbieter einen Teil davon, lokal übernehmen Sie ihn.

Datenschutz bleibt ein Thema: Lokal heißt nicht automatisch ohne Aufwand datenschutzkonform. Auch dann brauchen Sie einen klaren Zweck, Zugriffsrechte, Dokumentation und Regeln im Team. Die Datenschutzkonferenz hat dazu eine Orientierungshilfe zu KI und Datenschutz veröffentlicht. Sie ersetzt keine Beratung für Ihren Einzelfall.

Fehler bleiben Fehler: Auch lokale Modelle erfinden Dinge. Ergebnisse werden genauso geprüft wie bei Cloud-Modellen.

Eine einfache Faustregel: Was sensibel und klar umrissen ist, kann lokal laufen. Was Spitzenqualität braucht und unkritisch ist, kann ein Cloud-Modell im Business-Tarif übernehmen. Dazwischen entscheidet der Einzelfall. Wie sich die großen Cloud-Modelle unterscheiden, steht in meinem Vergleich von ChatGPT, Gemini, Claude und Grok.

Viele Betriebe starten mit der Cloud, weil es sofort läuft, und holen einzelne Aufgaben später nach lokal. Das ist völlig in Ordnung. Wichtig ist, dass im Team klar ist, welche Daten wohin dürfen.

Ich habe Ratschn gebaut, eine Mac-App, die Gesprochenes lokal in Text verwandelt. Ich nenne sie hier nur als Beispiel, nicht als Empfehlung. Spracherkennung ist eine Aufgabe, bei der lokal gut passt: Sie ist klar umrissen, oft reicht ein vergleichsweise kleines Modell, und Gesprochenes ist häufig vertraulich, etwa Diktate, Kundengespräche oder Notizen unterwegs. Die Erkennung läuft dabei auf dem Gerät. Das Prinzip lässt sich auch mit anderen Werkzeugen umsetzen.

Erstens: Sortieren Sie Ihre Daten grob in unkritisch, intern und vertraulich. Zweitens: Wählen Sie eine einzelne Aufgabe, bei der vertrauliche Daten vorkommen, zum Beispiel das Zusammenfassen von Gesprächsnotizen. Drittens: Testen Sie klein, auf vorhandener Hardware, und vergleichen Sie das Ergebnis mit einem Cloud-Modell. Viertens: Entscheiden Sie, ob die Qualität reicht und wer die Pflege übernimmt. Fünftens: Halten Sie die Regeln fest, damit alle wissen, was wohin darf.

Starten Sie mit der Datenfrage, nicht mit der Hardware. Was darf den Betrieb nicht verlassen, und welche Aufgabe soll damit erledigt werden? Erst dann lohnt sich der Blick auf Modelle und Rechner.