Die stille Revolution: So verändert lokale KI den Business-Alltag

Die Diskussion über KI im Unternehmen dreht sich meist um zwei Extreme: den Assistenten, der angeblich alles kann, und die Sorge, dass jede Zeile Firmenwissen bei einem fremden Anbieter landet. Dazwischen ist in den vergangenen Jahren etwas entstanden, über das erstaunlich wenig gesprochen wird – Sprachmodelle, die klein genug sind, um im eigenen Haus zu laufen, und gut genug, um dort tatsächlich Arbeit abzunehmen.

Das ist keine Revolution mit Ankündigung. Es ist eine leise Verschiebung: weg von der Frage „Welches Werkzeug ist das beste?“ hin zu „Welche Aufgabe muss überhaupt das Haus verlassen?“ Wer diese Frage einmal ernsthaft stellt, kommt bei überraschend vielen Tätigkeiten zu einem klaren Nein.

Lokale KI heißt, dass ein Sprachmodell auf Rechnern läuft, die dem Unternehmen gehören oder von ihm kontrolliert werden – auf einem Arbeitsplatzrechner, einem Server im Haus oder einer eigenen Maschine beim Hoster. Die Eingaben verlassen diese Umgebung nicht, und es gibt keine Verbindung zu einem Anbieter, der mitliest.

Möglich wurde das durch zwei Entwicklungen. Zum einen sind Modelle mit offenen Gewichten deutlich besser geworden: Ein Small Language Model von heute erledigt Aufgaben, für die vor wenigen Jahren noch ein großes Cloud-Modell nötig war. Zum anderen sind die Werkzeuge drumherum erwachsen geworden – ein Modell herunterzuladen und zu starten ist eine Sache von Minuten, nicht von Wochen.

Konkrete Hardware-Empfehlungen sparen wir uns dabei bewusst. Sie veralten schneller, als ein Artikel gepflegt wird, und eine Zahl, die in einem halben Jahr falsch ist, hilft niemandem. Die belastbare Aussage lautet: Kleinere Modelle laufen bereits auf einer gut ausgestatteten Workstation, wie sie in vielen Betrieben für Bild- oder Videobearbeitung ohnehin steht. Größere Modelle brauchen entsprechend mehr. Wer wissen will, was auf der eigenen Maschine läuft, probiert es an einem Nachmittag aus, statt es aus einer Tabelle abzulesen. Was der Begriff sonst noch umfasst, steht im Glossareintrag zu lokaler KI.

Gut kann sie wiederkehrende Spracharbeit an vorhandenem Material: zusammenfassen, umformulieren, gliedern, übersetzen, aus Notizen ein Protokoll machen, Freitext in eine Struktur bringen. Schwächer ist sie überall dort, wo aktuelles Weltwissen, sehr lange Dokumente oder mehrstufiges Schlussfolgern gefragt sind – dort liegen große Cloud-Modelle weiterhin vorn.

Sobald es um Fakten geht, die nach dem Training entstanden sind, ist ein lokales Modell ohne Anbindung an aktuelle Quellen der schlechtere Ratgeber – es antwortet trotzdem, und zwar überzeugend. Diese Neigung zur Halluzination haben große Modelle zwar ebenfalls, bei kleineren tritt sie aber deutlicher hervor. Ebenso anspruchsvoll sind sehr lange Dokumente, komplexe Programmieraufgaben und alles, was mehrere Denkschritte sauber auseinanderhalten muss.

Die praktische Konsequenz ist keine Grundsatzentscheidung, sondern eine Aufteilung: Was intern bleiben muss und sprachlich einfach ist, läuft lokal. Was Aktualität, Tiefe oder Spitzenqualität braucht und keine schützenswerten Daten enthält, darf in die Cloud. Wer diese Linie einmal schriftlich zieht, spart sich hundert Einzelfalldiskussionen – und genau an dieser Stelle scheitern die meisten Einführungen, nicht an der Technik.

Der Einstieg kostet Hardware, die viele Betriebe ohnehin haben, und vor allem Zeit: Einrichtung, Auswahl des Modells und die Einarbeitung der Menschen, die damit arbeiten sollen. Gespart wird weniger am monatlichen Abonnement als an Abhängigkeit – keine Nutzungsgrenzen, keine Preisänderung von außen, keine stille Modellumstellung über Nacht.

Verlässliche Zahlen zur Amortisation gibt es nicht, weil sie vollständig von der Aufgabe abhängen. Wer zweimal im Monat einen Text zusammenfasst, wird eine lokale Installation nie hereinholen; wer täglich Dutzende Protokolle, Übersetzungen und Angebotsentwürfe erzeugt, bewegt sich in einer anderen Größenordnung. Deshalb hier keine Beispielrechnung mit erfundenen Annahmen – die Frage lässt sich nur an der eigenen Auslastung beantworten, und das ist keine Ausflucht, sondern die ehrliche Antwort.

Ein Kostenpunkt wird dabei regelmäßig übersehen: der Betrieb. Ein lokales Modell muss aktualisiert, abgesichert und irgendwann ersetzt werden, und jemand im Haus muss dafür zuständig sein. Wer das nicht klärt, hat nach anderthalb Jahren eine Maschine im Serverraum, die niemand mehr anfasst und der trotzdem alle vertrauen. Diese Rolle gehört von Anfang an in die KI-Governance, nicht in die Restposten.

Der EU AI Act knüpft an die Rolle im Umgang mit einem KI-System an und an dessen Risiko, nicht an den Ort des Servers. Eine lokale Installation entbindet deshalb von keiner Pflicht. Die für Unternehmen greifbarsten Punkte sind die KI-Kompetenz seit 2. Februar 2025 und die Transparenz bei synthetischen Inhalten seit 2. August 2026.

Zur KI-Kompetenz nach Artikel 4 ein Hinweis, der in vielen Übersichten fehlt: Die Bestimmung gilt seit 2. Februar 2025, wurde inzwischen aber im Rahmen des sogenannten Digital Omnibus geändert. Die Europäische Kommission zeigt auf ihrer eigenen Artikelseite weiterhin den alten Wortlaut mit einem Änderungshinweis. Wir behaupten deshalb keinen konkreten Pflichtenumfang, sondern machen den Änderungsstand transparent – wer daraus interne Vorgaben ableitet, sollte den aktuellen Stand rechtlich prüfen lassen.

Deutlicher ist Artikel 50: Anbieter von KI-Systemen, die synthetische Inhalte erzeugen, müssen deren Ausgaben maschinenlesbar als künstlich erzeugt kennzeichnen. Diese Pflicht gilt seit 2. August 2026. Ob ein Unternehmen im Einzelfall als Anbieter oder als Betreiber einzustufen ist, hängt vom Aufbau ab und gehört im Zweifel juristisch geklärt. Dieser Artikel ist keine Rechtsberatung.

Der weitere Zeitplan ist absehbar: Für Systeme mit hohem Risiko nach Anhang III gelten die entsprechenden Anforderungen ab 2. Dezember 2027, für jene nach Anhang I ab 2. August 2028. Für interne Textarbeit ist das nicht einschlägig – für ein Modell, das über Bewerbungen oder Kreditwürdigkeit mitentscheidet, sehr wohl. Wo diese Grenze verläuft, erklären wir im Glossar unter Hochrisiko-KI-System; sie sollte bekannt sein, bevor jemand aus Bequemlichkeit darüber stolpert.

Sie entschärft den größten Teil davon, ersetzt aber keine Datenschutzorganisation. Wenn Eingaben und Dokumente die eigene Umgebung nicht verlassen, entfällt die Übermittlung an Dritte – und damit der aufwendigste Prüfpunkt. Was bleibt, sind Zweckbindung, Zugriffsrechte, Löschfristen und die Frage, welche Daten überhaupt in ein Modell gehören.

Der praktische Gewinn ist trotzdem groß, und zwar an einer Stelle, die selten genannt wird: Menschen benutzen ein lokales Werkzeug freier. Wer weiß, dass ein Entwurf das Haus nicht verlässt, fügt den vollständigen Text ein statt einer geschwärzten Kurzfassung – und bekommt deshalb ein brauchbares Ergebnis. Schatten-KI, also die private Nutzung fremder Dienste am Arbeitsplatz, entsteht fast immer dort, wo das offizielle Werkzeug zu umständlich ist.

Gleichzeitig gilt der zweite Teil der Datenminimierung unverändert: Auch intern gehören nur die Daten in ein Modell, die für die Aufgabe nötig sind. Ein lokales Modell, das versehentlich Zugriff auf das gesamte Personallaufwerk erhält, ist kein Datenschutzfortschritt, sondern ein neues Problem mit besserem Ruf. Worauf beim Einsatz von KI-Werkzeugen sonst noch zu achten ist, steht im Glossar unter KI-Tools und Datenschutz.

Mit einer einzigen, häufigen und langweiligen Aufgabe – nicht mit einer Plattformstrategie. Suchen Sie die Tätigkeit, die jede Woche mehrfach anfällt, sprachlich einfach ist und intern bleiben muss. Nehmen Sie sich genau die vor, messen Sie den Unterschied, und entscheiden Sie erst danach über den zweiten Anwendungsfall.

Ehrlich gesagt: Lokale KI ist kein Selbstzweck. Für viele Aufgaben ist ein gutes Cloud-Modell schneller, besser und günstiger – und wenn keine schützenswerten Daten im Spiel sind, spricht wenig dagegen. Interessant wird der eigene Betrieb überall dort, wo Vertraulichkeit, Verfügbarkeit oder Unabhängigkeit von einem einzelnen Anbieter den Ausschlag geben. Genau diese Fälle gibt es in kleinen und mittleren Unternehmen häufiger, als die öffentliche Debatte vermuten lässt.

Wie Ihre Inhalte in den Antworten von KI-Assistenten überhaupt vorkommen, ist eine verwandte, aber andere Frage – dazu passt unsere Seite zu AEO und GEO. Die Begriffe rund um Modelle, Kennzeichnung und Regulierung stehen im Glossar. Und wenn Sie einen konkreten Anwendungsfall im Kopf haben, aber nicht wissen, ob er sich lohnt: Gespräch vereinbaren.