Rückblick auf das Community of Practice AI Meetup vom 24. September 2026
Künstliche Intelligenz nutzen wir mittlerweile ganz selbstverständlich über Dienste wie ChatGPT, Claude oder Gemini. Wir öffnen eine Website oder App, geben unsere Frage ein und erhalten eine Antwort. Die Verarbeitung findet dabei in der Regel auf den Servern der Anbieter statt. Aber geht das auch anders? Können wir KI direkt auf unserem eigenen Computer betreiben, ohne unsere Daten an einen externen Dienst zu schicken?
Genau darum ging es beim September-Meetup der Community of Practice AI. Peter Grundner zeigte, wie lokale KI-Modelle installiert und genutzt werden können, welche Möglichkeiten sie eröffnen und wo ihre Grenzen liegen. Dabei wurde deutlich: Der Einstieg ist einfacher, als viele vielleicht vermuten.
Warum überhaupt eine lokale KI?
Ein wesentlicher Vorteil lokaler KI liegt darin, dass die Verarbeitung direkt auf dem eigenen Rechner stattfinden kann. Texte, Fragen und Dokumente müssen dann nicht an einen externen KI-Dienst übertragen werden. Das ist besonders interessant, wenn wir mit personenbezogenen Informationen, vertraulichen Unternehmensdaten oder sensiblen Kundarbeiten.
Lokale KI eröffnet damit neue Möglichkeiten, auch solche Informationen mithilfe künstlicher Intelligenz zu bearbeiten. Allerdings bedeutet lokal nicht automatisch datenschutzkonform. Das System muss entsprechend sicher eingerichtet sein. Insbesondere bei zusätzlichen Anwendungen, Schnittstellen oder externen Diensten gilt es zu prüfen, ob und wohin Daten übertragen werden.
Ein weiterer Vorteil: Ist ein Modell einmal heruntergeladen, kann es grundsätzlich auch ohne Internetverbindung genutzt werden. Außerdem fallen für die lokale Verarbeitung keine nutzungsabhängigen Gebühren eines Cloud-KI-Dienstes an. Dafür benötigt der eigene Computer entsprechende Rechenleistung und Strom.
Wie einfach ist die Installation?
Peter demonstrierte die Installation mit Ollama, einer Anwendung, mit der sich verschiedene KI-Sprachmodelle auf dem eigenen Rechner betreiben lassen. Über Ollama können Modelle heruntergeladen und anschließend direkt verwendet werden.
Im Meetup kamen unter anderem Gemma von Google und Qwen von Alibaba zum Einsatz. Die Demonstration fand auf einem virtuellen Mac mit 16 GB Arbeitsspeicher statt. Trotz dieser begrenzten Ausstattung konnten die kleineren Modelle bereits überraschend brauchbare Ergebnisse liefern.
Die Installation selbst war unkompliziert. Ollama installieren, ein passendes Modell auswählen, herunterladen und loslegen. Für erste Experimente braucht es also weder einen eigenen Server noch umfangreiche technische Vorkenntnisse.
Allerdings unterscheiden sich die Modelle deutlich in ihren Anforderungen. Größere Modelle benötigen in der Regel mehr Arbeitsspeicher und Rechenleistung. Das bedeutet aber nicht automatisch, dass sie für jede Aufgabe besser geeignet sind. Auch kleinere Modelle können bei bestimmten Anwendungen sehr gute Ergebnisse liefern.
Was lässt sich mit lokaler KI machen?
Die Einsatzmöglichkeiten sind vielfältig. Schon einfache Aufgaben wie das Formulieren von E-Mails, das Überarbeiten von Texten oder das Zusammenfassen von Informationen lassen sich mit lokalen Sprachmodellen bearbeiten.
Besonders spannend wird es, wenn wir lokale KI mit weiteren Anwendungen verbinden. Im Meetup wurden dazu unterschiedliche Beispiele vorgestellt und diskutiert.
Programmieren mit lokaler KI: Peter zeigte, wie sich ein lokales KI-Modell über Ollama mit dem Codex-Modus der ChatGPT-Desktop-App verbinden lässt. So können auch Programmieraufgaben mit einem lokal betriebenen Modell bearbeitet werden. In der Demonstration entstand aus einer einfachen Beschreibung eine kleine Website. Nicht alles funktionierte auf Anhieb, aber das Beispiel zeigte, was bereits möglich ist.
Wissen im Unternehmen nutzen: Eine weitere Idee war, internes Projektwissen mithilfe einer lokalen KI zugänglich zu machen. Mit einer entsprechenden Anbindung an Unternehmensdokumente könnte ein KI-Assistent Fragen zu vorhandenen Informationen beantworten. Dafür braucht es allerdings zusätzliche technische Komponenten, etwa eine Dokumentensuche oder ein sogenanntes RAG-System. Ein heruntergeladenes Sprachmodell allein kennt die eigenen Unternehmensdokumente noch nicht.
Persönliche Daten auswerten: Diskutiert wurde auch ein Beispiel, bei dem ein lokaler KI-Agent mit Trainingsdaten aus Strava verbunden wurde. Damit lassen sich persönliche Informationen auf neue Weise auswerten. Auch hier ist entscheidend, welche Daten lokal bleiben und welche gegebenenfalls über Schnittstellen an externe Dienste übertragen werden.
Dokumente automatisch zuordnen: Ein weiteres Anwendungsfeld ist das Erkennen und Klassifizieren von Dokumenten, etwa in der Versicherungsbranche. Dabei wurde auch deutlich, dass nicht für jede KI-Aufgabe ein großes Sprachmodell notwendig ist. Spezialisierte Modelle können für solche Aufgaben mitunter die bessere Wahl sein.
Wo liegen die Grenzen?
So beeindruckend manche Ergebnisse waren, so deutlich wurden auch die Grenzen lokaler KI.
Ein wichtiger Unterschied zu großen cloudbasierten Modellen liegt in der verfügbaren Rechenleistung und Modellkapazität. Gerade bei komplexeren Aufgaben können kleinere lokale Modelle an ihre Grenzen stoßen. Dazu kommt das sogenannte Kontextfenster: Es bestimmt, wie viele Informationen ein Modell innerhalb einer Anfrage beziehungsweise Unterhaltung gleichzeitig berücksichtigen kann. Wird dieses Fenster zu klein, können frühere Informationen verloren gehen oder Antworten unzuverlässiger werden.
Wie unterschiedlich KI-Modelle reagieren, zeigte ein kleiner Test mit dem Wort „Erdbeere“. Die Aufgabe war, zehn deutsche Sätze zu formulieren, die jeweils mit diesem Wort enden. Beim ersten Versuch lösten die beiden lokalen Modelle die Aufgabe überraschend gut. Bei einer Wiederholung traten allerdings Fehler auf.
Das Beispiel verdeutlichte eine wichtige Erkenntnis: Auch wenn ein KI-Modell eine Aufgabe einmal erfolgreich löst, ist das keine Garantie dafür, dass es beim nächsten Mal genauso gut funktioniert. Ergebnisse sollten deshalb immer kritisch geprüft werden – unabhängig davon, ob die KI lokal oder in der Cloud läuft.
Unser Fazit: Einfach einmal ausprobieren!
Eine Erkenntnis zog sich durch das gesamte Meetup: Lokale KI ist längst nicht mehr nur ein Thema für Technikexpert. Die Installation ist vergleichsweise einfach und bereits kleinere Modelle können im Alltag nützliche Aufgaben übernehmen.
Dabei geht es nicht darum, cloudbasierte KI vollständig zu ersetzen. Für besonders anspruchsvolle Aufgaben bieten große Cloudmodelle häufig mehr Möglichkeiten. Lokale Modelle können dafür interessant sein, wenn Informationen auf dem eigenen Rechner bleiben sollen, eine Internetverbindung nicht verfügbar ist oder eine Anwendung unabhängig von einem externen KI-Dienst betrieben werden soll.
Vielleicht liegt die Zukunft deshalb nicht in der Entscheidung zwischen lokaler KI und Cloud-KI, sondern darin, für unterschiedliche Aufgaben das jeweils passende Werkzeug zu wählen.
Wer neugierig geworden ist, kann selbst experimentieren. Mit Ollama und einem kleinen Sprachmodell lässt sich der Einstieg auch ohne große technische Ausstattung ausprobieren.