Mit dieser Anleitung installierst du DeepSeek, Llama und weitere Open-Source-KIs lokal auf deinem Computer. Mehr Privatsphäre und Datenschutz bei KI geht nicht. Zeitaufwand: weniger als eine halbe Stunde.

Es ist einfacher als gedacht, ein Open-Source-Sprachmodell auf dem Computer zu installieren und zu betreiben. Folge dazu dieser Schritt-für-Schritt-Anleitung, die ich auf meinem vier Jahre alten Macbook Air mit M1-Chip durchgeführt habe. Die Sprachmodelle lassen sich trotz der vermeintlich geringen Ressourcen auf praktisch modernen Computer problemlos betreiben. Danke für den Hinweis, Jan Kerschgens.

• Surfe zu ollama.com und lade das gleichnamige Programm herunter. Installiere es.
• Führe im Terminal folgenden Befehl aus: ollama run llama3.2, um das Open-Source-Modell Llama 3.2 von Meta herunterzuladen und zu starten. Das benötigt rund 2 GB Speicherplatz.

«Llama 3.2» ist das Open-Source-Modell des Facebook-Konzerns Meta und steht hier Beispielhaft für eines der zahlreichen Sprachmodelle, die installiert werden können. Zur Auswahl stehen zahlreiche Modelle, vom chinesischen Deepseek über das französische Mistral bis hin zu Phi von Microsoft. Eine Liste findet sich hier. Dort ist rechts jeweils der Befehl für den Download des Models aufgeführt, der immer im Terminal des PCs ausgeführt werden muss. Für Mistral lautet er beispielsweise ollama run mistral. Dieses benötigt 4 GB Speicherplatz.

• Warte, bis im Hintergrund die nötigen Daten heruntergeladen worden sind.
• Sobald der Download abgeschlossen ist, kannst du mit dem Modell arbeiten oder das Terminal schliessen und mit dem gleichen Befehl wie oben ein anderes Modell starten.

Ich starte also entweder mit ollama run mistral oder ollama run llama3.2 mein Sprachmodell im Terminal meines Macs und kann dann wie von der Weboberfläche gewohnt mit dem LLM chatten, ohne dass ich dabei eine Internetverbindung haben müsste oder ohne dass sensitive Informationen unkontrolliert meinen Computer verlassen.

Die Darstellung ist ungewohnt, funktioniert aber eigentlich wie bei den webbasierten Modellen. Naturgemäss haben alle lokal genutzten Modelle den Nachteil, nicht über aktuelle Daten zur Verfügen. Llama 3.2 zum Beispiel sagt auf meine entsprechende Frage:

Mein Wissensstand endet im Dezember 2023, da ich meine Informationen bis zu diesem Zeitpunkt habe. Meine Trainingsdaten sind jedoch weiter zurück und reichen bis zum Jahr 2021.

Ich kann allgemeine Informationen auf vielen Themen liefern, aber mein Wissen in bestimmten Bereichen wie wissenschaftlichen Forschung, neuesten Ereignissen oder aktuellen Tendenzen möglicherweise nicht so aktuell sein wie bei einem menschlichen Experten.

Einige Beispiele für Bereiche, in denen mein Wissensstand ein bisschen hinterher liegt:

* Neueste wissenschaftliche Erkenntnisse: Meine Trainingsdaten bis 2021
* Aktuelle Ereignisse: Meine Informationen bis 2022
* Neue Technologien und Trends: Meine Kenntnisse bis 2022

Das mag als Nachteil erscheinen, aber für typische KI-Aufgaben wie Dokumente zusammenfassen, Texte übersetzen oder Rechtschreibfehler suchen, spielt das keine Rolle. Ich jedenfalls werde jetzt öfter mit dem lokalen LLM chatten und als Alternative zu den grossen «Online-Sprachmodellen» einsetzen.

Viel Spass beim Ausprobieren und ich bin gespannt auf deine Erfahrungen und dein Feedback.

Update: Hübschere Darstellung

Wie User «Stefan» unten kommentiert, sorgt Open WebUI für eine hübschere Darstellung. Nachfolgend eine kurze Anleitung für Mac-User:

1. Docker installieren und starten (Account erstellen kann man überspringen)
2. Den folgenden Befehl im Terminal ausführen:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

1. Öffne Docker, nun sollte Open-Web-Ui laufen. Klicke auf den Link unter «Ports»
2. Open-Web-Ui sollte sich jetzt im Browser öffnen (kann ein paar Minuten dauern). Klicke unten auf «Loslegen» und erstelle einen Admin-Account
3. Fertig. Ab sofort kannst du im Browser wie gewohnt mit einem LLM chatten. Oben links lässt sich zwischen den installierten Open-Source-Modellen wechseln.