Zum Hauptinhalt springen

Lokale KI-Modelle mit Ollama

Warum lokale KI-Modelle?​

Ollama führt das Modell lokal aus. Anmeldung und Chatspeicherung nutzen die Cloud und benötigen Internet. Es erfolgt kein automatischer Wechsel zu einem Cloudmodell.

Das gilt für den normalen Modus. Im Offline-Modus bleibt alles auf diesem Computer: Die App funktioniert dann auch ohne Internet, und neue Chats werden nur lokal und verschlüsselt gespeichert.

Warum Ollama?​

Ollama ist die führende Plattform für das lokale Ausführen von Open-Source-KI-Modellen. Hauptmerkmale:

  • ✅ Einfache Installation und Einrichtung
  • ✅ Tausende verfügbarer Modelle
  • ✅ Leicht und schnell
  • ✅ Plattformübergreifend (Windows, macOS, Linux)
  • ✅ Einfache Modellverwaltung
  • ✅ OpenAI-kompatible API

Installation​

1. Ollama herunterladen und installieren​

Besuchen Sie ollama.ai und laden Sie das Installationsprogramm für Ihr Betriebssystem herunter.

2. Installation verifizieren​

Nach der Installation überprüfen Sie, ob Ollama funktioniert:

ollama --version

Starten Sie unter Windows Ihr Terminal nach der Installation neu.

3. Ein Modell abrufen​

Laden Sie ein Modell herunter (Beispiel mit qwen2.5):

ollama pull qwen2.5:7b

Dies lädt das Modell herunter. Je nach Internetgeschwindigkeit kann dies einige Minuten dauern.

Modellinstallation​

Schneller Start​

Für das beste Gleichgewicht zwischen Qualität und Leistung empfehlen wir:

ollama pull qwen3-vl:4b-instruct

Wählen Sie die Variante -instruct: Sie antwortet sofort. Das normale qwen3-vl:4b denkt vor jedem Schritt lange nach und ist auf einem Laptop um ein Vielfaches langsamer. Für kleine lokale Modelle verwendet die App eine kurze Anweisung und nur die Tools, die zu Ihrer Frage passen. Schlägt derselbe Schritt immer wieder fehl, hört die KI auf und sagt, was geklappt hat und was nicht.

Empfohlenes Modell: qwen3-vl:4b-instruct​

Dieses Modell wird empfohlen, da es:

  • ✅ Nur 4GB RAM benötigt
  • ✅ Visionsfähigkeiten enthält (Bilder ansehen)
  • ✅ Gutes Gleichgewicht zwischen Geschwindigkeit und Qualität bietet
  • ✅ Auf den meisten Hardware funktioniert
  • ✅ Vollständig offen und kostenlos nutzbar ist

Weitere Modelle installieren​

Sie können zusätzliche Modelle installieren:

# Andere beliebte Modelle
ollama pull llama2:7b       # Vortreffliches Allzweck-Modell
ollama pull mistral:7b      # Schnell und fähig
ollama pull neural-chat:7b  # Großartig für Gespräche

Hardwareempfehlungen​

Ollama funktioniert auf verschiedenen Hardware. Hier ist, was Sie für verschiedene Modelle benötigen:

ModellgrößeRAM erforderlichGrafikkarteLeistung
3-4B4GB MinimumNicht erforderlichSchnell (5-10 Token/Sek)
7B8GB empfohlenOptional (schneller)Gut (2-5 Token/Sek)
13B+16GB+ empfohlenGPU stark empfohlenLangsamer ohne GPU

GPU-Beschleunigung: Wenn Sie eine NVIDIA-GPU haben, verwendet Ollama diese automatisch für schnellere Inferenz.

Konfiguration in der Desktop-App​

Nach der Installation von Ollama und Modellen:

  1. Öffnen Sie die AI-School-Desktop-Anwendung
  2. Gehen Sie zu Einstellungen → Lokale Modelle
  3. Überprüfen Sie, dass Ollama erkannt wird
  4. Wählen Sie Ihr Modell aus dem Dropdown aus
  5. Sie können lokale KI nutzen!

Auf dem Startbildschirm befindet sich die Modellauswahl direkt unter dem Chat-Eingabefeld. So können Sie vor der ersten Nachricht ein lokales Modell wählen. Die Auswahl gilt ab der ersten Nachricht und kann später im Chat geändert werden.

Verfügbare Modelle​

Beliebte Modelle, die über Ollama verfügbar sind:

Visionsmodelle (können Bilder sehen)​

  • qwen3-vl:4b-instruct (empfohlen) - Schnelles Visionsmodell
  • llama2-vision:13b - Leistungsfähigeres Visionsmodell
  • minicpm-v:latest - Kompaktes Visionsmodell

Textmodelle​

  • qwen2.5:7b - Vortrefflich für alle Aufgaben
  • llama2:7b - Klassisch, gut getestet
  • mistral:7b - Schnell und effizient
  • neural-chat:7b - Fokus auf Konversationen
  • openchat:7b - Guter Allrounder

Spezialisierte Modelle​

  • codegemma:7b - Für Programmieraufgaben
  • sqlcoder:7b - SQL-Datenbankabfragen
  • dolphin-mixtral:8x7b - Leistungsstarkes Mischungsmodell

Beginnen Sie mit qwen3-vl:4b-instruct und erkunden Sie andere Modelle je nach Ihren Anforderungen!

Dokumente und Scans lokal lesen​

Mit einem lokalen Modell liest die Desktop-App Dokumente auf Ihrem eigenen Computer. Es wird nichts hochgeladen.

  • Arbeitsordner: In einem freigegebenen Ordner liest die KI Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) und RTF. Alte .doc- und .ppt-Dateien werden nur gelesen, wenn LibreOffice installiert ist.
  • Scans und Fotos: Gescannte PDF-Seiten, Bilder (PNG, JPG, WebP, TIFF) und Bilder in Word- und PowerPoint-Dateien werden mit Texterkennung (OCR) gelesen. Die OCR ist in der App enthalten und erkennt Niederländisch, Englisch, Deutsch und Französisch. Im Chat sehen Sie, welche Seite gelesen wird; ein langer Scan kann einige Minuten dauern. Pro Dokument werden höchstens 100 Seiten mit OCR gelesen.
  • Unsichere Erkennung: Ist die Texterkennung unsicher, meldet die KI das. Prüfen Sie Namen, Zahlen und Beträge dann im Original. Handschrift, Tabellen und Diagramme werden nicht immer richtig erkannt.
  • Bildmodell: Hat das gewählte Modell Vision (etwa qwen3-vl:4b-instruct), sieht sich das Modell die Bilder, in denen die Texterkennung wenig oder unsicher liest, auch selbst an. Ohne GPU dauert das länger.
  • iPhone-Fotos (HEIC): Speichern Sie sie zuerst als JPEG oder PNG.

Auch mit einem Cloud-Modell liest die App Dokumente im Arbeitsordner auf Ihrem Computer, der gelesene Text geht dann aber als Teil des Gesprächs an dieses Modell.

Arbeiten ohne Internet, auch mit Anhängen im Chat: siehe Offline-Modus.

Auf dieser Seite