KI auf Ihrem Computer

KI einrichten: die fünf Wege

Der Assistent KI einrichten öffnet sich über die Schaltfläche KI einrichten… in Einstellungen → KI-Assistenten, über Eine KI verbinden… im leeren Chat und wenn Sie Strg+K ohne eingerichtete KI verwenden. Die erste Seite fragt, was Sie einrichten möchten:

• KI in der Cloud — OpenAI, Gemini, Anthropic und andere, mit einem API-Schlüssel. Der einfachste Weg und der mit der besten Qualität, und weiterhin die empfohlene Voreinstellung. Die Seite ist dieselbe wie beim Verbinden: Die Verbindung wird vor dem Übernehmen getestet, und der Schlüssel wird nur auf diesem Computer codiert gespeichert.
• KI auf Ihrem Computer — mit Ollama oder LM Studio — für alle, die eines dieser Programme schon nutzen (oder nutzen möchten). Der Assistent zeigt, ob das Programm installiert, gestoppt oder in Ausführung ist, bietet die Installation an, listet die bereits installierten Modelle und die zum Herunterladen empfohlenen, mit dem Fortschritt des Downloads, und führt einen Schnelltest aus.
• KI auf Ihrem Computer — direkt über LightNote — LightNote lädt das offizielle Programm von llama.cpp und ein Modell herunter und führt beide aus, ohne dass Sie etwas anderes installieren. Vor dem Download zeigt es, wie viel Festplatte und Arbeitsspeicher das Modell belegt, und misst die Geschwindigkeit auf Ihrem Computer.
• Kommandozeilen-Assistent — Claude Code, Codex, Gemini CLI und andere, für das Terminal. Im Chat und in Strg+K antworten sie auf einmal, ohne Streaming und ohne die Werkzeuge von LightNote.
• Suche nach Bedeutung — die Embeddings, mit denen der KI-Chat Notizen nach dem Sinn der Frage findet, berechnet in der Cloud oder auf Ihrem Computer.

Jeder Weg endet auf der Seite Fertig, mit dem Namen der KI (unter diesem Namen erscheint sie im Chat, in Strg+K und in den Einstellungen), der Modellliste und der Option Als Standard-KI verwenden. Aus den Einstellungen geöffnet, speichert der Assistent erst, wenn Sie auf OK klicken; von anderswo geöffnet, speichert er beim Abschluss. Gibt es bereits eine Zeile desselben Anbieters ohne Schlüssel, vervollständigt er sie, statt daneben eine neue anzulegen.

Modelltypen, GGUF und Quantisierung

Zwei Modelltypen. Ein Chat-Modell (instruiert, „instruct“) schreibt: Es antwortet im Chat, in Strg+K und in der Block-KI. Ein Embedding-Modell schreibt nichts: Es verwandelt jeden Textabschnitt in einen Zahlenvektor, und Texte mit ähnlichem Sinn erhalten nahe beieinander liegende Vektoren — darauf beruht die Suche nach Bedeutung. Das eine ersetzt das andere nicht, und der Assistent bietet in jedem Weg nur die Modelle des passenden Typs an.

GGUF. Das ist das Einzeldateiformat, das llama.cpp, Ollama und LM Studio lesen: die Gewichte des Modells und seine Beschreibung in einer .gguf-Datei. Quantisierung heißt, jedes Gewicht mit weniger Bits zu speichern, damit die Datei kleiner und schneller wird. Der Name sagt, mit wie vielen: Q8 nutzt 8 Bits pro Gewicht und bleibt sehr nah am Original; Q4 nutzt etwa 4, belegt fast die Hälfte und verliert wenig. In unseren Suchtests auf Portugiesisch lagen Q4 und Q8 desselben Modells gleichauf, und Q4 war fast doppelt so schnell. Deshalb bevorzugt der Katalog Q4 (Q4_0 oder Q4_K_M).

Festplatte, Arbeitsspeicher, Geschwindigkeit und Grafikkarte

Festplatte ist die Größe der heruntergeladenen Datei, belegt, solange Sie sie aufbewahren. Arbeitsspeicher ist das, was das Modell belegt, solange es geladen ist: die Gewichte plus der Platz für die Unterhaltung, etwas mehr als die Dateigröße. LightNote führt das Modell in einem eigenen Prozess aus, der nur existiert, während Sie die KI nutzen: Nach 5 Minuten ohne Nutzung schaltet er sich von selbst ab, und das System erhält den gesamten Arbeitsspeicher zurück. Die erste Frage danach dauert etwas länger, weil das Modell neu geladen wird — der Chat meldet „Modell wird geladen…“. Die Geschwindigkeit hängt vom Prozessor und von der Größe des Modells ab: Ein kleineres Modell antwortet schneller, ein größeres schreibt besser.

Prozessor oder Grafikkarte. Standardmäßig läuft das Modell auf dem Prozessor, was auf jedem Computer funktioniert (mit AVX2 wird es deutlich schneller). Auf der Hardware-Seite lädt Grafikkarte verwenden (Vulkan) die Version des Programms herunter, die die Grafikkarte nutzt, gleich welchen Herstellers. Je nach Karte kann es schneller werden oder nicht: Der Leistungstest am Ende zeigt die tatsächliche Geschwindigkeit, und für einen späteren Wechsel durchlaufen Sie den Weg einfach erneut.

Wo man Modelle findet und wie man ein anderes verwendet

Am einfachsten ist der LightNote-Katalog auf der Seite Wählen Sie ein Modell: Jede Datei darin wurde von uns geprüft, mit Größe und sha256, und die Liste zeigt Festplatte, Arbeitsspeicher, Lizenz und die Plakette jedes Modells. Die Modelle, die gut auf diesen Computer passen, erscheinen zuerst. Außerhalb davon finden Sie Modelle auf Hugging Face (huggingface.co, suchen Sie nach „GGUF“), in der Ollama-Bibliothek (ollama.com/library) und im Katalog von LM Studio selbst; für die letzten beiden verwenden Sie den Weg über Ollama oder LM Studio.

Ein anderes Modell verwenden. Fügen Sie unter Anderes Modell… die Adresse einer .gguf-Datei von Hugging Face ein (Format https://huggingface.co/eigentümer/repository/resolve/main/datei.gguf) oder wählen Sie eine .gguf-Datei auf Ihrem Computer. LightNote fragt bei Hugging Face Größe und sha256 ab (ohne sha256 lehnt es ab, da es den Download nicht prüfen könnte) und schätzt den Arbeitsspeicher anhand des Modell-Headers. Prüfen Sie vorher auf der Seite des Modells: die Größe (eine Datei größer als Ihr freier Arbeitsspeicher läuft nicht), die Lizenz und den Typ — zum Chatten ein instruiertes Modell („instruct“, „chat“, „it“); für die Suche nach Bedeutung ein Embedding-Modell („embedding“). Bevorzugen Sie Dateien vom Autor des Modells selbst: Eine schlechte Konvertierung kann laufen und trotzdem sinnlose Ergebnisse liefern.

Lizenzen

Jedes Modell hat seine eigene Lizenz, die der Autor gewählt hat: Apache 2.0 und MIT erlauben freie Nutzung; die Gemma Terms of Use (von EmbeddingGemma) und die Llama 3.2 Community License schränken einige Nutzungen ein und verlangen einen Hinweis. Deshalb zeigt die Seite Nutzungsbedingungen die Lizenz des Modells und die des Programms, das es ausführt (llama.cpp, MIT), mit dem Link zum vollständigen Text, und den verlangten Hinweis, falls vorhanden, in der Originalsprache. Um fortzufahren, aktivieren Sie Ich habe die Bedingungen gelesen und akzeptiere sie. LightNote verbreitet keine Modelle weiter: Es lädt die Datei direkt von der Quelle herunter (Hugging Face, und das Programm vom GitHub von llama.cpp) und prüft vor der Verwendung den sha256 jeder Datei. Ein unterbrochener Download setzt dort fort, wo er aufgehört hat.

Leistungstest und Plakette

Die Plakette. In der Modellliste bedeutet Passt gut, dass das Modell weniger als die Hälfte des derzeit freien Arbeitsspeichers belegt; Kann langsam sein, dass es passt, aber knapp (mehr als die Hälfte des freien Arbeitsspeichers, oder ein Prozessor ohne AVX2); Passt nicht, dass es mehr als 80 % des freien Arbeitsspeichers bräuchte — der Assistent lässt dieses nicht auswählen. Der freie Arbeitsspeicher hängt davon ab, was gerade geöffnet ist: Schließen Sie speicherhungrige Programme, und die Plakette kann sich verbessern.

Der Leistungstest führt das Modell einmal auf diesem Computer aus, damit Sie sehen, was es kostet, bevor Sie es übernehmen, und sagt alles in einfacher Sprache: wie viel es auf der Festplatte belegt, wie viel Arbeitsspeicher es im geladenen Zustand nutzt, wie viele Wörter es pro Sekunde schreibt und wie viel Prozessor es genutzt hat. Bei einem Embedding-Modell misst er, wie viele Abschnitte es pro Sekunde einbettet und wie lange das Indizieren des geöffneten Ordners dauern würde. Der Satz oben fasst zusammen: Gut zum Chatten, Brauchbar, aber langsam oder Langsam auf diesem Computer. Die erste Messung enthält die Zeit zum Laden des Modells.

Suche nach Bedeutung in der Cloud oder auf dem Computer

Im Weg Suche nach Bedeutung fragt der Assistent, wo gerechnet werden soll. In der Cloud (empfohlen): schnell; es erscheinen nur verbundene KIs, die Embeddings berechnen, und wenn keine das kann, sagt er, welche Sie verbinden sollten. Der Anbieter rechnet bei der ersten Indizierung pro Abschnitt ab und danach nur, was sich ändert; der Assistent zeigt, wie viele Abschnitte der Ordner hat. Auf Ihrem Computer: kostenlos und privat, aber langsamer, und belegt während der Indizierung Arbeitsspeicher — direkt über LightNote (mit den Embedding-Modellen des Katalogs, EmbeddingGemma zuerst) oder über Ollama. Der Test sagt, wie lange die erste Indizierung des Ordners dauern würde.

Die Indizierung auf dem Computer läuft im Hintergrund, mit 2 Kernen und niedriger Priorität, damit sie Ihnen den Prozessor nicht streitig macht; die folgenden erneuern nur, was sich geändert hat. Ein Modellwechsel indiziert den Ordner neu: Vektoren verschiedener Modelle lassen sich nicht vergleichen. Der alte Index bleibt erhalten, sodass die Rückkehr zum vorherigen Modell nichts kostet. Die Einstellungen zeigen eine Zusammenfassung (Modell, wo es läuft und wie viele Abschnitte indiziert sind) mit Ändern…, das den Assistenten erneut öffnet.

Modellliste und gemerkter Assistent

Eine Modellliste pro Zeile. Jede eingerichtete KI ist eine Zeile mit eindeutigem Namen, und das Modellfeld akzeptiert eine Liste: Das erste ist das bevorzugte, die folgenden werden der Reihe nach versucht, wenn es fehlschlägt. In der Tabelle der Einstellungen trennen Sie sie durch Komma; im Assistenten und beim Verbinden gibt es Schaltflächen zum Hoch-, Runterschieben und Entfernen, und Modelle abrufen… fragt, ob das gewählte Modell in die Liste kommt oder sie ersetzt. Ihre Liste gilt auch ohne automatischen Modellwechsel (dieser fügt nur nach ihr die Alternativen des Katalogs an). Schlägt das erste fehl und antwortet ein anderes, sagt eine Benachrichtigung, welches fehlschlug, warum und welches antwortete; ein Klick darauf bietet an, das Modell aus der Liste zu entfernen — LightNote ändert Ihre Liste nie von selbst.

Der gemerkte Assistent. Der Chat, Strg+K, die Block-KI und die KI-Fenster merken sich den zuletzt gewählten Assistenten in jedem davon, pro Fenster und Ordner, und bringen ihn beim erneuten Öffnen der App zurück — solange er verfügbar bleibt. Die Standard-KI ändert sich dadurch nicht: Sie ändert sich nur, wenn Sie sie in den Einstellungen wechseln. In den Auswahllisten erscheinen die KIs nach Anbieter gruppiert.

Antworten vergleichen

Im Chat sendet Antworten vergleichen… (oder /compare vor der Frage) dieselbe Frage gleichzeitig an 2 bis 4 Assistenten, mit demselben Kontext des Ordners, und zeigt die Antworten nebeneinander; jede Spalte gibt an, ob der Assistent lokal oder in der Cloud läuft. Unter jeder Antwort: die Zeit bis zum ersten Teil, die Gesamtzeit, Tokens pro Sekunde, Tokens und bei einem lokalen Modell der Arbeitsspeicher. Mit dieser fortfahren übernimmt nur die gewählte Antwort in die Unterhaltung und stellt den Chat auf diesen Assistenten um; die anderen werden verworfen.

In Strg+K sendet Vergleichen mit… dieselbe Anweisung an 2 bis 4 Assistenten und zeigt die Vorschläge nebeneinander, mit den Änderungen gegenüber dem Abschnitt hervorgehoben. Nichts wird auf das Dokument angewendet, bevor Sie wählen; Diese anwenden wendet einmal an, und Strg+Z macht es rückgängig. Der Vergleich ist nur lesend: ohne Werkzeuge, ohne automatischen Modellwechsel und ohne Fehlerfenster — der Fehler eines Assistenten wird zu einem Satz in seiner Spalte. Denken Sie daran, dass ein Assistent in der Cloud den gesendeten Text erhält.

Statusleiste, Entladen und Datenschutz

Solange ein von LightNote ausgeführtes Modell geladen ist, zeigt die Statusleiste Lokale KI mit dem Namen des Modells und dem Arbeitsspeicher, den es belegt (oder „wird geladen…“). Klicken Sie darauf und wählen Sie Jetzt entladen, um den Arbeitsspeicher sofort freizugeben, ohne die 5 Minuten abzuwarten; die nächste Frage lädt es erneut. Die Anzeige verschwindet, wenn kein Modell geladen ist.

Datenschutz. Mit einem Modell auf Ihrem Computer — direkt über LightNote, über Ollama oder über LM Studio — verlässt nichts den Rechner: weder die Frage noch die Notizen noch die Vektoren der Suche. Das Programm des Modells lauscht nur an der lokalen Adresse des Computers, mit einem neuen Kennwort bei jedem Start, damit keine im Browser geöffnete Seite mit ihm sprechen kann.