ИИ на вашем компьютере

Настроить ИИ: пять путей

Мастер Настроить ИИ открывается кнопкой Настроить ИИ… в разделе Настройки → ИИ-ассистенты, кнопкой Подключить ИИ… в пустом чате и при использовании Ctrl+K, когда ни один ИИ не подключён. Первая страница спрашивает, что вы хотите настроить:

• ИИ в облаке — OpenAI, Gemini, Anthropic и другие, с ключом API. Самый простой путь и самое высокое качество; он по-прежнему рекомендуется по умолчанию. Страница та же, что и в мастере подключения: подключение проверяется перед сохранением, а ключ хранится в закодированном виде только на этой машине.
• ИИ на вашем компьютере — через Ollama или LM Studio — для тех, кто уже использует (или хочет использовать) одну из этих программ. Мастер сообщает, установлена ли программа, остановлена или запущена, предлагает установить её, показывает уже установленные модели и рекомендуемые для скачивания, с ходом загрузки, и выполняет быструю проверку.
• ИИ на вашем компьютере — напрямую через LightNote — LightNote скачивает официальную программу llama.cpp и модель и запускает их, ничего больше устанавливать не нужно. Перед скачиванием он показывает, сколько модель занимает на диске и в памяти, и измеряет скорость на вашем компьютере.
• Ассистент командной строки — Claude Code, Codex, Gemini CLI и другие, для работы в терминале. В чате и в Ctrl+K они отвечают сразу целиком, без потоковой передачи и без инструментов LightNote.
• Поиск по смыслу — эмбеддинги, благодаря которым Чат с ИИ находит заметки по смыслу вопроса; вычисляются в облаке или на вашем компьютере.

Каждый путь заканчивается страницей Готово с именем ИИ (под ним он отображается в чате, в Ctrl+K и в настройках), списком моделей и параметром Использовать как ИИ по умолчанию. Если мастер открыт из настроек, он сохраняет изменения только при нажатии OK; если открыт из другого места — по завершении. Если уже есть строка того же провайдера без ключа, мастер дополняет её, а не создаёт ещё одну рядом.

Типы моделей, GGUF и квантование

Два типа моделей. Модель для диалога (инструктивная, «instruct») пишет текст: именно она отвечает в чате, в Ctrl+K и в ИИ блока. Модель эмбеддингов ничего не пишет: она превращает каждый фрагмент текста в вектор чисел, и тексты с похожим смыслом получают близкие векторы — так работает поиск по смыслу. Одна не заменяет другую, и мастер на каждом пути предлагает только модели нужного типа.

GGUF. Это формат единого файла, который читают llama.cpp, Ollama и LM Studio: веса модели и её описание в одном файле .gguf. Квантование — хранение каждого веса меньшим числом битов, чтобы файл стал меньше и быстрее. Название говорит, сколькими: Q8 использует 8 бит на вес и очень близка к оригиналу; Q4 — около 4, занимает почти вдвое меньше и теряет немного. В наших тестах поиска на португальском Q4 и Q8 одной и той же модели сыграли вничью, а Q4 оказалась почти в два раза быстрее. Поэтому каталог предпочитает Q4 (Q4_0 или Q4_K_M).

Диск, память, скорость и видеокарта

Диск — это размер скачанного файла, который занят, пока вы его храните. Память — то, что модель использует пока загружена: веса плюс место для беседы, чуть больше размера файла. LightNote запускает модель в отдельном процессе, который существует, только пока вы пользуетесь ИИ: через 5 минут простоя он сам выключается, и система получает обратно всю память. Первый вопрос после этого занимает чуть больше времени, потому что модель загружается заново, — чат сообщает «Загрузка модели…». Скорость зависит от процессора и размера модели: меньшая модель отвечает быстрее, большая пишет лучше.

Процессор или видеокарта. По умолчанию модель работает на процессоре, а это возможно на любом компьютере (с AVX2 она работает заметно быстрее). На странице оборудования параметр Использовать видеокарту (Vulkan) скачивает версию программы, которая использует видеокарту любого производителя. Будет ли быстрее, зависит от видеокарты: тест производительности в конце покажет реальную скорость, а чтобы переключиться позже, достаточно пройти путь заново.

Где найти модели и как использовать другую

Проще всего воспользоваться каталогом LightNote на странице Выберите модель: каждый его файл проверен нами, с размером и sha256, а список показывает диск, память, лицензию и отметку каждой модели. Сначала показаны модели, которые хорошо помещаются на этом компьютере. Вне каталога модели живут на Hugging Face (huggingface.co, ищите «GGUF»), в библиотеке Ollama (ollama.com/library) и в каталоге самого LM Studio; для двух последних используйте путь через Ollama или LM Studio.

Использование другой модели. В пункте Другая модель… вставьте адрес файла .gguf на Hugging Face (в формате https://huggingface.co/dono/repositório/resolve/main/arquivo.gguf) или выберите файл .gguf, который уже есть на вашем компьютере. LightNote запрашивает у Hugging Face размер и sha256 файла (без sha256 он отказывается, потому что не сможет проверить загрузку) и читает заголовок модели, чтобы оценить нужную память. Перед использованием проверьте на странице модели три вещи: размер (файл больше свободной памяти не запустится), лицензию и тип — для диалога нужна инструктивная модель («instruct», «chat», «it»), для поиска по смыслу — модель эмбеддингов («embedding»). Предпочитайте файлы, опубликованные самим автором модели: неудачная конвертация может даже запуститься и выдавать бессмысленные результаты.

Лицензии

У каждой модели своя лицензия, выбранная автором: Apache 2.0 и MIT позволяют использовать модель свободно; Gemma Terms of Use (у EmbeddingGemma) и Llama 3.2 Community License ограничивают некоторые виды использования и требуют уведомления. Поэтому страница Условия использования показывает лицензию модели и лицензию программы, которая её запускает (llama.cpp, MIT), со ссылкой на полный текст, а также требуемое уведомление, если оно есть, на языке оригинала. Чтобы продолжить, отметьте Я прочитал(а) и принимаю условия. LightNote не распространяет модели сам: он скачивает файл напрямую из источника (с Hugging Face, а программу — с GitHub llama.cpp) и перед использованием проверяет sha256 каждого файла. Прерванное скачивание продолжается с того же места.

Тест производительности и отметка

Отметка. В списке моделей Помещается означает, что модель использует меньше половины свободной сейчас памяти; Может тормозить — что она помещается, но впритык (больше половины свободной памяти или процессор без AVX2); Не помещается — что ей понадобилось бы больше 80% свободной памяти, и мастер не даст её выбрать. Свободная память зависит от того, что открыто: закройте тяжёлые программы, и отметка может улучшиться.

Тест производительности запускает модель один раз на этом компьютере, чтобы вы увидели, во что она обходится, прежде чем выбрать её, и сообщает всё простым языком: сколько она занимает на диске, сколько памяти использует, пока загружена, сколько слов пишет в секунду и какую долю процессора использовала. Для модели эмбеддингов он измеряет, сколько фрагментов она обрабатывает в секунду и сколько заняла бы индексация открытой папки. Фраза вверху подводит итог: Подходит для диалога, Пригодно, но медленно или Медленно на этом компьютере. Первое измерение включает время загрузки модели.

Поиск по смыслу в облаке или на компьютере

На пути Поиск по смыслу мастер спрашивает, где вычислять. В облаке (рекомендуется): быстро; показаны только подключённые ИИ, которые вычисляют эмбеддинги, а если таких нет, мастер подскажет, какой подключить. Провайдер берёт плату за фрагменты при первой индексации, а затем только за изменённое; мастер показывает, сколько фрагментов в папке. На вашем компьютере: бесплатно и приватно, но медленнее, и во время индексации используется память — напрямую через LightNote (с моделями эмбеддингов из каталога, первой идёт EmbeddingGemma) или через Ollama. Тест показывает, сколько займёт первая индексация папки.

Индексация на компьютере выполняется в фоне, на 2 ядрах и с низким приоритетом, чтобы не отнимать у вас процессор; последующие индексации обрабатывают только изменённое. Смена модели переиндексирует папку: векторы разных моделей несравнимы. Старый индекс сохраняется, поэтому вернуться к прежней модели ничего не стоит. В настройках показана сводка (модель, где она работает и сколько фрагментов проиндексировано) с кнопкой Изменить…, которая снова открывает мастер.

Список моделей и запоминание ассистента

Список моделей в каждой строке. Каждый зарегистрированный ИИ — это строка с уникальным именем, а поле модели принимает список: первая модель — предпочтительная, следующие опробуются по порядку, если она не сработает. В таблице настроек разделяйте их запятыми; в мастере и в окне подключения используйте кнопки «вверх», «вниз» и «удалить», а Получить модели… спрашивает, добавить выбранную модель в список или заменить его. Ваш список действует даже при выключенной автоматической смене модели (автоматическая смена лишь добавляет после него альтернативы из каталога). Когда первая модель не срабатывает и отвечает другая, уведомление сообщает, какая не сработала, почему и какая ответила; щелчок по нему предлагает убрать модель из списка — LightNote никогда не меняет ваш список сам.

Запоминание ассистента. Чат, Ctrl+K, ИИ блока и окна ИИ запоминают последнего ассистента, которого вы выбрали в каждом из них, для каждого окна и папки, и возвращают его при повторном открытии приложения — пока он остаётся доступным. ИИ по умолчанию от этого не меняется: он меняется, только когда вы сами меняете его в настройках. В списках выбора ИИ сгруппированы по провайдеру.

Сравнение ответов

В чате команда Сравнить ответы… (или /compare перед вопросом) отправляет один и тот же вопрос 2–4 ассистентам одновременно, с тем же контекстом папки, и показывает ответы рядом; в каждом столбце указано, локальный ассистент или в облаке. Под каждым ответом: время до первого фрагмента, общее время, токены в секунду, число токенов и, для локальной модели, память. Продолжить с этим переносит в беседу только выбранный ответ и переключает чат на этого ассистента; остальные отбрасываются.

В Ctrl+K команда Сравнить с… отправляет одну и ту же инструкцию 2–4 ассистентам и показывает варианты рядом, с изменениями, выделенными относительно исходного фрагмента. Ничего не применяется к документу до вашего выбора; Применить этот применяет вариант один раз, а Ctrl+Z отменяет его. Сравнение работает только на чтение: без инструментов, без автоматической смены модели и без окна ошибки — ошибка одного ассистента превращается в фразу в его столбце. Помните, что ассистент в облаке получает отправленный текст.

Строка состояния, выгрузка и конфиденциальность

Пока загружена модель, запущенная LightNote, в строке состояния отображается Локальный ИИ с именем модели и используемой памятью (или «загрузка…»). Щёлкните по нему и выберите Выгрузить сейчас, чтобы сразу освободить память, не дожидаясь 5 минут; следующий вопрос снова её загрузит. Индикатор исчезает, когда ни одна модель не загружена.

Конфиденциальность. С моделью на вашем компьютере — напрямую через LightNote, через Ollama или через LM Studio — ничего не покидает компьютер: ни вопрос, ни заметки, ни векторы поиска. Программа модели принимает запросы только по локальному адресу компьютера, с новым паролем при каждом запуске, чтобы ни одна страница, открытая в браузере, не могла с ней связаться.