IA no seu computador

Configurar IA: os cinco caminhos

O assistente Configurar IA abre pelo botão Configurar IA… em Configurações → Assistentes de IA, pelo Conectar uma IA… do chat vazio e quando você usa o Ctrl+K sem nenhuma IA. A primeira página pergunta o que você quer configurar:

• IA na nuvem — OpenAI, Gemini, Anthropic e outros, com uma chave de API. É o caminho mais simples e o de melhor qualidade, e continua sendo o padrão recomendado. A página é a mesma do conector: a conexão é testada antes de aceitar e a chave fica guardada codificada só nesta máquina.
• IA no seu computador — com Ollama ou LM Studio — para quem já usa (ou quer usar) um desses programas. O assistente diz se o programa está instalado, parado ou em execução, oferece instalá-lo, lista os modelos já instalados e os recomendados para baixar, com o progresso do download, e faz um teste rápido.
• IA no seu computador — direto pelo LightNote — o LightNote baixa o programa oficial do llama.cpp e um modelo, e roda os dois sem você instalar mais nada. Antes de baixar, mostra quanto o modelo ocupa em disco e em memória e mede a velocidade no seu computador.
• Assistente de linha de comando — Claude Code, Codex, Gemini CLI e outros, para usar no terminal. No chat e no Ctrl+K eles respondem de uma vez, sem streaming e sem as ferramentas do LightNote.
• Busca por significado — os embeddings que deixam o Chat com IA achar notas pelo sentido da pergunta, calculados na nuvem ou no seu computador.

Cada caminho termina na página Pronto, com o nome da IA (é por ele que ela aparece no chat, no Ctrl+K e nas Configurações), a lista de modelos e a opção Usar como IA padrão. Aberto das Configurações, o assistente só grava quando você clica em OK; aberto de outro lugar, grava ao concluir. Se já existe uma linha do mesmo provedor ainda sem chave, ele a completa em vez de criar outra ao lado.

Tipos de modelo, GGUF e quantização

Dois tipos de modelo. Um modelo de conversa (instruído, "instruct") escreve: é o que responde no chat, no Ctrl+K e na IA do bloco. Um modelo de embeddings não escreve nada: transforma cada trecho de texto num vetor de números, e textos de sentido parecido ganham vetores próximos — é o que faz a busca por significado. Um não substitui o outro, e o assistente só oferece os do tipo certo em cada caminho.

GGUF. É o formato de arquivo único que o llama.cpp, o Ollama e o LM Studio leem: os pesos do modelo e a descrição dele num arquivo .gguf. Quantização é guardar cada peso com menos bits para o arquivo ficar menor e mais rápido. O nome diz quantos: Q8 usa 8 bits por peso e fica muito perto do original; Q4 usa cerca de 4, ocupa quase metade e perde pouco. Nos nossos testes de busca em português, o Q4 e o Q8 do mesmo modelo empataram, e o Q4 foi perto de duas vezes mais rápido. Por isso o catálogo prefere Q4 (Q4_0 ou Q4_K_M).

Disco, memória, velocidade e placa de vídeo

Disco é o tamanho do arquivo baixado, ocupado enquanto você o guardar. Memória é o que o modelo usa enquanto está carregado: os pesos mais o espaço da conversa, um pouco acima do tamanho do arquivo. O LightNote roda o modelo num processo à parte, que só existe enquanto você usa a IA: depois de 5 minutos sem uso ele desliga sozinho e o sistema recebe a memória toda de volta. A primeira pergunta depois disso demora um pouco mais, porque o modelo é carregado de novo — o chat avisa "Carregando o modelo…". Velocidade depende do processador e do tamanho do modelo: modelo menor responde mais rápido, o maior escreve melhor.

Processador ou placa de vídeo. Por padrão o modelo roda no processador, o que funciona em qualquer computador (com AVX2 ele fica bem mais rápido). Na página do hardware, Usar a placa de vídeo (Vulkan) baixa a versão do programa que usa a placa de vídeo, de qualquer fabricante. Pode ficar mais rápido ou não, conforme a placa: o teste de desempenho no fim mostra a velocidade de verdade, e trocar depois é só refazer o caminho.

Onde achar modelos e como usar outro

O jeito mais simples é o catálogo do LightNote, na página Escolha um modelo: cada arquivo dele foi conferido por nós, com tamanho e sha256, e a lista mostra disco, memória, licença e o selo de cada um. Os que cabem bem neste computador aparecem primeiro. Fora dele, os modelos moram no Hugging Face (huggingface.co, procure por "GGUF"), na biblioteca do Ollama (ollama.com/library) e no catálogo do próprio LM Studio; para os dois últimos, use o caminho do Ollama ou do LM Studio.

Usar outro modelo. Em Outro modelo…, cole o endereço de um arquivo .gguf do Hugging Face (no formato https://huggingface.co/dono/repositório/resolve/main/arquivo.gguf) ou escolha um .gguf que já está no seu computador. O LightNote pede ao Hugging Face o tamanho e o sha256 do arquivo (sem o sha256 ele recusa, porque não teria como conferir o download) e lê o cabeçalho do modelo para estimar a memória. Antes de usar, confira três coisas na página do modelo: o tamanho (um arquivo maior que a sua memória livre não roda), a licença e o tipo — para conversa, um modelo instruído ("instruct", "chat", "it"); para a busca por significado, um modelo de embeddings ("embedding"). Prefira arquivos publicados pelo próprio autor do modelo: uma conversão malfeita pode até rodar e devolver resultados sem sentido.

Licenças

Cada modelo tem a sua licença, escolhida pelo autor: Apache 2.0 e MIT deixam usar à vontade; os Gemma Terms of Use (do EmbeddingGemma) e a Llama 3.2 Community License restringem alguns usos e exigem um aviso. Por isso a página Termos de uso mostra a licença do modelo e a do programa que o roda (llama.cpp, MIT), com o link para o texto completo, e o aviso exigido, quando há, no idioma original. Para continuar, marque Li e aceito os termos. O LightNote não redistribui nenhum modelo: ele baixa o arquivo direto da fonte (o Hugging Face, e o programa do GitHub do llama.cpp) e confere o sha256 de cada um antes de usar. Um download interrompido continua de onde parou.

Teste de desempenho e o selo

O selo. Na lista de modelos, Cabe bem quer dizer que o modelo usa menos da metade da memória livre agora; Pode ficar lento, que ele cabe mas aperta (mais da metade da memória livre, ou um processador sem AVX2); Não cabe, que ele precisaria de mais de 80% da memória livre — o assistente não deixa escolher esse. A memória livre muda conforme o que está aberto: feche programas pesados e o selo pode melhorar.

O teste de desempenho roda o modelo uma vez neste computador, para você ver quanto ele custa antes de adotá-lo, e diz tudo em linguagem simples: quanto ele ocupa em disco, quanto usa de memória enquanto está carregado, quantas palavras escreve por segundo e quanto do processador usou. Para um modelo de embeddings, ele mede quantos trechos embute por segundo e quanto tempo levaria indexar a pasta aberta. A frase do topo resume: Bom para conversar, Utilizável, mas devagar ou Lento neste computador. A primeira medida inclui o tempo de carregar o modelo.

Busca por significado na nuvem ou no computador

No caminho Busca por significado, o assistente pergunta onde calcular. Na nuvem (recomendado): rápido; só aparecem as IAs conectadas que calculam embeddings, e se nenhuma calcula ele diz qual conectar. O provedor cobra por trecho na primeira indexação e, depois, só pelo que mudar; o assistente mostra quantos trechos a pasta tem. No seu computador: grátis e privado, mas mais lento, e usa memória enquanto indexa — direto pelo LightNote (com os modelos de embeddings do catálogo, o EmbeddingGemma primeiro) ou pelo Ollama. O teste diz quanto tempo levaria a primeira indexação da pasta.

A indexação no computador roda em segundo plano, com 2 núcleos e prioridade baixa, para não disputar o processador com você; as seguintes só refazem o que mudou. Trocar de modelo reindexa a pasta: vetores de modelos diferentes não se comparam. O índice antigo fica guardado, então voltar ao modelo anterior não custa nada. As Configurações mostram um resumo (modelo, onde roda e quantos trechos estão indexados) com Alterar…, que reabre o assistente.

Lista de modelos e o assistente lembrado

Uma lista de modelos por linha. Cada IA cadastrada é uma linha com nome único, e o campo modelo aceita uma lista: o primeiro é o preferido, e os seguintes são tentados, na ordem, se ele falhar. Na tabela das Configurações, separe-os por vírgula; no assistente e no conector, use os botões de subir, descer e remover, e Buscar modelos… pergunta se o escolhido entra na lista ou a substitui. A sua lista vale mesmo com a troca automática de modelo desligada (a troca automática só acrescenta, depois dela, as alternativas do catálogo). Quando o primeiro falha e outro responde, uma notificação diz qual falhou, por quê e qual respondeu; clicar nela oferece tirar o modelo da lista — o LightNote nunca muda a sua lista sozinho.

O assistente lembrado. O chat, o Ctrl+K, a IA do bloco e as janelas de IA lembram o último assistente que você escolheu em cada um, por janela e pasta, e o trazem de volta ao reabrir o app — enquanto ele continuar disponível. A IA padrão não muda com isso: ela só muda quando você a troca nas Configurações. Nas listas de escolha, as IAs aparecem agrupadas pelo provedor.

Comparar respostas

No chat, Comparar respostas… (ou /comparar antes da pergunta) manda a mesma pergunta a 2 a 4 assistentes ao mesmo tempo, com o mesmo contexto da pasta, e mostra as respostas lado a lado, cada coluna dizendo se o assistente é local ou na nuvem. Embaixo de cada uma: o tempo até o primeiro pedaço, o total, tokens por segundo, tokens e, num modelo local, a memória. Continuar com esta põe só a resposta escolhida na conversa e passa o chat para aquele assistente; as outras são descartadas.

No Ctrl+K, Comparar com… manda a mesma instrução a 2 a 4 assistentes e mostra as propostas lado a lado, com as mudanças realçadas contra o trecho. Nada é aplicado ao documento antes da sua escolha; Aplicar esta aplica uma vez, e o Ctrl+Z desfaz. A comparação é só leitura: sem ferramentas, sem troca automática de modelo e sem janela de falha — a falha de um vira uma frase na coluna dele. Lembre-se de que um assistente na nuvem recebe o texto enviado.

Barra de status, descarregar e privacidade

Enquanto um modelo rodado pelo LightNote estiver carregado, a barra de status mostra IA local com o nome do modelo e a memória que ele usa (ou "carregando…"). Clique nele para Descarregar agora e devolver a memória na hora, sem esperar os 5 minutos; a próxima pergunta o carrega de novo. O indicador some quando nenhum modelo está carregado.

Privacidade. Com um modelo no seu computador — direto pelo LightNote, pelo Ollama ou pelo LM Studio — nada sai da máquina: nem a pergunta, nem as notas, nem os vetores da busca. O programa do modelo atende só no endereço local do computador, com uma senha nova a cada vez que é aberto, para que nenhuma página aberta no navegador consiga falar com ele.