내 컴퓨터의 AI

AI 설정: 다섯 가지 경로

AI 설정 마법사는 AI 설정… 버튼(설정 → AI 어시스턴트), 빈 채팅의 AI 연결…, 그리고 AI가 하나도 없을 때 Ctrl+K를 쓰면 열립니다. 첫 페이지는 무엇을 설정할지 묻습니다:

• 클라우드 AI — OpenAI, Gemini, Anthropic 등을 API 키로 연결합니다. 가장 간단하고 품질도 가장 좋은 방법이며, 계속 권장 기본값입니다. 페이지는 연결 창과 같습니다. 수락하기 전에 연결을 테스트하고, 키는 이 컴퓨터에만 인코딩되어 저장됩니다.
• 내 컴퓨터의 AI — Ollama 또는 LM Studio 사용 — 이 프로그램 중 하나를 이미 쓰거나 쓰려는 경우입니다. 마법사는 프로그램이 설치되었는지, 멈춰 있는지, 실행 중인지 알려 주고, 설치를 제안하며, 이미 설치된 모델과 다운로드 권장 모델을 다운로드 진행률과 함께 나열하고, 빠른 테스트를 합니다.
• 내 컴퓨터의 AI — LightNote에서 바로 — LightNote가 llama.cpp 공식 프로그램과 모델을 다운로드해, 따로 설치할 것 없이 둘 다 실행합니다. 다운로드하기 전에 모델이 디스크와 메모리를 얼마나 차지하는지 보여 주고 내 컴퓨터에서 속도를 측정합니다.
• 명령줄 어시스턴트 — Claude Code, Codex, Gemini CLI 등을 터미널에서 사용합니다. 채팅과 Ctrl+K에서는 스트리밍 없이, LightNote의 도구 없이 한 번에 응답합니다.
• 의미로 검색 — AI 채팅이 질문의 뜻으로 노트를 찾게 해 주는 임베딩으로, 클라우드나 내 컴퓨터에서 계산합니다.

모든 경로는 완료 페이지에서 끝납니다. 여기에는 AI의 이름(채팅, Ctrl+K, 설정에는 이 이름으로 표시됩니다), 모델 목록, 기본 AI로 사용 옵션이 있습니다. 설정에서 연 마법사는 확인을 클릭할 때만 저장하고, 다른 곳에서 열었으면 완료할 때 저장합니다. 같은 제공자의 행이 아직 키 없이 있으면 옆에 새로 만드는 대신 그 행을 채웁니다.

모델 종류, GGUF, 양자화

두 가지 모델. 대화 모델(지시 학습형, "instruct")은 글을 씁니다. 채팅, Ctrl+K, 블록 AI에서 답하는 모델입니다. 임베딩 모델은 아무것도 쓰지 않습니다. 텍스트 조각마다 숫자 벡터로 바꾸며, 뜻이 비슷한 텍스트는 가까운 벡터를 얻습니다 — 의미로 검색을 가능하게 하는 것이 이것입니다. 둘은 서로를 대신하지 못하며, 마법사는 각 경로에서 알맞은 종류만 제안합니다.

GGUF. llama.cpp, Ollama, LM Studio가 읽는 단일 파일 형식으로, 모델의 가중치와 설명이 .gguf 파일 하나에 들어 있습니다. 양자화는 각 가중치를 더 적은 비트로 저장해 파일을 더 작고 빠르게 만드는 것입니다. 이름이 비트 수를 알려 줍니다. Q8은 가중치당 8비트를 써서 원본에 아주 가깝고, Q4는 약 4비트를 써서 거의 절반 크기이면서 손실이 적습니다. 저희의 포르투갈어 검색 테스트에서 같은 모델의 Q4와 Q8은 비겼고, Q4가 두 배 가까이 빨랐습니다. 그래서 카탈로그는 Q4(Q4_0 또는 Q4_K_M)를 우선합니다.

디스크, 메모리, 속도, 그래픽 카드

디스크는 다운로드한 파일의 크기로, 보관하는 동안 차지합니다. 메모리는 모델이 불러와 있는 동안 쓰는 양입니다. 가중치에 대화 공간을 더한 것으로, 파일 크기보다 조금 큽니다. LightNote는 모델을 별도 프로세스에서 실행하며, 이 프로세스는 AI를 쓰는 동안에만 존재합니다. 5분 동안 쓰지 않으면 알아서 꺼지고 시스템이 메모리를 모두 돌려받습니다. 그 뒤의 첫 질문은 모델을 다시 불러오므로 조금 더 오래 걸립니다 — 채팅에 "모델을 불러오는 중…"이 표시됩니다. 속도는 프로세서와 모델 크기에 달려 있습니다. 작은 모델은 더 빨리 응답하고, 큰 모델은 더 잘 씁니다.

프로세서 또는 그래픽 카드. 기본적으로 모델은 프로세서에서 실행되며 어떤 컴퓨터에서나 동작합니다(AVX2가 있으면 훨씬 빠릅니다). 하드웨어 페이지에서 그래픽 카드 사용 (Vulkan)을 켜면 제조사와 관계없이 그래픽 카드를 쓰는 프로그램 버전을 다운로드합니다. 카드에 따라 더 빨라질 수도, 아닐 수도 있습니다. 마지막의 성능 테스트가 실제 속도를 보여 주며, 나중에 바꾸려면 경로를 다시 진행하면 됩니다.

모델을 찾는 곳과 다른 모델을 쓰는 방법

가장 간단한 방법은 LightNote 카탈로그로, 모델 고르기 페이지에 있습니다. 카탈로그의 파일은 모두 저희가 크기와 sha256까지 확인했으며, 목록에 각 모델의 디스크, 메모리, 라이선스, 배지가 표시됩니다. 이 컴퓨터에 여유 있게 들어가는 모델이 먼저 나옵니다. 카탈로그 밖의 모델은 Hugging Face(huggingface.co에서 "GGUF" 검색), Ollama 라이브러리(ollama.com/library), 그리고 LM Studio 자체 카탈로그에 있습니다. 뒤의 두 곳은 Ollama 또는 LM Studio 경로를 사용하세요.

다른 모델 사용. 다른 모델…에서 Hugging Face의 .gguf 파일 주소(https://huggingface.co/소유자/저장소/resolve/main/파일.gguf 형식)를 붙여넣거나, 이미 내 컴퓨터에 있는 .gguf를 선택하세요. LightNote는 Hugging Face에 파일 크기와 sha256을 요청하고(sha256이 없으면 다운로드를 확인할 방법이 없으므로 거부합니다), 모델 헤더를 읽어 메모리를 추정합니다. 사용하기 전에 모델 페이지에서 세 가지를 확인하세요. 크기(사용 가능한 메모리보다 큰 파일은 실행되지 않습니다), 라이선스, 그리고 종류 — 대화용이면 지시 학습형 모델("instruct", "chat", "it"), 의미로 검색용이면 임베딩 모델("embedding")입니다. 모델 작성자가 직접 게시한 파일을 고르세요. 잘못 변환된 파일은 실행은 되더라도 엉뚱한 결과를 돌려줄 수 있습니다.

라이선스

모델마다 작성자가 정한 라이선스가 있습니다. Apache 2.0과 MIT는 자유롭게 쓸 수 있고, Gemma Terms of Use(EmbeddingGemma)와 Llama 3.2 Community License는 일부 용도를 제한하며 고지를 요구합니다. 그래서 이용 약관 페이지는 모델의 라이선스와 이를 실행하는 프로그램의 라이선스(llama.cpp, MIT)를 전문 링크와 함께 보여 주고, 요구되는 고지가 있으면 원어로 보여 줍니다. 계속하려면 약관을 읽었으며 동의합니다에 체크하세요. LightNote는 어떤 모델도 재배포하지 않습니다. 파일을 출처(Hugging Face, 그리고 프로그램은 llama.cpp의 GitHub)에서 직접 다운로드하고, 사용하기 전에 각각의 sha256을 확인합니다. 중단된 다운로드는 멈춘 곳부터 이어집니다.

성능 테스트와 배지

배지. 모델 목록에서 여유 있음은 모델이 지금 사용 가능한 메모리의 절반보다 적게 쓴다는 뜻입니다. 느릴 수 있음은 들어가기는 하지만 빠듯하다는 뜻이고(사용 가능한 메모리의 절반 이상, 또는 AVX2가 없는 프로세서), 부족함은 사용 가능한 메모리의 80% 넘게 필요하다는 뜻입니다 — 마법사에서 이런 모델은 고를 수 없습니다. 사용 가능한 메모리는 열려 있는 것에 따라 달라집니다. 무거운 프로그램을 닫으면 배지가 나아질 수 있습니다.

성능 테스트는 모델을 바로 이 컴퓨터에서 한 번 실행해, 채택하기 전에 비용이 얼마나 드는지 보여 주며, 모든 것을 쉬운 말로 알려 줍니다. 디스크를 얼마나 차지하는지, 불러와 있는 동안 메모리를 얼마나 쓰는지, 초당 몇 단어를 쓰는지, 프로세서를 얼마나 사용했는지. 임베딩 모델이면 초당 몇 개의 조각을 임베딩하는지와 열려 있는 폴더를 색인하는 데 얼마나 걸릴지를 측정합니다. 맨 위 문장이 요약합니다: 대화하기에 좋습니다, 쓸 만하지만 느립니다, 이 컴퓨터에서는 느립니다. 첫 측정에는 모델을 불러오는 시간이 포함됩니다.

클라우드 또는 컴퓨터에서 의미로 검색

의미로 검색 경로에서 마법사는 어디서 계산할지 묻습니다. 클라우드 (권장): 빠릅니다. 임베딩을 계산하는 연결된 AI만 표시되며, 하나도 없으면 무엇을 연결할지 알려 줍니다. 제공자는 첫 색인 때 조각 단위로, 이후에는 바뀐 부분만 요금을 부과하며, 마법사가 폴더의 조각 수를 보여 줍니다. 내 컴퓨터: 무료이고 비공개이지만 더 느리고, 색인하는 동안 메모리를 씁니다 — LightNote에서 바로(카탈로그의 임베딩 모델, EmbeddingGemma가 첫 번째) 또는 Ollama로 실행합니다. 테스트가 폴더의 첫 색인에 걸릴 시간을 알려 줍니다.

컴퓨터에서의 색인은 백그라운드에서 코어 2개와 낮은 우선순위로 실행되어, 사용자와 프로세서를 두고 다투지 않습니다. 이후 색인은 바뀐 부분만 다시 처리합니다. 모델을 바꾸면 폴더를 다시 색인합니다. 서로 다른 모델의 벡터는 비교할 수 없기 때문입니다. 이전 색인은 보관되므로 예전 모델로 돌아가도 비용이 들지 않습니다. 설정에는 요약(모델, 실행 위치, 색인된 조각 수)이 표시되며, 변경…을 누르면 마법사가 다시 열립니다.

모델 목록과 기억된 어시스턴트

행마다 모델 목록 하나. 등록한 AI는 각각 고유한 이름을 가진 행이며, 모델 칸에는 목록을 넣을 수 있습니다. 첫 번째가 우선 모델이고, 그것이 실패하면 나머지를 순서대로 시도합니다. 설정의 표에서는 쉼표로 구분하고, 마법사와 연결 창에서는 위로, 아래로, 제거 버튼을 쓰세요. 모델 가져오기…는 고른 모델을 목록에 추가할지, 목록을 대체할지 묻습니다. 내 목록은 자동 모델 변경을 꺼도 적용됩니다(자동 변경은 목록 뒤에 카탈로그의 대안을 덧붙일 뿐입니다). 첫 모델이 실패하고 다른 모델이 응답하면, 어느 모델이 왜 실패했고 어느 모델이 응답했는지 알림이 뜹니다. 알림을 클릭하면 모델을 목록에서 빼기를 제안합니다 — LightNote는 사용자의 목록을 스스로 바꾸지 않습니다.

기억된 어시스턴트. 채팅, Ctrl+K, 블록 AI, AI 창은 각각에서 마지막으로 고른 어시스턴트를 창과 폴더별로 기억하고, 앱을 다시 열면 되살립니다 — 그 어시스턴트를 계속 쓸 수 있는 동안에는. 기본 AI는 이것으로 바뀌지 않으며, 설정에서 직접 바꿀 때만 바뀝니다. 선택 목록에서 AI는 제공자별로 묶여 표시됩니다.

답변 비교

채팅에서 답변 비교…(또는 질문 앞의 /compare)는 같은 질문을 폴더의 같은 컨텍스트와 함께 2~4개의 어시스턴트에 동시에 보내고 답변을 나란히 보여 주며, 각 열에 어시스턴트가 로컬인지 클라우드인지 표시됩니다. 각 답변 아래에는 첫 출력까지의 시간, 전체 시간, 초당 토큰, 토큰 수, 그리고 로컬 모델이면 메모리가 나옵니다. 이것으로 계속은 고른 답변만 대화에 넣고 채팅을 그 어시스턴트로 넘깁니다. 나머지는 버려집니다.

Ctrl+K에서 비교…는 같은 지시를 2~4개의 어시스턴트에 보내고 제안을 나란히 보여 주며, 원래 부분과 비교한 변경 내용을 강조합니다. 선택하기 전에는 문서에 아무것도 적용되지 않습니다. 이것 적용은 한 번 적용하며, Ctrl+Z로 되돌릴 수 있습니다. 비교는 읽기 전용입니다. 도구도, 자동 모델 변경도, 실패 창도 없으며 — 한 어시스턴트의 실패는 그 열에 한 문장으로 표시됩니다. 클라우드 어시스턴트에는 보내는 텍스트가 전달된다는 점을 기억하세요.

상태 표시줄, 언로드, 개인정보

LightNote가 실행한 모델이 불러와져 있는 동안 상태 표시줄에 모델 이름과 사용 중인 메모리(또는 "불러오는 중…")와 함께 로컬 AI가 표시됩니다. 이것을 클릭하고 지금 언로드를 누르면 5분을 기다리지 않고 바로 메모리를 돌려줍니다. 다음 질문에서 다시 불러옵니다. 불러온 모델이 없으면 표시기가 사라집니다.

개인정보. 내 컴퓨터의 모델을 쓰면 — LightNote에서 바로, Ollama 또는 LM Studio로 — 아무것도 컴퓨터 밖으로 나가지 않습니다. 질문도, 노트도, 검색 벡터도 마찬가지입니다. 모델 프로그램은 컴퓨터의 로컬 주소에서만 응답하며, 열릴 때마다 새 비밀번호를 쓰므로 브라우저에 열린 어떤 페이지도 그 프로그램과 통신할 수 없습니다.