대용량 텍스트 파일 열기: 메모장이 멈출 때

큰 로그는 메모장을 멈추게 합니다. 편집기 없이 끝을 보고 검색하는 방법과, 큰 파일을 감당하는 편집기, LightNote가 큰 파일을 여는 방식과 한계를 알려 드립니다.

게시일

수백 메가바이트짜리 텍스트 파일이나 로그는 메모장을 비롯한 많은 편집기를 멈추게 합니다. 이 글에서는 왜 그런지, 편집기 없이 거대한 파일을 읽고 검색하고 따라가는 방법, 감당할 수 있는 편집기들, 그리고 LightNote가 큰 파일을 어떻게 다루는지(한계 포함)를 설명합니다.

거대한 텍스트 파일에서 메모장이 멈추는 이유는?

대부분의 텍스트 편집기는 몇 킬로바이트짜리 파일을 염두에 두고 설계되었습니다. 파일 전체를 메모리로 읽어 줄로 나누고, 스크롤 막대의 크기를 정하려고 모든 줄의 길이를 잽니다. 수 기가바이트짜리 로그라면 전체를 읽는 동안 기다려야 하고, 파일 크기만큼(또는 그 이상) 메모리를 씁니다. 편집기가 실행 취소, 구문 강조, 검색을 위한 구조를 따로 유지하기 때문입니다. 최악의 경우 Windows가 디스크로 페이징을 시작하면서 창이 응답하지 않게 됩니다.

매우 긴 줄이 가장 나쁜 경우입니다. 압축된 JSON, 줄바꿈 없이 내보낸 CSV, 한 줄짜리 디버그 덤프는 한 줄에 수십 메가바이트를 담을 수 있고, 편집기는 보이는 부분만 보여 주려고 그 줄 전체를 재고 줄바꿈해야 합니다. 그래서 줄이 짧은 200 MB 파일은 잘 열리는데, 거대한 한 줄이 든 50 MB 파일은 멈추기도 합니다.

어떤 도구든 해법은 같습니다. 파일 전체를 불러오지 않는 것입니다. 필요한 부분(로그의 끝, 오류가 든 줄)만 읽거나, 파일을 조각 단위로 읽으며 백그라운드에서 줄 색인을 만드는 프로그램을 쓰세요.

편집기 없이 거대한 로그 파일을 열려면?

로그의 끝을 보거나, 줄 하나를 찾거나, 지금 기록되는 내용을 지켜보려는 것뿐이라면 운영체제에 내장된 도구가 파일을 불러오지 않고 해냅니다.

하려는 일Windows (PowerShell)Linux, macOS
처음 보기Get-Content app.log -TotalCount 50head -n 50 app.log
끝 보기Get-Content app.log -Tail 100tail -n 100 app.log
새 줄 따라가기Get-Content app.log -Tail 20 -Waittail -f app.log
텍스트 검색Select-String -Path app.log -Pattern "ERROR"grep -n "ERROR" app.log
페이지 단위로 넘기기more app.log (명령 프롬프트에서)less app.log

Linux에서는 less가 큰 파일을 위한 가장 좋은 터미널 뷰어입니다. 즉시 열리고, 양방향으로 스크롤되며, /로 검색하고, less +F app.log는 tail -f처럼 끝을 따라갑니다. Windows에서는 거대한 파일에 type이나 -Tail, -TotalCount 없는 Get-Content를 쓰지 마세요. 파일 전체를 화면에 쏟아내거나 메모리에 올립니다.

거르고 결과를 남기려면 명령을 이어 붙이세요. 예를 들어 마지막 오류 500줄을 아무 편집기로나 열 수 있는 작은 파일에 저장하는 방법입니다.

Select-String -Path app.log -Pattern "ERROR" | Select-Object -Last 500 | ForEach-Object Line | Set-Content errors.txt

거대한 파일을 작은 파일로 나눌 수 있나요?

네. 일반 편집기로 열어야 한다면 합리적인 해법입니다. Linux, macOS, WSL, Windows의 Git Bash에서는 split이 줄 수 기준으로 자릅니다.

split -l 500000 -d app.log part_

이렇게 하면 part_00, part_01 같은 파일이 만들어지고 각각 50만 줄이 들어 있습니다. 대가는 파일이 하나의 전체로서 가지던 성질을 잃는 것입니다. 두 조각에 걸친 오류는 반으로 잘리고, 전체를 검색하려면 파일 여러 개를 검색해야 합니다. 문제가 거대한 한 줄이라면 줄 단위 분할은 도움이 되지 않습니다.

Windows에서 큰 텍스트 파일을 열 수 있는 편집기는?

서로 다른 문제를 푸는 세 부류로 나누어 보면 도움이 됩니다.

  • 일반 편집기(메모장, 그리고 어느 정도는 VS Code): 한계까지는 괜찮습니다. VS Code는 큰 파일을 감지하면 무거운 기능을 끄지만(설정 이름은 editor.largeFileOptimizations입니다), 여전히 보통 크기의 파일을 위해 만든 범용 편집기입니다.
  • Notepad++는 메모장보다 훨씬 큰 파일을 열지만 한계가 있습니다. 8.3 버전(2022년) 릴리스 노트에는 파일 크기 2 GB 제한이 64비트 버전에서 제거되었다고 나와 있고, 약 3 GB 파일을 열었다는 사용자 보고도 있습니다. 매우 긴 줄은 여전히 문제로, 개발자는 Scintilla(편집 컴포넌트)가 INT_MAX 문자(약 20억)보다 긴 줄을 처리하지 못한다고 말합니다. 플러그인과 구문 강조도 영향을 줍니다. 어떤 숫자든 보장이 아니라 어림값으로 받아들이세요.
  • 큰 파일을 위해 만든 편집기: EmEditor(상용)가 이 용도로 알려져 있고, klogg(glogg의 무료 후속)는 로그 뷰어입니다. 읽기 전용이고, 백그라운드에서 파일을 색인하고, 정규식으로 줄을 거릅니다. 하루 종일 로그를 읽는다면 둘 다 좋은 선택이지만 klogg는 읽기 전용이라 편집할 수 없습니다.

모든 경우에 “정답”인 도구는 없습니다. 달라지는 것은 파일을 편집해야 하는지 읽고 거르기만 하면 되는지, 그리고 줄이 짧은지 거대한 한 줄이 있는지입니다.

LightNote는 큰 파일을 어떻게 여나요?

LightNote는 Windows와 Linux용 무료 코드·노트 편집기로, 계정이 필요 없습니다. 큰 파일을 일반 코드 편집기에 불러오려 하지 않습니다. 약 1 MB를 넘는 파일은 화면에 보이는 조각만 불러오는 가상화된 경량 편집기에서 열립니다. 이 글 첫머리의 두 번째 방법을 편집기 안에서 쓰는 셈입니다. 무엇을 하고 무엇을 하지 않는지는 다음과 같습니다.

  • 자동으로 전환됩니다. 설정할 것이 없습니다. 약 1 MB를 넘는 파일은 경량 편집기로 가며, 더 작은 파일에서 강제로 쓰려면 열기 → 경량 편집기로 열기...를 사용하세요.
  • 편집하고 저장할 수 있습니다. 편집은 파일을 불러오지 않고 원본 위에서 이루어지며, 저장은 모든 것을 한꺼번에 읽는 대신 조각 단위로 파일을 씁니다.
  • 구문 강조가 없습니다. 경량 편집기는 일반 텍스트로 보여 줍니다. 파일 전체를 처리하지 않는 대가입니다.
  • 줄 색인은 백그라운드에서 만들어집니다. 모든 줄을 색인할 메모리가 부족하면 편집기의 막대가 알려 주고 처음 몇 줄만 사용할 수 있습니다. LightNote는 어떤 크기의 파일이든 열 수 있다고 약속하지 않습니다.
  • 기록된 한계. 수 기가바이트 파일의 앞부분 근처를 편집하면 느립니다. 그 지점부터 줄 색인을 다시 만들기 때문입니다. 또 이 편집기에는 실행 취소가 없습니다.
  • 로그 따라가기. 코드 편집기에는 탭 도구 모음에 모니터링 (tail -f) 버튼이 있어, 파일에 기록되는 새 줄을 보여 줍니다.
  • 줄 찾기. 전역 검색(Ctrl+Shift+F, 사이드바의 검색 탭)은 ripgrep 기반이며 정규식을 지원하고, 폴더 전체에서 일치하는 파일과 줄을 나열합니다. 거기서 필요한 것을 열면 됩니다.

로그의 끝만 보거나 수백만 줄을 거르기만 하면 된다면 tail과 grep이 여전히 더 빠릅니다. 프로그램을 바꾸지 않고, 노트와 코드가 있는 같은 곳에서 파일을 내 속도로 읽고, 스크롤하고, 가끔 고치고 싶을 때 경량 편집기가 값을 합니다.

LightNote는 무료이고 가벼우며 Windows와 Linux에서 실행됩니다. 계정이 필요 없고 파일을 어디에도 보내지 않습니다.

LightNote 다운로드

다른 글

← 모든 글