Как открыть большой TXT-файл или огромный лог в Windows

Чтобы открыть огромный файл, не загружайте его целиком: читайте конец, фильтруйте строки или берите редактор, который грузит только видимую часть. Варианты и их ограничения.

Опубликовано

Текстовый файл или лог в несколько сотен мегабайт заставит зависнуть Блокнот и множество других редакторов. В этом руководстве объясняется почему, показано, как читать, искать и отслеживать огромный файл вообще без редактора, перечислены редакторы, которые справляются, и рассказано, что делает с большими файлами LightNote, включая его ограничения.

Почему Блокнот зависает на огромном текстовом файле?

Большинство текстовых редакторов проектировались для файлов в несколько килобайт. Они читают в память весь файл, разбивают его на строки и измеряют каждую строку, чтобы рассчитать полосу прокрутки. Для многогигабайтного лога это значит ожидание полного чтения, расход памяти порядка размера файла (или больше, ведь редакторы держат дополнительные структуры для отмены, подсветки синтаксиса и поиска), а в худшем случае Windows начинает подкачку на диск, и окно перестаёт отвечать.

Хуже всего приходится с очень длинными строками. Минифицированный JSON, CSV, выгруженный без переводов строк, или однострочный дамп отладки могут уместить десятки мегабайт в одной строке, и редактору приходится измерять и переносить всю эту строку, чтобы показать видимую часть. Поэтому файл в 200 МБ с короткими строками может открыться нормально, а файл в 50 МБ с одной гигантской строкой — повиснуть.

Каким бы ни был инструмент, решение одно: не загружать файл целиком. Либо читать только нужную часть (конец лога, строки с ошибкой), либо использовать программу, которая читает файл по частям и строит индекс строк в фоне.

Как открыть огромный лог без редактора?

Если нужно увидеть только конец лога, найти строку или посмотреть, что сейчас записывается, справятся встроенные средства системы, не загружая файл целиком.

Что нужноWindows (PowerShell)Linux и macOS
Посмотреть началоGet-Content app.log -TotalCount 50head -n 50 app.log
Посмотреть конецGet-Content app.log -Tail 100tail -n 100 app.log
Следить за новыми строкамиGet-Content app.log -Tail 20 -Waittail -f app.log
Искать текстSelect-String -Path app.log -Pattern "ERROR"grep -n "ERROR" app.log
Листать постраничноmore app.log (в командной строке)less app.log

В Linux less — лучший терминальный просмотрщик для большого файла: он открывается мгновенно, прокручивается в обе стороны и ищет по /, а less +F app.log следит за концом, как tail -f. В Windows не используйте type и «голый» Get-Content (без -Tail или -TotalCount) на огромном файле: они выводят на экран или в память весь файл целиком.

Чтобы отфильтровать и сохранить результат, объедините команды в конвейер. Например, чтобы сохранить последние 500 строк с ошибками в небольшой файл, который откроет любой редактор:

Select-String -Path app.log -Pattern "ERROR" | Select-Object -Last 500 | ForEach-Object Line | Set-Content ошибки.txt

Можно ли разбить огромный файл на меньшие?

Да, и это разумное решение, когда файл нужно открыть в обычном редакторе. В Linux, macOS, WSL или Git Bash для Windows команда split режет по числу строк:

split -l 500000 -d app.log part_

Получатся файлы part_00, part_01 и так далее, по 500 000 строк в каждом. Цена — потеря файла как целого: ошибка, растянувшаяся на две части, окажется разрезанной пополам, а поиск по всему теперь означает поиск в нескольких файлах. Если проблема в одной гигантской строке, разбиение по строкам не поможет.

Какие редакторы открывают большие текстовые файлы в Windows?

Полезно разделить их на три семейства, потому что они решают разные задачи:

  • Обычные редакторы (Блокнот и в значительной мере VS Code): годятся до определённого предела. VS Code отключает тяжёлые функции, когда обнаруживает большой файл (параметр называется editor.largeFileOptimizations), но это всё равно универсальный редактор, рассчитанный на файлы обычного размера.
  • Notepad++ открывает файлы намного больше, чем Блокнот, но у него есть ограничения. В примечаниях к версии 8.3 (2022) сказано, что ограничение размера файла в 2 ГБ снято в 64-разрядной версии, а пользователи сообщают, что открывают файлы около 3 ГБ. Очень длинные строки остаются проблемой: разработчик отмечает, что Scintilla (компонент редактирования) не справляется со строками длиннее INT_MAX символов (около 2 миллиардов). На нагрузку влияют и плагины с подсветкой синтаксиса. Считайте любое число ориентиром, а не гарантией.
  • Редакторы, созданные для больших файлов: EmEditor (коммерческий) известен именно таким применением, а klogg (бесплатный преемник glogg) — просмотрщик логов: только для чтения, индексирует файл в фоне и фильтрует строки регулярными выражениями. Оба хороши, если вы читаете логи целыми днями; klogg редактировать не умеет, он только для чтения.

«Правильного для всего» среди них нет. Различие в том, нужно ли вам редактировать файл или только читать и фильтровать, и есть ли в нём короткие строки или одна гигантская.

Как LightNote открывает большие файлы?

LightNote — бесплатный редактор кода и заметок для Windows и Linux, без учётной записи. Он не пытается загружать большой файл в обычный редактор кода: свыше примерно 1 МБ файл открывается в виртуализированном облегчённом редакторе, который загружает только фрагменты, видимые на экране, а не весь файл. На практике это второй путь из начала этого руководства, только внутри редактора. Что это означает и чего не означает:

  • Переключение происходит автоматически: настраивать ничего не нужно. Файл свыше ~1 МБ попадает в облегчённый редактор; чтобы включить его принудительно для файла поменьше, используйте Открыть → Открыть в облегчённом редакторе....
  • Редактировать и сохранять можно: правки делаются поверх исходного файла без его загрузки, а сохранение записывает файл по частям, а не читает всё сразу.
  • Подсветки синтаксиса нет: облегчённый редактор показывает обычный текст. Это цена за то, что файл не обрабатывается целиком.
  • Индекс строк строится в фоне. Если памяти не хватает, чтобы проиндексировать все строки, полоса редактора предупреждает об этом, и доступны только первые строки. LightNote не обещает открыть любой файл любого размера.
  • Записанные ограничения: редактирование вблизи начала многогигабайтного файла идёт медленно, потому что индекс строк перестраивается с этого места, а в этом редакторе нет отмены.
  • Слежение за логом: в редакторе кода на панели инструментов вкладки есть кнопка Мониторинг (tail -f), которая показывает новые строки по мере записи файла.
  • Поиск строки: глобальный поиск (Ctrl+Shift+F, вкладка Поиск боковой панели) работает на ripgrep, поддерживает регулярные выражения и перечисляет подходящие файлы и строки по всей папке, откуда можно открыть нужный.

Если вам нужен только конец лога или фильтр по миллионам строк, tail и grep по-прежнему быстрее. Облегчённый редактор окупается, когда вы хотите читать в своём темпе, прокручивать и изредка править файл, не переключая программу, в том же месте, где лежат ваши заметки и код.

LightNote бесплатный, лёгкий и работает в Windows и Linux — без учётной записи и без отправки ваших файлов куда-либо.

Скачать LightNote

Другие статьи

← Все статьи