超大 txt 文件怎么打开:记事本卡死怎么办

记事本和许多编辑器会把整个文件读入内存,所以打开超大文本文件会卡死。本文介绍不用编辑器读取日志的命令、拆分文件,以及能处理大文件的编辑器。

发布于

几百 MB 的文本文件或日志,会让记事本和许多其他编辑器卡死。本文解释原因,介绍不用任何编辑器就能读取、搜索和跟踪超大文件的方法,列出能应付大文件的编辑器,以及 LightNote 如何处理大文件(包括它的局限)。

为什么记事本打开超大 txt 文件会卡死?

大多数文本编辑器是为几 KB 的文件设计的。它们会把整个文件读入内存,拆分成行,并测量每一行,以便确定滚动条的大小。面对几个 GB 的日志,这意味着要等整个文件读完,占用的内存与文件大小相当(甚至更多,因为编辑器还要为撤销、语法高亮和搜索保留额外的数据结构),最糟糕的情况下 Windows 开始把内存换页到磁盘,窗口就停止响应了。

超长的行是最坏的情形。压缩过的 JSON、没有换行导出的 CSV,或者只有一行的调试转储,可能把几十 MB 放在同一行里,编辑器为了显示可见的那一部分,却得测量并折行整整一行。所以一个行很短的 200 MB 文件可以顺利打开,而一个带一整行巨大内容的 50 MB 文件却会卡住。

不管用什么工具,办法都一样:不要加载整个文件。要么只读取你需要的部分(日志的末尾、含有错误的那些行),要么使用一个分块读取文件、并在后台建立行索引的程序。

不用编辑器怎么打开超大日志文件?

如果你只想看日志的末尾、查找某一行,或者观察正在写入的内容,系统自带的工具无需加载文件就能完成。

想做什么Windows(PowerShell)Linux 和 macOS
看开头Get-Content app.log -TotalCount 50head -n 50 app.log
看结尾Get-Content app.log -Tail 100tail -n 100 app.log
跟踪新增的行Get-Content app.log -Tail 20 -Waittail -f app.log
搜索文本Select-String -Path app.log -Pattern "ERROR"grep -n "ERROR" app.log
翻页浏览more app.log(在命令提示符中)less app.log

在 Linux 上,less 是浏览大文件最好的终端查看器:它瞬间打开,可以双向滚动,用 / 搜索,less +F app.log 则像 tail -f 一样跟踪末尾。在 Windows 上,对超大文件不要使用 type,也不要使用不带 -Tail 或 -TotalCount 的 Get-Content:它们会把整个文件一股脑倒到屏幕上或读进内存。

想筛选并保留结果,可以把命令串起来。例如,把最后 500 行错误保存到一个任何编辑器都能打开的小文件里:

Select-String -Path app.log -Pattern "ERROR" | Select-Object -Last 500 | ForEach-Object Line | Set-Content errors.txt

可以把超大文件拆成小文件吗?

可以,而且当文件必须用普通编辑器打开时,这是个合理的办法。在 Linux、macOS、WSL 或 Windows 上的 Git Bash 中,split 可以按行数切分:

split -l 500000 -d app.log part_

这会生成 part_00、part_01 等文件,每个 500,000 行。代价是文件不再是一个整体:横跨两个部分的错误会被切成两半,搜索全部内容也变成了搜索多个文件。如果问题出在一行巨大的内容上,按行拆分并没有帮助。

Windows 上哪些编辑器能打开大文本文件?

最好把它们分成三类,因为它们解决的是不同的问题:

  • 普通编辑器(记事本,以及在相当程度上的 VS Code):在一定范围内没问题。VS Code 检测到大文件时会关闭较重的功能(设置名为 editor.largeFileOptimizations),但它仍然是为正常大小的文件设计的通用编辑器。
  • Notepad++ 能打开比记事本大得多的文件,但仍有限制。8.3 版(2022 年)的发行说明指出,64 位版本已取消 2 GB 的文件大小限制,也有用户报告打开了约 3 GB 的文件。超长行仍是问题:开发者指出,Scintilla(编辑组件)无法处理超过 INT_MAX 个字符(约 20 亿)的行。插件和语法高亮也会增加负担。请把任何数字当作经验值,而不是保证。
  • 为大文件设计的编辑器:EmEditor(商业软件)以这种用途闻名,klogg(免费的 glogg 后继者)是一款日志查看器:只读,在后台为文件建立索引,并用正则表达式筛选行。如果你整天都在读日志,两者都是不错的选择;klogg 是只读的,不能编辑。

没有哪一个是适合所有情况的“正确答案”。区别在于:你需要编辑文件,还是只需要阅读并筛选;文件是短行,还是有一整行巨大的内容。

LightNote 如何打开大文件?

LightNote 是一款免费的代码和笔记编辑器,支持 Windows 和 Linux,无需账号。它不会试图把大文件加载进常规的代码编辑器:超过大约 1 MB 时,文件会在一个虚拟化的轻量编辑器中打开,只加载屏幕上可见的块,而不是整个文件。实际上,这就是本文开头所说的第二条路,只不过放在了编辑器里。它能做什么、不能做什么:

  • 自动切换:无需任何配置。超过约 1 MB 的文件会交给轻量编辑器;想在较小的文件上强制使用,请用打开 → 在轻量编辑器中打开...。
  • 可以编辑和保存:编辑直接作用在原始文件之上,无需加载它;保存时会分块写出文件,而不是一次读完全部内容。
  • 没有语法高亮:轻量编辑器显示纯文本。这是不处理整个文件的代价。
  • 行索引在后台建立。如果内存不足以为所有行建立索引,编辑器的提示条会发出警告,只有前面的行可用。LightNote 并不承诺能打开任意大小的任何文件。
  • 已记录的局限:在数 GB 文件的开头附近编辑会很慢,因为行索引要从那个位置往后重建;而且这个编辑器没有撤销。
  • 跟踪日志:代码编辑器的标签页工具栏上有一个监视(tail -f)按钮,会在文件被写入时显示新增的行。
  • 查找某一行:全局搜索(Ctrl+Shift+F,侧边栏的搜索标签页)由 ripgrep 提供支持,支持正则表达式,会列出整个文件夹中匹配的文件和行,你可以从中打开重要的那一个。

如果你只需要日志的末尾,或者对几百万行做一次筛选,tail 和 grep 仍然更快。当你想按自己的节奏阅读、滚动并偶尔修改文件,又不想切换程序、希望和笔记、代码放在同一个地方时,轻量编辑器才有价值。

LightNote 免费、轻量,可在 Windows 和 Linux 上运行,无需账号,也不会把你的文件发送到任何地方。

下载 LightNote

其他文章

← 全部文章