数百メガバイトのテキストファイルやログは、メモ帳をはじめ多くのエディターを固まらせます。この記事では、その理由を説明し、エディターを使わずに巨大なファイルを読む・検索する・追いかける方法、扱えるエディター、そして LightNote が大きなファイルをどう扱うか(限界も含めて)を紹介します。
なぜメモ帳は巨大なテキストファイルで固まるのですか?
ほとんどのテキストエディターは、数キロバイトのファイルを想定して作られています。ファイル全体をメモリに読み込み、行に分け、スクロールバーの大きさを決めるためにすべての行の長さを測ります。数ギガバイトのログなら、全体の読み込みを待たされ、ファイルサイズ程度(元に戻す機能、構文ハイライト、検索のために余分な構造も持つので、それ以上)のメモリを使い、最悪の場合は Windows がディスクへのページングを始めて、ウィンドウが応答しなくなります。
いちばん厄介なのは非常に長い行です。minify された JSON、改行なしでエクスポートされた CSV、1 行のデバッグ出力は、1 行に数十メガバイトが入ることがあり、エディターは見えている部分を表示するためだけに、その行全体を測って折り返さなければなりません。行が短い 200 MB のファイルは問題なく開けるのに、巨大な 1 行を含む 50 MB のファイルでは固まる、ということが起こるのはそのためです。
どんなツールでも対策は同じで、ファイル全体を読み込まないことです。必要な部分(ログの末尾、エラーを含む行)だけを読むか、ファイルを少しずつ読み、バックグラウンドで行の索引を作るプログラムを使います。
エディターなしで巨大なログファイルを開くには?
ログの末尾を見たい、ある行を探したい、書き込まれている内容を追いかけたいだけなら、システムに組み込まれたツールでファイルを読み込まずに済ませられます。
| やりたいこと | Windows(PowerShell) | Linux と macOS |
|---|---|---|
| 先頭を見る | Get-Content app.log -TotalCount 50 | head -n 50 app.log |
| 末尾を見る | Get-Content app.log -Tail 100 | tail -n 100 app.log |
| 新しい行を追いかける | Get-Content app.log -Tail 20 -Wait | tail -f app.log |
| 文字列を検索する | Select-String -Path app.log -Pattern "ERROR" | grep -n "ERROR" app.log |
| ページ送りで読む | more app.log(コマンド プロンプト) | less app.log |
Linux では、大きなファイルを読むターミナルのビューアーとして less がいちばん優れています。すぐに開き、上下にスクロールでき、/ で検索でき、less +F app.log なら tail -f のように末尾を追いかけます。Windows では、巨大なファイルに対して type や、-Tail も -TotalCount も付けない Get-Content は避けてください。ファイル全体が画面に流れるか、メモリに読み込まれます。
絞り込んだ結果を残したいときは、コマンドをつなぎます。たとえば、直近の 500 件のエラー行を、どのエディターでも開ける小さなファイルに保存するには次のようにします。
Select-String -Path app.log -Pattern "ERROR" | Select-Object -Last 500 | ForEach-Object Line | Set-Content errors.txt
巨大なファイルを小さく分割できますか?
できます。普通のエディターで開く必要があるなら、現実的な対策です。Linux、macOS、WSL、Windows の Git Bash では、split で行数を指定して分割できます。
split -l 500000 -d app.log part_
これで part_00、part_01 のように、500,000 行ずつのファイルができます。代償は、ファイルが全体としてのまとまりを失うことです。2 つの断片にまたがるエラーは途中で切れ、全体を検索するには複数のファイルを検索しなければなりません。問題が巨大な 1 行にある場合は、行数での分割は役に立ちません。
Windows で大きなテキストファイルを開けるエディターは?
解決する問題が違うので、3 つに分けて考えると整理しやすくなります。
- 普通のエディター(メモ帳、そしてある程度までは VS Code):ある程度の大きさまでは使えます。VS Code は大きなファイルを検出すると重い機能を無効にします(設定名は
editor.largeFileOptimizations)が、それでも通常の大きさのファイルを想定した汎用エディターです。 - Notepad++ はメモ帳よりずっと大きなファイルを開けますが、限界はあります。バージョン 8.3(2022 年)のリリースノートには、ファイルサイズ 2 GB の制限が 64 ビット版から取り除かれたと書かれており、約 3 GB のファイルを開けたという利用者の報告もあります。非常に長い行は依然として問題で、開発者は Scintilla(編集コンポーネント)が INT_MAX 文字(約 20 億)を超える行を扱えないと述べています。プラグインや構文ハイライトの影響も受けます。数字は保証ではなく目安として扱ってください。
- 大きなファイル向けに作られたエディター:EmEditor(商用)はこの用途でよく知られています。klogg(glogg の後継の無料ソフト)はログビューアーで、読み取り専用、バックグラウンドでファイルの索引を作り、正規表現で行を絞り込みます。どちらも日々ログを読むなら良い選択ですが、klogg は読み取り専用なので編集はできません。
どれも「すべてに正解」ではありません。違いが出るのは、ファイルを編集する必要があるのか、読んで絞り込むだけなのか、そして行が短いのか、巨大な 1 行があるのかです。
LightNote は大きなファイルをどう開きますか?
Windows と Linux で使える無料のコード・ノートエディター LightNote は、アカウントが不要です。大きなファイルを通常のコードエディターに読み込もうとはしません。約 1 MB を超えるファイルは、ファイル全体ではなく画面に見えている断片だけを読み込む、仮想化された軽量エディターで開きます。この記事の最初にあった 2 つ目の方法を、エディターの中で実現するものです。何ができて、何ができないのかは次のとおりです。
- 自動で切り替わります。設定は不要です。約 1 MB を超えるファイルは軽量エディターで開きます。小さなファイルでも使いたいときは、開く → 軽量エディターで開く...で指定できます。
- 編集も保存もできます。編集は元のファイルの上で、読み込まずに行われ、保存はすべてを一度に読むのではなく、断片ごとに書き出します。
- 構文ハイライトはありません。軽量エディターはプレーンテキストを表示します。ファイル全体を処理しない代償です。
- 行の索引はバックグラウンドで作られます。すべての行を索引化するだけのメモリがない場合は、エディターの帯に警告が出て、先頭の行だけが利用できます。LightNote は、どんな大きさのファイルでも開けるとは約束しません。
- 記録されている制約:数ギガバイトのファイルの先頭付近を編集すると、その位置から行の索引を作り直すため遅くなります。また、このエディターには元に戻す機能がありません。
- ログを追いかける:コードエディターのタブ専用ツールバーには監視(tail -f)ボタンがあり、ファイルに書き込まれる新しい行を表示します。
- 行を探す:グローバル検索(Ctrl+Shift+F、サイドバーの検索タブ)は ripgrep を使い、正規表現に対応して、フォルダー全体の一致したファイルと行を一覧にします。そこから必要なものを開けます。
ログの末尾を見たいだけ、あるいは数百万行を絞り込みたいだけなら、tail や grep のほうが今も速いです。軽量エディターが役立つのは、プログラムを切り替えずに、ノートやコードと同じ場所で、自分のペースで読み、スクロールし、ときどき修正したいときです。

