大きいテキストファイル・巨大ログを開く方法(Windows)

数百 MB のテキストやログはメモ帳を固まらせます。エディターを使わず読む方法、分割、扱えるエディター、LightNote の軽量エディターとその制約をまとめました。

公開日

数百メガバイトのテキストファイルやログは、メモ帳をはじめ多くのエディターを固まらせます。この記事では、その理由を説明し、エディターを使わずに巨大なファイルを読む・検索する・追いかける方法、扱えるエディター、そして LightNote が大きなファイルをどう扱うか(限界も含めて)を紹介します。

なぜメモ帳は巨大なテキストファイルで固まるのですか?

ほとんどのテキストエディターは、数キロバイトのファイルを想定して作られています。ファイル全体をメモリに読み込み、行に分け、スクロールバーの大きさを決めるためにすべての行の長さを測ります。数ギガバイトのログなら、全体の読み込みを待たされ、ファイルサイズ程度(元に戻す機能、構文ハイライト、検索のために余分な構造も持つので、それ以上)のメモリを使い、最悪の場合は Windows がディスクへのページングを始めて、ウィンドウが応答しなくなります。

いちばん厄介なのは非常に長い行です。minify された JSON、改行なしでエクスポートされた CSV、1 行のデバッグ出力は、1 行に数十メガバイトが入ることがあり、エディターは見えている部分を表示するためだけに、その行全体を測って折り返さなければなりません。行が短い 200 MB のファイルは問題なく開けるのに、巨大な 1 行を含む 50 MB のファイルでは固まる、ということが起こるのはそのためです。

どんなツールでも対策は同じで、ファイル全体を読み込まないことです。必要な部分(ログの末尾、エラーを含む行)だけを読むか、ファイルを少しずつ読み、バックグラウンドで行の索引を作るプログラムを使います。

エディターなしで巨大なログファイルを開くには?

ログの末尾を見たい、ある行を探したい、書き込まれている内容を追いかけたいだけなら、システムに組み込まれたツールでファイルを読み込まずに済ませられます。

やりたいことWindows(PowerShell)Linux と macOS
先頭を見るGet-Content app.log -TotalCount 50head -n 50 app.log
末尾を見るGet-Content app.log -Tail 100tail -n 100 app.log
新しい行を追いかけるGet-Content app.log -Tail 20 -Waittail -f app.log
文字列を検索するSelect-String -Path app.log -Pattern "ERROR"grep -n "ERROR" app.log
ページ送りで読むmore app.log(コマンド プロンプト)less app.log

Linux では、大きなファイルを読むターミナルのビューアーとして less がいちばん優れています。すぐに開き、上下にスクロールでき、/ で検索でき、less +F app.log なら tail -f のように末尾を追いかけます。Windows では、巨大なファイルに対して type や、-Tail も -TotalCount も付けない Get-Content は避けてください。ファイル全体が画面に流れるか、メモリに読み込まれます。

絞り込んだ結果を残したいときは、コマンドをつなぎます。たとえば、直近の 500 件のエラー行を、どのエディターでも開ける小さなファイルに保存するには次のようにします。

Select-String -Path app.log -Pattern "ERROR" | Select-Object -Last 500 | ForEach-Object Line | Set-Content errors.txt

巨大なファイルを小さく分割できますか?

できます。普通のエディターで開く必要があるなら、現実的な対策です。Linux、macOS、WSL、Windows の Git Bash では、split で行数を指定して分割できます。

split -l 500000 -d app.log part_

これで part_00、part_01 のように、500,000 行ずつのファイルができます。代償は、ファイルが全体としてのまとまりを失うことです。2 つの断片にまたがるエラーは途中で切れ、全体を検索するには複数のファイルを検索しなければなりません。問題が巨大な 1 行にある場合は、行数での分割は役に立ちません。

Windows で大きなテキストファイルを開けるエディターは?

解決する問題が違うので、3 つに分けて考えると整理しやすくなります。

  • 普通のエディター(メモ帳、そしてある程度までは VS Code):ある程度の大きさまでは使えます。VS Code は大きなファイルを検出すると重い機能を無効にします(設定名は editor.largeFileOptimizations)が、それでも通常の大きさのファイルを想定した汎用エディターです。
  • Notepad++ はメモ帳よりずっと大きなファイルを開けますが、限界はあります。バージョン 8.3(2022 年)のリリースノートには、ファイルサイズ 2 GB の制限が 64 ビット版から取り除かれたと書かれており、約 3 GB のファイルを開けたという利用者の報告もあります。非常に長い行は依然として問題で、開発者は Scintilla(編集コンポーネント)が INT_MAX 文字(約 20 億)を超える行を扱えないと述べています。プラグインや構文ハイライトの影響も受けます。数字は保証ではなく目安として扱ってください。
  • 大きなファイル向けに作られたエディター:EmEditor(商用)はこの用途でよく知られています。klogg(glogg の後継の無料ソフト)はログビューアーで、読み取り専用、バックグラウンドでファイルの索引を作り、正規表現で行を絞り込みます。どちらも日々ログを読むなら良い選択ですが、klogg は読み取り専用なので編集はできません。

どれも「すべてに正解」ではありません。違いが出るのは、ファイルを編集する必要があるのか、読んで絞り込むだけなのか、そして行が短いのか、巨大な 1 行があるのかです。

LightNote は大きなファイルをどう開きますか?

Windows と Linux で使える無料のコード・ノートエディター LightNote は、アカウントが不要です。大きなファイルを通常のコードエディターに読み込もうとはしません。約 1 MB を超えるファイルは、ファイル全体ではなく画面に見えている断片だけを読み込む、仮想化された軽量エディターで開きます。この記事の最初にあった 2 つ目の方法を、エディターの中で実現するものです。何ができて、何ができないのかは次のとおりです。

  • 自動で切り替わります。設定は不要です。約 1 MB を超えるファイルは軽量エディターで開きます。小さなファイルでも使いたいときは、開く → 軽量エディターで開く...で指定できます。
  • 編集も保存もできます。編集は元のファイルの上で、読み込まずに行われ、保存はすべてを一度に読むのではなく、断片ごとに書き出します。
  • 構文ハイライトはありません。軽量エディターはプレーンテキストを表示します。ファイル全体を処理しない代償です。
  • 行の索引はバックグラウンドで作られます。すべての行を索引化するだけのメモリがない場合は、エディターの帯に警告が出て、先頭の行だけが利用できます。LightNote は、どんな大きさのファイルでも開けるとは約束しません。
  • 記録されている制約:数ギガバイトのファイルの先頭付近を編集すると、その位置から行の索引を作り直すため遅くなります。また、このエディターには元に戻す機能がありません。
  • ログを追いかける:コードエディターのタブ専用ツールバーには監視(tail -f)ボタンがあり、ファイルに書き込まれる新しい行を表示します。
  • 行を探す:グローバル検索(Ctrl+Shift+F、サイドバーの検索タブ)は ripgrep を使い、正規表現に対応して、フォルダー全体の一致したファイルと行を一覧にします。そこから必要なものを開けます。

ログの末尾を見たいだけ、あるいは数百万行を絞り込みたいだけなら、tail や grep のほうが今も速いです。軽量エディターが役立つのは、プログラムを切り替えずに、ノートやコードと同じ場所で、自分のペースで読み、スクロールし、ときどき修正したいときです。

LightNote は無料で軽量、Windows と Linux で動きます。アカウント不要で、ファイルをどこにも送りません。

LightNote をダウンロード

ほかの記事

← すべての記事