大きい CSV ファイルを開く方法(Excel で開けないとき)

数百万行の CSV は Excel の上限を超え、保存すると読み込まれなかった行が失われます。回避策と、CSV を取り込まずに SQL で調べる方法を紹介します。

公開日

数百万行の CSV を Excel が扱いきれない、あるいはテキストエディターが固まってしまう。この記事では、そんなファイルを開くと何が起きるのか、回避する方法(分割、Power Query、pandas、SQL)、そして CSV を取り込まずに SQL で調べる方法を説明します。

なぜ大きい CSV ファイルは Excel で開けないのですか?

Excel のワークシートに入るのは、Microsoft のExcel の仕様と制限によると、最大で 1,048,576 行 × 16,384 列です。それより大きい CSV は収まらず、Excel は次のように警告します。「このデータ セットは Excel グリッドには大きすぎます。このブックを保存すると、読み込まれなかったデータが失われます。」そのまま進めると、先頭の 1,048,576 行だけが読み込まれ、残りは取り込まれません。

危険なのは、Microsoft がデータ セットが Excel グリッドに対して大きすぎる場合の対処方法で強調している点です。保存すると、読み込まれなかった行は失われます。元のファイルに上書き保存しないでください。保存するならファイル → コピーを保存を使い、切り詰められたコピーだとわかる名前を付けましょう。

なぜテキストエディターも固まるのですか?

多くのエディターは、ファイル全体をメモリに読み込み、すべての行を管理します。数ギガバイトの CSV では、待たされたり、ウィンドウが応答しなくなったり、プログラムが終了したりします。さらに、ファイルが開けたとしても、カンマで区切られた何百万行を眺めても、知りたいことの答えにはなりません。地域別の売上はいくらか、どの行が間違っているか、といったことです。必要なのはファイルを読むことではなく、問い合わせることです。

大きい CSV を開いて分析する方法には何がありますか?

方法向いている用途注意点
ファイルを分割する分割した各ファイルを Excel で開く見出し行が付くのは最初の断片だけ。全体の集計は自分で行う
Excel の Power Query とデータ モデルExcel を使い慣れた人が、全体をピボットテーブルで分析するデスクトップ版 Excel での操作で、ファイルはグリッドには入らない
Python と pandas(チャンク読み込み)コードを書く人集計のコードは自分で書く
DuckDB / CSV に直接 SQL取り込まずに、絞り込み、グループ化、件数の確認画面がない限りコマンドライン
CSV 専用のビューアー大きなファイルを眺める問い合わせができるか、表示だけかを確認する
オンラインのツール機密を含まない小さなファイルファイルを第三者のサーバーにアップロードする

ファイルを分割する

Linux、macOS、Windows の Git Bash では、split コマンドで行数を指定して分割できます。

split -l 1000000 sales.csv part_

どの断片も Excel の上限に収まりますが、見出し行があるのは最初の断片だけで、ほかは手作業で追加する必要があります。部分ごとに見るには使えますが、全体についての疑問には答えられません。

Power Query とデータ モデル

こうした場合、Microsoft はデスクトップ版 Excel のデータの取得(Power Query)でファイルを開き、データセットの全体を読み込んで、ピボットテーブルで分析することを勧めています。データ → データの取得 → ファイルから → テキストまたは CSV からでファイルを取り込み、読み込みの画面ではワークシートに送らず、接続の作成のみを選んで、データ モデルに追加します。テキスト/CSV コネクタが Excel で利用できることは、Power Query コネクタのインデックスに載っています。

Python と pandas(チャンク読み込み)

pandas の read_csv には chunksize があり、ファイルを一度に全部ではなく少しずつ読み込めます。メモリを使い切らずに地域別の合計を出す例です。

import pandas as pd

chunks = pd.read_csv("sales.csv", chunksize=1_000_000)
partials = (c.groupby("region")["amount"].sum() for c in chunks)
total = pd.concat(partials).groupby(level=0).sum()
print(total.sort_values(ascending=False))

CSV を取り込まずに SQL で問い合わせるには?

DuckDB は CSV をディスクから直接読み込んで SQL クエリに答えます。データベースを作る必要も、取り込む必要もありません。SELECT * FROM 'file.csv' と read_csv(...) の書き方は、DuckDB の CSV ドキュメント(英語)にあります。duckdb.org から実行ファイルをダウンロードし、ファイルのあるフォルダーでターミナルを開いて、次のコマンドを実行します(duckdb と入力してコンソールを使ってもかまいません)。

1. ファイルの行数:

duckdb -c "SELECT COUNT(*) FROM 'sales.csv'"

2. 地域別の合計(大きい順):

duckdb -c "SELECT region, SUM(amount) AS total FROM read_csv('sales.csv') GROUP BY region ORDER BY total DESC"

3. Excel に収まる分だけを取り出す:

duckdb -c "COPY (SELECT * FROM 'sales.csv' WHERE date >= '2026-01-01') TO 'slice.csv' (HEADER, DELIMITER ',')"

日常でいちばん役に立つのは 3 つ目です。ファイル全体を Excel に持ち込む代わりに、絞り込んだ結果や集計した結果だけを持ち込めば、ワークシートに収まります。CSV の区切りがセミコロンなら read_csv に指定します(例:read_csv('sales.csv', delim=';'))。小数点がカンマなら decimal_separator=',' を加えます。

LightNote で大きい CSV を開く

Windows と Linux で使える無料のコード・ノートエディター LightNote は、アカウント不要で、ローカルのファイルを扱います。前のセクションと同じ DuckDB をエンジンに使い、その上にテーブル、フィルター、グラフを載せています。ヘルプによると、流れは次のとおりです。

  1. テーブルとして開く。ファイルツリーで .csv を右クリックし、テーブルとして開くを選びます。読み込みは DuckDB 経由でページングされ(オンデマンド)、並べ替え(ヘッダーをクリック)と絞り込みは、全部を読み込む代わりにエンジンに任されます。
  2. ファイルの中身を知る。構造ボタンで、列・型・行数がわかります。クイックフィルター(Ctrl+F、「いずれかの列に含む」)では、残りの行数が表示されます。
  3. 自由な SQL。テーブル上部のバーは任意の DuckDB クエリを受け付け、ビュー t が開いているファイルを表します。SELECT region, SUM(amount) AS total FROM t GROUP BY region ORDER BY total DESC のように使います。
  4. 品質。品質ボタンは、列ごとに、値のある行、空や NULL の行、異なる値、よく出る値、外れ値を、サンプルではなく適用中のフィルターを含む全体について示します。間違った数字になる前に、汚れた行を見つけられます。
  5. 分析。バーのデータと分析のボタンで、同じファイルに対するグラフとピボットテーブルのボードに切り替えます。集計は DuckDB で行われ、すでに縮約された結果が返ります。分析は、データファイルの隣に開かれた形式の JSON として保存されます。

区切り文字が認識されないとき

区切り文字が認識されず(列数がそろっていない行があると起こりがちです)、テーブルが1 列だけで、行がまるごとその中に入ってしまうことがあります。その場合、LightNote はテーブルの上に帯を出して、ファイルが持っていそうな列数を示し、寛容な読み取りを提案します。これは列数がそろっていなくても 1 行ずつ読む方式で、絞り込み、並べ替え、グラフ、ピボットテーブル、分析エリアが使えます。使えないのは自由な SQL だけです。まだ保存していないテキストや、区切り文字を自分で指定したいときは、表示 → 区切りファイルとして表示…を使います。

結果を持ち出す

エクスポートボタンは、現在のビューを書き出します(CSV、Parquet、JSON)。テーブルのコンテキストメニューの形式を指定してコピーは、選択範囲を整形して貼り付けます(Excel 向けの表、Markdown、CSV など)。ただし 100 万セルを超えると拒否されるので、すべてを持ち出すときはエクスポートを使ってください。絞り込んだ、または集計した数行の CSV なら、この記事の冒頭で説明した問題なく Excel で開けます。

LightNote のヘルプには CSV の処理時間や最大ファイルサイズが書かれていないので、この記事でも数字は約束しません。お手元のファイルで試してください。

LightNote は無料で軽量、Windows と Linux で動きます。アカウント不要で、ファイルをどこにも送りません。

LightNote をダウンロード

ほかの記事

← すべての記事