超大 CSV 文件怎么打开:超过 Excel 行数上限

Excel 一张工作表最多 1,048,576 行,更大的 CSV 保存时会丢行。本文介绍几种变通办法,以及如何不导入就直接用 SQL 查询超大 CSV。

发布于

你有一个几百万行的 CSV,Excel 装不下,文本编辑器一打开就卡死。本文说明打开这类文件时会发生什么,有哪些变通办法(拆分、Power Query、pandas、SQL),以及如何不导入就直接用 SQL 查询 CSV。

为什么大 CSV 文件在 Excel 里打不开?

根据微软的 Excel 规格和限制页面,一张 Excel 工作表最多容纳 1,048,576 行、16,384 列。比这更大的 CSV 放不下,Excel 会提醒你:“此数据集对于 Excel 网格来说太大。如果保存此工作簿,将丢失未加载的数据。”如果你接受,它只会加载前 1,048,576 行,其余的会被丢掉。

危险之处正是微软在当数据集对于 Excel 网格来说太大时该怎么办中强调的:一旦保存,没有加载的行就丢失了。千万不要覆盖原始文件;如果必须保存,请用“文件 → 保存副本”,起一个能看出是截断副本的名字。

为什么文本编辑器也会卡死?

许多编辑器会把整个文件加载到内存中,并记录每一行的位置。面对几个 GB 的 CSV,这意味着漫长的等待、窗口无响应,或者程序直接关闭。即使文件能打开,盯着几百万行用逗号分隔的内容,也回答不了你真正的问题:每个省份卖了多少,哪些行是错的。你要的是查询这个文件,而不是阅读它。

怎么打开和分析大 CSV?有哪些选择

选择适合注意
把文件拆成几部分在 Excel 里逐个打开每一部分只有第一块带表头;汇总全部数据仍要你自己做
Excel 的 Power Query 和数据模型习惯用 Excel、想对整个数据集建数据透视表的人要在桌面版 Excel 中操作,文件不会进入工作表网格
Python 加 pandas,分块读取会写代码的人聚合代码要自己写
DuckDB / 直接对 CSV 写 SQL不导入就能筛选、分组和计数是命令行,除非上面套了一层界面
专用的 CSV 查看器浏览大文件要确认它们能查询,还是只能显示
在线工具不含敏感信息的小文件文件会上传到第三方服务器

拆分文件

在 Linux、macOS 以及 Windows 的 Git Bash 上,split 命令可以按行数切分:

split -l 1000000 销售.csv part_

每一块都低于 Excel 的上限,但只有第一块带表头行,其他块需要手动补上。这适合查看局部,不适合回答关于整个数据集的问题。

Power Query 和数据模型

对于这类情况,微软建议在桌面版 Excel 中通过获取数据(Power Query)打开文件,加载完整的数据集,再用数据透视表来分析。数据 → 获取数据 → 来自文件 → 从文本/CSV 会导入文件;在加载界面上,不要把它送到工作表,而是选择只创建连接,并把它添加到数据模型。根据 Power Query 连接器索引,文本/CSV 连接器在 Excel 中可用。

Python 加 pandas,分块读取

pandas 的 read_csv 接受 chunksize,会分块读取文件,而不是一次读完。要在不耗尽内存的情况下按省份求和:

import pandas as pd

chunks = pd.read_csv("销售.csv", chunksize=1_000_000)
partials = (c.groupby("省份")["金额"].sum() for c in chunks)
total = pd.concat(partials).groupby(level=0).sum()
print(total.sort_values(ascending=False))

如何不导入就用 SQL 查询 CSV?

DuckDB 直接从磁盘读取 CSV 并回答 SQL 查询,不需要创建数据库,也不需要导入任何东西。SELECT * FROM '文件.csv' 和 read_csv(...) 的语法记录在 DuckDB 的 CSV 文档中。从 duckdb.org 下载可执行文件,在文件所在的文件夹中打开终端,运行下面的命令(也可以输入 duckdb 使用控制台):

1. 文件有多少行:

duckdb -c "SELECT COUNT(*) FROM '销售.csv'"

2. 每个省份的合计,从大到小:

duckdb -c "SELECT 省份, SUM(金额) AS 合计 FROM read_csv('销售.csv') GROUP BY 省份 ORDER BY 合计 DESC"

3. 只提取能放进 Excel 的那一部分:

duckdb -c "COPY (SELECT * FROM '销售.csv' WHERE 日期 >= '2026-01-01') TO '切片.csv' (HEADER, DELIMITER ',')"

第三条查询在日常工作中最有用:你不必把整个文件带进 Excel,而是带走已经筛选或聚合过的结果,它能放进一张工作表。如果你的 CSV 使用分号分隔,就把它传给 read_csv,例如 read_csv('销售.csv', delim=';');如果小数点是逗号,再加上 decimal_separator=','。

在 LightNote 中打开大 CSV

LightNote 是一款免费的代码和笔记编辑器,支持 Windows 和 Linux,无需账号,处理本地文件。它使用上一节里相同的引擎 DuckDB,只是在上面加了表格、筛选和图表。根据它的帮助,流程如下:

  1. 作为表格打开。在文件树中右键点击 .csv 文件,选择作为表格打开。读取通过 DuckDB 分页按需进行,排序(点击表头)和筛选都交给引擎处理,而不是把所有内容都加载进来。
  2. 了解文件。结构按钮会显示列、类型和行数。快速筛选(Ctrl+F,“任意列包含”)会显示剩余多少行。
  3. 自由 SQL。表格上方的栏接受任意 DuckDB 查询,视图 t 代表打开的文件:SELECT 省份, SUM(金额) AS 合计 FROM t GROUP BY 省份 ORDER BY 合计 DESC。
  4. 质量。质量按钮会按列显示有值的行、空行和 NULL 行、不同值的个数、最常见的值和离群值,针对当前筛选下的完整集合(不是样本)。它能帮你在脏数据变成错误数字之前把它找出来。
  5. 分析。栏中的数据和分析按钮可以切换到一块看板,在同一个文件上放图表和数据透视表。聚合在 DuckDB 中执行,返回时已经汇总。分析会以开放格式保存为数据文件旁边的一个 JSON。

分隔符识别错了怎么办

有时分隔符无法识别(各行列数不一致时最常发生),表格就会只有一列,整行内容都塞在里面。这时 LightNote 会在表格上方显示一条提示,说明该文件看起来有多少列,并提供宽容读取:它逐行读取,不要求各行列数相同,可以筛选和排序,也有图表、数据透视表和分析区,只是没有自由 SQL。若文本尚未保存,或想自己指定分隔符,请使用视图 → 作为分隔文件查看…。

把结果带走

导出按钮会写出当前视图(CSV、Parquet 或 JSON)。表格右键菜单中的复制为会把所选内容以已排版的形式粘贴出去(给 Excel 的表格、Markdown、CSV 等),但超过 100 万个单元格时会被拒绝;要带走全部内容,请使用导出。只有少量行的、已筛选或已聚合的 CSV,在 Excel 里打开就不会出现本文开头说的问题。

LightNote 的帮助没有给出 CSV 的耗时或文件大小上限,所以本文也不做任何承诺:请用你自己的文件测试。

LightNote 免费、轻量,可在 Windows 和 Linux 上运行,无需账号,也不会把你的文件发送到任何地方。

下载 LightNote

其他文章

← 全部文章