你有一个几百万行的 CSV,Excel 装不下,文本编辑器一打开就卡死。本文说明打开这类文件时会发生什么,有哪些变通办法(拆分、Power Query、pandas、SQL),以及如何不导入就直接用 SQL 查询 CSV。
为什么大 CSV 文件在 Excel 里打不开?
根据微软的 Excel 规格和限制页面,一张 Excel 工作表最多容纳 1,048,576 行、16,384 列。比这更大的 CSV 放不下,Excel 会提醒你:“此数据集对于 Excel 网格来说太大。如果保存此工作簿,将丢失未加载的数据。”如果你接受,它只会加载前 1,048,576 行,其余的会被丢掉。
危险之处正是微软在当数据集对于 Excel 网格来说太大时该怎么办中强调的:一旦保存,没有加载的行就丢失了。千万不要覆盖原始文件;如果必须保存,请用“文件 → 保存副本”,起一个能看出是截断副本的名字。
为什么文本编辑器也会卡死?
许多编辑器会把整个文件加载到内存中,并记录每一行的位置。面对几个 GB 的 CSV,这意味着漫长的等待、窗口无响应,或者程序直接关闭。即使文件能打开,盯着几百万行用逗号分隔的内容,也回答不了你真正的问题:每个省份卖了多少,哪些行是错的。你要的是查询这个文件,而不是阅读它。
怎么打开和分析大 CSV?有哪些选择
| 选择 | 适合 | 注意 |
|---|---|---|
| 把文件拆成几部分 | 在 Excel 里逐个打开每一部分 | 只有第一块带表头;汇总全部数据仍要你自己做 |
| Excel 的 Power Query 和数据模型 | 习惯用 Excel、想对整个数据集建数据透视表的人 | 要在桌面版 Excel 中操作,文件不会进入工作表网格 |
| Python 加 pandas,分块读取 | 会写代码的人 | 聚合代码要自己写 |
| DuckDB / 直接对 CSV 写 SQL | 不导入就能筛选、分组和计数 | 是命令行,除非上面套了一层界面 |
| 专用的 CSV 查看器 | 浏览大文件 | 要确认它们能查询,还是只能显示 |
| 在线工具 | 不含敏感信息的小文件 | 文件会上传到第三方服务器 |
拆分文件
在 Linux、macOS 以及 Windows 的 Git Bash 上,split 命令可以按行数切分:
split -l 1000000 销售.csv part_
每一块都低于 Excel 的上限,但只有第一块带表头行,其他块需要手动补上。这适合查看局部,不适合回答关于整个数据集的问题。
Power Query 和数据模型
对于这类情况,微软建议在桌面版 Excel 中通过获取数据(Power Query)打开文件,加载完整的数据集,再用数据透视表来分析。数据 → 获取数据 → 来自文件 → 从文本/CSV 会导入文件;在加载界面上,不要把它送到工作表,而是选择只创建连接,并把它添加到数据模型。根据 Power Query 连接器索引,文本/CSV 连接器在 Excel 中可用。
Python 加 pandas,分块读取
pandas 的 read_csv 接受 chunksize,会分块读取文件,而不是一次读完。要在不耗尽内存的情况下按省份求和:
import pandas as pd
chunks = pd.read_csv("销售.csv", chunksize=1_000_000)
partials = (c.groupby("省份")["金额"].sum() for c in chunks)
total = pd.concat(partials).groupby(level=0).sum()
print(total.sort_values(ascending=False))
如何不导入就用 SQL 查询 CSV?
DuckDB 直接从磁盘读取 CSV 并回答 SQL 查询,不需要创建数据库,也不需要导入任何东西。SELECT * FROM '文件.csv' 和 read_csv(...) 的语法记录在 DuckDB 的 CSV 文档中。从 duckdb.org 下载可执行文件,在文件所在的文件夹中打开终端,运行下面的命令(也可以输入 duckdb 使用控制台):
1. 文件有多少行:
duckdb -c "SELECT COUNT(*) FROM '销售.csv'"
2. 每个省份的合计,从大到小:
duckdb -c "SELECT 省份, SUM(金额) AS 合计 FROM read_csv('销售.csv') GROUP BY 省份 ORDER BY 合计 DESC"
3. 只提取能放进 Excel 的那一部分:
duckdb -c "COPY (SELECT * FROM '销售.csv' WHERE 日期 >= '2026-01-01') TO '切片.csv' (HEADER, DELIMITER ',')"
第三条查询在日常工作中最有用:你不必把整个文件带进 Excel,而是带走已经筛选或聚合过的结果,它能放进一张工作表。如果你的 CSV 使用分号分隔,就把它传给 read_csv,例如 read_csv('销售.csv', delim=';');如果小数点是逗号,再加上 decimal_separator=','。
在 LightNote 中打开大 CSV
LightNote 是一款免费的代码和笔记编辑器,支持 Windows 和 Linux,无需账号,处理本地文件。它使用上一节里相同的引擎 DuckDB,只是在上面加了表格、筛选和图表。根据它的帮助,流程如下:
- 作为表格打开。在文件树中右键点击
.csv文件,选择作为表格打开。读取通过 DuckDB 分页按需进行,排序(点击表头)和筛选都交给引擎处理,而不是把所有内容都加载进来。 - 了解文件。结构按钮会显示列、类型和行数。快速筛选(Ctrl+F,“任意列包含”)会显示剩余多少行。
- 自由 SQL。表格上方的栏接受任意 DuckDB 查询,视图
t代表打开的文件:SELECT 省份, SUM(金额) AS 合计 FROM t GROUP BY 省份 ORDER BY 合计 DESC。 - 质量。质量按钮会按列显示有值的行、空行和 NULL 行、不同值的个数、最常见的值和离群值,针对当前筛选下的完整集合(不是样本)。它能帮你在脏数据变成错误数字之前把它找出来。
- 分析。栏中的数据和分析按钮可以切换到一块看板,在同一个文件上放图表和数据透视表。聚合在 DuckDB 中执行,返回时已经汇总。分析会以开放格式保存为数据文件旁边的一个 JSON。
分隔符识别错了怎么办
有时分隔符无法识别(各行列数不一致时最常发生),表格就会只有一列,整行内容都塞在里面。这时 LightNote 会在表格上方显示一条提示,说明该文件看起来有多少列,并提供宽容读取:它逐行读取,不要求各行列数相同,可以筛选和排序,也有图表、数据透视表和分析区,只是没有自由 SQL。若文本尚未保存,或想自己指定分隔符,请使用视图 → 作为分隔文件查看…。
把结果带走
导出按钮会写出当前视图(CSV、Parquet 或 JSON)。表格右键菜单中的复制为会把所选内容以已排版的形式粘贴出去(给 Excel 的表格、Markdown、CSV 等),但超过 100 万个单元格时会被拒绝;要带走全部内容,请使用导出。只有少量行的、已筛选或已聚合的 CSV,在 Excel 里打开就不会出现本文开头说的问题。
LightNote 的帮助没有给出 CSV 的耗时或文件大小上限,所以本文也不做任何承诺:请用你自己的文件测试。

