Как открыть большой CSV-файл, который не открывает Excel

CSV больше миллиона строк не помещается на лист Excel. В руководстве: что происходит, какие есть обходные пути и как делать SQL-запросы к файлу без импорта.

Опубликовано

У вас CSV с миллионами строк, и Excel не справляется, либо текстовый редактор зависает. В этом руководстве — что происходит при открытии такого файла, какие есть обходные пути (разделение, Power Query, pandas, SQL) и как выполнять SQL-запросы к CSV без импорта.

Почему CSV слишком велик для Excel

Лист Excel вмещает не более 1 048 576 строк и 16 384 столбцов — так сказано на странице Microsoft «Технические характеристики и ограничения Excel». CSV больше этого размера не поместится, и Excel предупредит: «Этот набор данных слишком велик для сетки Excel. Если сохранить эту книгу, вы потеряете данные, которые не были загружены». Если вы согласитесь, будут загружены только первые 1 048 576 строк, а остальные останутся за бортом.

Опасно то, на что Microsoft обращает внимание в статье «Что делать, если набор данных слишком велик для сетки Excel»: если сохранить книгу, незагруженные строки будут потеряны. Никогда не сохраняйте поверх исходного файла; если сохранять необходимо, сделайте это под другим именем (Файл → Сохранить как), по которому ясно, что это усечённая копия.

Почему текстовые редакторы тоже не справляются

Многие редакторы загружают в память весь файл и отслеживают каждую строку. Для CSV в несколько гигабайт это означает ожидание, окно, переставшее отвечать, или закрытие программы. И даже если файл открылся, разглядывание миллионов строк через запятую не отвечает на ваш вопрос: сколько мы продали по каждому региону, какие строки ошибочны. Вам нужно делать запросы к файлу, а не читать его.

Как открыть и проанализировать большой CSV: варианты

ВариантПодходит дляНа что обратить внимание
Разделить файл на частиОткрыть каждую часть в ExcelЗаголовок есть только в первом куске; сложить всё вместе по-прежнему вам
Power Query и модель данных ExcelТех, кто живёт в Excel и хочет сводную таблицу по всему наборуЭто делается в настольном Excel, а файл в сетку не попадает
Python с pandas, частямиТех, кто пишет кодКод агрегирования пишете вы
DuckDB / SQL прямо по CSVФильтры, группировка и подсчёт без импортаКомандная строка, если сверху нет интерфейса
Специальные просмотрщики CSVПросмотр больших файловПроверьте, умеют ли они делать запросы или только показывают
Онлайн-инструментыНебольшой файл без конфиденциальных данныхВы загружаете файл на сервер третьей стороны

Разделение файла

В Linux, macOS и Git Bash для Windows команда split режет файл по числу строк:

split -l 1000000 продажи.csv part_

Каждый кусок остаётся в пределах лимита Excel, но строку заголовка содержит только первый; в остальные её нужно добавить вручную. Это подходит, чтобы просматривать части, но не чтобы отвечать на вопросы по всему набору.

Power Query и модель данных

Для таких случаев Microsoft рекомендует открыть файл в настольном Excel через Получение данных (Power Query), загрузить набор целиком и анализировать его сводными таблицами. Данные → Получить данные → Из файла → Из текста/CSV импортирует файл; на экране загрузки вместо отправки на лист выберите создание только подключения и добавьте данные в модель данных. Соединитель «Текст/CSV» доступен в Excel — это следует из указателя соединителей Power Query.

Python с pandas, частями

Функция read_csv в pandas принимает параметр chunksize, который читает файл кусками, а не целиком. Чтобы суммировать по регионам, не исчерпав память:

import pandas as pd

chunks = pd.read_csv("продажи.csv", chunksize=1_000_000)
partials = (c.groupby("регион")["сумма"].sum() for c in chunks)
total = pd.concat(partials).groupby(level=0).sum()
print(total.sort_values(ascending=False))

Как делать SQL-запросы к CSV без импорта

DuckDB читает CSV прямо с диска и отвечает на SQL-запрос: создавать базу и что-либо импортировать не нужно. Синтаксис SELECT * FROM 'файл.csv' и read_csv(...) описан в документации DuckDB по CSV. Скачайте исполняемый файл с duckdb.org, откройте терминал в папке с файлом и выполните (или введите duckdb и работайте в консоли):

1. Сколько в файле строк:

duckdb -c "SELECT COUNT(*) FROM 'продажи.csv'"

2. Итог по каждому региону, от большего к меньшему:

duckdb -c "SELECT регион, SUM(сумма) AS итого FROM read_csv('продажи.csv') GROUP BY регион ORDER BY итого DESC"

3. Выгрузить только тот срез, который поместится в Excel:

duckdb -c "COPY (SELECT * FROM 'продажи.csv' WHERE дата >= '2026-01-01') TO 'срез.csv' (HEADER, DELIMITER ',')"

Третий запрос полезнее всего в повседневной работе: вместо того чтобы нести в Excel весь файл, вы берёте уже отфильтрованный или агрегированный результат, который помещается на лист. Если в вашем CSV разделитель — точка с запятой, укажите это в read_csv, например read_csv('продажи.csv', delim=';'); если десятичный разделитель — запятая, добавьте decimal_separator=','.

Открыть большой CSV в LightNote

LightNote — бесплатный редактор кода и заметок для Windows и Linux, без учётной записи, работающий с локальными файлами. Он использует тот же движок, что и в предыдущем разделе, DuckDB, но с таблицей, фильтрами и графиками сверху. Согласно его справке, порядок такой:

  1. Открыть как таблицу. В дереве файлов щёлкните правой кнопкой по .csv и выберите Открыть как таблицу. Чтение постраничное, по требованию, через DuckDB, а сортировка (щелчок по заголовку) и фильтрация выполняются на стороне движка, вместо того чтобы загружать всё.
  2. Понять, что в файле. Кнопка Структура показывает столбцы, типы и число строк. Быстрый фильтр (Ctrl+F, «содержит в любом столбце») показывает, сколько строк осталось.
  3. Произвольный SQL. Строка вверху таблицы принимает любой запрос DuckDB, а представление t обозначает открытый файл: SELECT регион, SUM(сумма) AS итого FROM t GROUP BY регион ORDER BY итого DESC.
  4. Качество. Кнопка Качество показывает по каждому столбцу строки со значением, пустые и null, различные значения, самые частые значения и выбросы — по всему набору с учётом действующего фильтра (а не по выборке). Это помогает найти грязную строку, прежде чем она превратится в неверное число.
  5. Анализ. Кнопки Данные и Анализ на панели переключают на доску с графиками и сводными таблицами по тому же файлу. Агрегирование выполняется в DuckDB и возвращается уже свёрнутым. Анализ сохраняется в JSON рядом с файлом данных, в открытом формате.

Когда разделитель обманывает

Иногда разделитель не распознаётся (обычно из-за строк с разным числом столбцов), и таблица приходит с одним столбцом, внутри которого лежит вся строка. Тогда над таблицей появляется полоса, сообщающая, сколько столбцов, похоже, в файле, и предлагающая терпимое чтение: оно читает строку за строкой, не требуя одинакового числа столбцов, фильтрует, сортирует и даёт диаграмму, сводную таблицу и область анализа, но без произвольного SQL. Для ещё не сохранённого текста или чтобы выбрать разделитель вручную, используйте Вид → Показать как файл с разделителями….

Как забрать результат

Кнопка Экспорт записывает текущее представление (CSV, Parquet или JSON). Копировать как в контекстном меню таблицы вставляет выделение уже отформатированным (таблица для Excel, Markdown, CSV и другие), но копирование отклоняется, если ячеек больше миллиона; чтобы взять всё, используйте экспорт. Отфильтрованный или агрегированный CSV из нескольких строк открывается в Excel без проблемы, описанной в начале этого руководства.

В справке LightNote нет ни времени выполнения, ни максимальных размеров файлов для CSV, поэтому и это руководство ничего не обещает: проверьте на своём файле.

LightNote бесплатный, лёгкий и работает в Windows и Linux — без учётной записи и без отправки ваших файлов куда-либо.

Скачать LightNote

Другие статьи

← Все статьи