용량 큰 CSV 파일 열기: 엑셀 행 제한 해결

엑셀은 1,048,576행까지만 담을 수 있습니다. 큰 CSV를 잃지 않고 여는 방법과, 가져오지 않고 SQL로 질의해 필요한 부분만 가져가는 방법을 알려 드립니다.

게시일

행이 수백만 개인 CSV가 있는데 Excel이 감당하지 못하거나 텍스트 편집기가 멈춥니다. 이 글에서는 그런 파일을 열면 어떤 일이 벌어지는지, 우회하는 방법(분할, Power Query, pandas, SQL), 그리고 CSV를 가져오지 않고 SQL로 질의하는 방법을 보여 드립니다.

CSV 파일이 Excel에 너무 큰 이유는?

Microsoft의 Excel 사양 및 한계 페이지에 따르면 Excel 워크시트는 최대 1,048,576행 × 16,384열입니다. 그보다 큰 CSV는 들어가지 않으며, Excel은 이렇게 경고합니다. “이 데이터 집합이 Excel 표에 비해 너무 큽니다. 이 통합 문서를 저장하면 로드되지 않은 데이터가 손실됩니다.” 수락하면 처음 1,048,576행만 불러오고 나머지는 빠집니다.

위험한 부분은 Microsoft가 데이터 집합이 Excel 표에 비해 너무 큰 경우 수행할 작업에서 강조하는 점입니다. 저장하면 불러오지 않은 행을 잃습니다. 원본 파일 위에 저장하지 마세요. 꼭 저장해야 한다면 파일 → 복사본 저장을 쓰고, 잘린 사본임이 드러나는 이름을 붙이세요.

텍스트 편집기도 멈추는 이유는?

많은 편집기는 파일 전체를 메모리에 올리고 모든 줄을 추적합니다. 수 기가바이트짜리 CSV라면 오래 기다리거나, 창이 응답하지 않거나, 프로그램이 닫힙니다. 파일이 열린다 해도 쉼표로 구분된 수백만 줄을 바라본다고 궁금한 점이 풀리지는 않습니다. 지역별로 얼마나 팔았는지, 어느 행이 틀렸는지 같은 질문 말입니다. 필요한 것은 파일을 읽는 것이 아니라 질의하는 것입니다.

큰 CSV를 열고 분석하는 방법에는 무엇이 있나요?

방법알맞은 경우주의할 점
파일을 여러 조각으로 분할조각마다 Excel에서 열 때첫 조각에만 머리글이 있고, 전체 합계는 여전히 직접 내야 합니다
Excel Power Query와 데이터 모델Excel을 주로 쓰고 전체 데이터에 피벗 테이블을 만들고 싶은 사람데스크톱 Excel에서 하며, 파일은 그리드에 들어가지 않습니다
Python과 pandas(청크 단위)코딩을 하는 사람집계 코드를 직접 작성합니다
CSV에 바로 DuckDB / SQL가져오지 않고 거르고, 그룹화하고, 세기그 위에 인터페이스가 없으면 명령줄입니다
전용 CSV 뷰어큰 파일 둘러보기질의가 되는지 표시만 하는지 확인하세요
온라인 도구민감한 내용이 없는 작은 파일파일을 제3자 서버에 업로드하게 됩니다

파일 분할

Linux, macOS, Windows의 Git Bash에서는 split 명령이 줄 수 기준으로 자릅니다.

split -l 1000000 sales.csv part_

모든 조각이 Excel 한도 아래로 들어가지만 머리글 행은 첫 조각에만 있고, 나머지는 직접 추가해야 합니다. 조각을 살펴보기에는 쓸 만하지만 전체에 대한 질문에 답하는 데는 맞지 않습니다.

Power Query와 데이터 모델

이런 경우 Microsoft는 데스크톱 Excel에서 데이터 가져오기(Power Query)로 파일을 열어 전체 데이터를 불러오고 피벗 테이블로 분석하라고 권합니다. 데이터 → 데이터 가져오기 → 파일에서 → 텍스트/CSV에서(Data → Get Data → From File → From Text/CSV)로 파일을 가져오고, 불러오기 화면에서 워크시트로 보내는 대신 연결만 만들고 데이터 모델에 추가하도록 선택합니다. Power Query 커넥터 색인에 따르면 텍스트/CSV 커넥터는 Excel에서 사용할 수 있습니다.

Python과 pandas(청크 단위)

pandas의 read_csv는 chunksize를 받아 파일을 한꺼번에 읽는 대신 조각으로 읽습니다. 메모리를 다 쓰지 않고 지역별 합계를 내는 방법입니다.

import pandas as pd

chunks = pd.read_csv("sales.csv", chunksize=1_000_000)
partials = (c.groupby("state")["amount"].sum() for c in chunks)
total = pd.concat(partials).groupby(level=0).sum()
print(total.sort_values(ascending=False))

CSV를 가져오지 않고 SQL로 질의하려면?

DuckDB는 CSV를 디스크에서 바로 읽고 SQL 질의에 답합니다. 만들 데이터베이스도, 가져올 것도 없습니다. SELECT * FROM 'file.csv'와 read_csv(...) 문법은 DuckDB CSV 문서에 있습니다. duckdb.org에서 실행 파일을 내려받고, 파일이 있는 폴더에서 터미널을 열어 다음을 실행하세요(또는 duckdb를 입력하고 콘솔을 쓰세요).

1. 파일의 행 수:

duckdb -c "SELECT COUNT(*) FROM 'sales.csv'"

2. 지역별 합계, 큰 순서대로:

duckdb -c "SELECT state, SUM(amount) AS total FROM read_csv('sales.csv') GROUP BY state ORDER BY total DESC"

3. Excel에 들어가는 부분만 추출:

duckdb -c "COPY (SELECT * FROM 'sales.csv' WHERE date >= '2026-01-01') TO 'slice.csv' (HEADER, DELIMITER ',')"

세 번째 질의가 평소에 가장 유용합니다. 파일 전체를 Excel로 가져가는 대신, 이미 거르거나 집계해서 워크시트에 들어가는 결과만 가져갑니다. CSV가 세미콜론으로 구분되어 있다면 read_csv에 그렇게 알려 주세요. 예를 들어 read_csv('sales.csv', delim=';')이고, 소수점이 쉼표라면 decimal_separator=','를 추가합니다.

LightNote에서 큰 CSV 열기

LightNote는 Windows와 Linux용 무료 코드·노트 편집기로, 계정이 필요 없고 로컬 파일로 작업합니다. 앞 절과 같은 엔진인 DuckDB를 쓰되, 그 위에 표, 필터, 차트를 얹었습니다. 도움말에 따른 흐름은 다음과 같습니다.

  1. 표로 열기. 파일 트리에서 .csv를 오른쪽 클릭하고 표로 열기를 선택합니다. 읽기는 DuckDB를 통해 필요할 때 페이지 단위로 이루어지며, 정렬(머리글 클릭)과 필터링은 전부 불러오는 대신 엔진 쪽에서 처리됩니다.
  2. 파일 이해하기. 구조 버튼이 열, 형식, 행 수를 보여 줍니다. 빠른 필터(Ctrl+F, “아무 열에나 포함”)는 남은 행 수를 보여 줍니다.
  3. 자유 SQL. 표 상단의 바는 모든 DuckDB 쿼리를 받아들이며, t 뷰가 열린 파일을 가리킵니다. SELECT state, SUM(amount) AS total FROM t GROUP BY state ORDER BY total DESC
  4. 품질. 품질 버튼이 열마다 값이 있는 행, 빈 행과 NULL 행, 고유값, 가장 많은 값, 이상값을 보여 줍니다. 표본이 아니라 현재 필터가 적용된 전체 집합을 대상으로 합니다. 틀린 숫자가 되기 전에 지저분한 행을 찾는 데 도움이 됩니다.
  5. 분석. 바의 데이터와 분석 버튼은 같은 파일에 대한 차트와 피벗 테이블 보드로 전환합니다. 집계는 DuckDB에서 실행되어 이미 줄어든 결과로 돌아옵니다. 분석은 데이터 파일 옆에 열린 형식의 JSON으로 저장됩니다.

구분자를 잘못 읽었을 때는?

구분자가 인식되지 않는 경우가 있습니다(행마다 열 개수가 다를 때 흔히 그렇습니다). 그러면 표가 한 열만 있는 상태로 나오고 행 전체가 그 안에 들어갑니다. 이때 LightNote는 표 위에 파일이 가진 것으로 보이는 열 개수를 알려 주는 띠를 보여 주고 너그러운 읽기를 제안합니다. 열 개수가 같기를 요구하지 않고 한 줄씩 읽으며, 거르고 정렬할 수 있고 차트, 피벗 테이블, 분석 영역도 있지만 자유 SQL은 없습니다. 아직 저장하지 않은 텍스트이거나 구분자를 직접 고르고 싶다면 보기 → 구분된 파일로 보기…를 사용하세요.

결과 가져가기

내보내기 버튼은 현재 보기를 CSV, Parquet, JSON으로 씁니다. 표의 컨텍스트 메뉴에 있는 다른 형식으로 복사는 선택 영역을 이미 서식이 적용된 상태(Excel용 표, Markdown, CSV 등)로 붙여 넣지만 셀이 100만 개를 넘으면 거부되므로, 전부 가져가려면 내보내기를 쓰세요. 거르거나 집계해서 행이 몇 개 안 되는 CSV는 이 글 첫머리에서 말한 문제 없이 Excel에서 열립니다.

LightNote 도움말에는 CSV의 처리 시간이나 최대 파일 크기가 나와 있지 않으므로, 이 글도 그런 수치를 약속하지 않습니다. 내 파일로 직접 시험해 보세요.

LightNote는 무료이고 가벼우며 Windows와 Linux에서 실행됩니다. 계정이 필요 없고 파일을 어디에도 보내지 않습니다.

LightNote 다운로드

다른 글

← 모든 글