Ouvrir un gros fichier CSV trop lourd pour Excel

Un CSV de plus d'un million de lignes ne tient pas dans une feuille Excel. Ce guide montre ce qui se passe, les moyens de contourner le problème et comment interroger le fichier en SQL sans l'importer.

Publié le

Vous avez un CSV de plusieurs millions de lignes, et Excel n'y arrive pas, ou votre éditeur de texte se fige. Ce guide montre ce qui se passe quand on ouvre un tel fichier, les moyens de contourner le problème (découpage, Power Query, pandas, SQL) et comment interroger le CSV en SQL sans l'importer.

Pourquoi un fichier CSV est trop gros pour Excel

Une feuille Excel contient au plus 1 048 576 lignes sur 16 384 colonnes, d'après la page Spécifications et limites d'Excel de Microsoft. Un CSV plus grand n'y tient pas, et Excel vous prévient : « Cet ensemble de données est trop grand pour la grille Excel. Si vous enregistrez ce classeur, vous perdrez les données qui n'ont pas été chargées. » Si vous acceptez, il ne charge que les 1 048 576 premières lignes et laisse le reste de côté.

Le point dangereux est celui que Microsoft souligne dans Que faire si un jeu de données est trop volumineux pour la grille Excel : si vous enregistrez, vous perdez les lignes qui n'ont pas été chargées. N'enregistrez jamais par-dessus le fichier d'origine ; si vous devez enregistrer, utilisez Fichier → Enregistrer une copie et donnez-lui un nom qui montre clairement qu'il s'agit d'une copie tronquée.

Pourquoi les éditeurs de texte plantent aussi

Beaucoup d'éditeurs chargent le fichier entier en mémoire et gardent la trace de chaque ligne. Avec un CSV de quelques gigaoctets, cela signifie de l'attente, une fenêtre qui ne répond plus, ou un programme qui se ferme. Et même quand le fichier s'ouvre, regarder des millions de lignes séparées par des virgules ne répond pas à votre question : combien avons-nous vendu par région, quelles lignes sont fausses. Ce que vous voulez, c'est interroger le fichier, pas le lire.

Comment ouvrir et analyser un gros CSV : les options

OptionPour quoi faireÀ surveiller
Découper le fichier en morceauxOuvrir chaque morceau dans ExcelSeul le premier morceau a l'en-tête ; additionner le tout reste votre travail
Power Query d'Excel et le modèle de donnéesCeux qui vivent dans Excel et veulent un tableau croisé dynamique sur tout le jeu de donnéesCela se fait dans Excel pour ordinateur, et le fichier n'entre pas dans la grille
Python avec pandas, par blocsCeux qui programmentVous écrivez vous-même le code d'agrégation
DuckDB / SQL directement sur le CSVFiltrer, regrouper et compter sans importerLigne de commande, sauf si une interface le recouvre
Visionneurs CSV dédiésParcourir de gros fichiersVérifiez s'ils interrogent ou s'ils se contentent d'afficher
Outils en ligneUn petit fichier sans rien de sensibleVous envoyez le fichier sur le serveur d'un tiers

Découper le fichier

Sous Linux, macOS et Git Bash pour Windows, la commande split coupe selon le nombre de lignes :

split -l 1000000 ventes.csv partie_

Chaque morceau reste sous la limite d'Excel, mais seul le premier porte la ligne d'en-tête ; les autres demandent qu'on l'ajoute à la main. Cela sert à regarder des morceaux, pas à répondre à des questions sur l'ensemble.

Power Query et le modèle de données

Dans ces cas, Microsoft recommande d'ouvrir le fichier dans Excel pour ordinateur par Obtenir des données (Power Query), de charger le jeu de données complet et de l'analyser avec des tableaux croisés dynamiques. Données → Obtenir des données → À partir d'un fichier → À partir de texte/CSV importe le fichier ; à l'écran de chargement, au lieu de l'envoyer dans la feuille, choisissez de ne créer qu'une connexion et de l'ajouter au modèle de données. D'après l'index des connecteurs Power Query, le connecteur Texte/CSV est disponible dans Excel.

Python avec pandas, par blocs

read_csv de pandas accepte chunksize, qui lit le fichier par morceaux au lieu de le lire d'un coup. Pour additionner par région sans épuiser la mémoire :

import pandas as pd

blocs = pd.read_csv("ventes.csv", chunksize=1_000_000)
partiels = (b.groupby("region")["montant"].sum() for b in blocs)
total = pd.concat(partiels).groupby(level=0).sum()
print(total.sort_values(ascending=False))

Comment interroger un CSV en SQL sans l'importer

DuckDB lit le CSV directement sur le disque et répond à une requête SQL, sans base à créer et sans rien à importer. La syntaxe de SELECT * FROM 'fichier.csv' et de read_csv(...) est dans la documentation CSV de DuckDB. Téléchargez l'exécutable sur duckdb.org, ouvrez un terminal dans le dossier du fichier et lancez (ou tapez duckdb et utilisez la console) :

1. Combien de lignes contient le fichier :

duckdb -c "SELECT COUNT(*) FROM 'ventes.csv'"

2. Total par région, du plus grand au plus petit :

duckdb -c "SELECT region, SUM(montant) AS total FROM read_csv('ventes.csv') GROUP BY region ORDER BY total DESC"

3. Extraire seulement la tranche qui tient dans Excel :

duckdb -c "COPY (SELECT * FROM 'ventes.csv' WHERE date >= '2026-01-01') TO 'tranche.csv' (HEADER, DELIMITER ',')"

La troisième requête est la plus utile au quotidien : au lieu d'emporter tout le fichier dans Excel, vous emportez le résultat déjà filtré ou agrégé, qui tient dans une feuille. Si votre CSV utilise des points-virgules, indiquez-le à read_csv, par exemple read_csv('ventes.csv', delim=';') ; avec une virgule décimale, ajoutez decimal_separator=','.

Ouvrir un gros CSV dans LightNote

LightNote est un éditeur de code et de notes gratuit pour Windows et Linux, sans compte, qui travaille sur des fichiers locaux. Il utilise le même moteur que la section précédente, DuckDB, mais avec un tableau, des filtres et des graphiques par-dessus. Selon son Aide, le déroulement est le suivant :

  1. Ouvrir en tant que table. Dans l'arborescence, faites un clic droit sur le .csv et choisissez Ouvrir en tant que table. La lecture est paginée, à la demande, via DuckDB, et le tri (clic sur l'en-tête) comme le filtrage sont confiés au moteur au lieu de tout charger.
  2. Comprendre le fichier. Le bouton Structure montre les colonnes, les types et le nombre de lignes. Le filtre rapide (Ctrl+F, « contient dans n'importe quelle colonne ») indique combien de lignes restent.
  3. SQL libre. La barre en haut de la table accepte n'importe quelle requête DuckDB, et la vue t représente le fichier ouvert : SELECT region, SUM(montant) AS total FROM t GROUP BY region ORDER BY total DESC.
  4. Qualité. Le bouton Qualité montre, colonne par colonne, les lignes avec une valeur, les lignes vides et nulles, les valeurs distinctes, les valeurs les plus fréquentes et les valeurs aberrantes, sur l'ensemble complet avec le filtre en vigueur (pas sur un échantillon). Il aide à repérer la ligne sale avant qu'elle ne devienne un chiffre faux.
  5. Analyse. Les boutons Données et Analyse de la barre basculent vers un tableau de bord avec des graphiques et des tableaux croisés dynamiques sur le même fichier. L'agrégation s'exécute dans DuckDB et revient déjà réduite. L'analyse est enregistrée dans un JSON à côté du fichier de données, dans un format ouvert.

Quand le séparateur le trompe

Parfois le séparateur n'est pas reconnu (des lignes au nombre de colonnes différent en sont la cause habituelle) et la table arrive avec une seule colonne, la ligne entière dedans. LightNote affiche alors un bandeau au-dessus de la table qui indique combien de colonnes le fichier semble avoir, et propose la lecture tolérante : elle lit ligne à ligne sans exiger des colonnes égales, elle filtre, trie et dispose du graphique, du tableau croisé dynamique et de l'espace Analyse, mais pas du SQL libre. Pour un texte non encore enregistré, ou pour choisir le délimiteur à la main, utilisez Affichage → Afficher comme fichier délimité….

Emporter le résultat

Le bouton Exporter écrit la vue actuelle (CSV, Parquet ou JSON). Copier comme, dans le menu contextuel de la table, colle la sélection déjà mise en forme (un tableau pour Excel, Markdown, CSV et d'autres), mais il est refusé au-delà de 1 million de cellules ; pour tout emporter, utilisez l'export. Un CSV filtré ou agrégé de quelques lignes s'ouvre dans Excel sans le problème décrit au début de ce guide.

L'Aide de LightNote ne donne ni durées ni tailles maximales de fichier pour le CSV, et ce guide n'en promet donc pas non plus : testez avec votre propre fichier.

LightNote est gratuit, léger et fonctionne sous Windows et Linux, sans compte et sans envoyer vos fichiers à qui que ce soit.

Télécharger LightNote

Autres articles

← Tous les articles