分析エリア: ピボットテーブルと複数のグラフ

グラフと統計

テーブルのタブには 2 つのモードがあり、バーの データ と 分析 のボタンで切り替えます。データ はいつものテーブル、分析 は同じソースに対する グラフ と ピボットテーブル を好きなだけ並べておけるボードです。各項目はカードになっており、編集できるタイトル、選択欄を表示する歯車ボタン、⋮ メニュー（移動・複製・削除）が付いています。

本物の統計。棒・折れ線・散布図に加えて、グラフは箱ひげ図も描きます。カテゴリごとに四分位の箱、太い線の中央値、そしてテューキーの柵（1,5 × IQR）に置いたひげ — 最小値・最大値ではありません。列の平均には、誤差の選択でばらつきのひげが付きます: ± 標準偏差（データそのものを表す）、± 標準誤差、± 95% 信頼区間（平均の精度を表す）。三つとも平均を選んだときだけ現れます。「合計 ± 偏差」には意味がないからです。Y 軸を対数のチェックは、桁が大きく変わるデータのために対数目盛にします。値に 0 か負があるときは断りを添えて無視されます — そこには対数がなく、その点を黙って捨てるとグラフが嘘をつくからです。散布図では近似直線が R² 付きの回帰直線を描きます。これは画面に出ている標本ではなく、データベース側で全行を使って当てはめたものです。図の下には、選んだ列の記述統計の一行（n・平均・偏差・95% 信頼区間・最小・四分位・中央値・最大）が出ます。これは独立した問い合わせです: 棒から計算すると「平均の平均」になり、それが本当の平均と一致するのは、どのグループも同じ大きさのときだけだからです。

ピボットテーブルと合計

ピボットテーブル。 行 と 列 に置くフィールド（各軸に複数を入れ子にでき、ドラッグで階層の順序を変えられます）、値 のフィールド、そしてその集約方法（合計・件数・一意の件数・平均・最小・最大）を選びます。値のフィールドを選ばない場合は行数を数えます。テーブルの横のミニバーにも、グラフの隣にあります。データを離れずに素早く確認できます。

集約はデータベース側で実行され、すでに縮約された結果だけが返ります。生の行が上がってこないため、数千万行の Parquet でも扱えます。クエリは標準 SQL なので、ピボットテーブルは SQL クライアントの すべて のデータベース（SQLite・DuckDB・PostgreSQL・MySQL・SQL Server・Oracle）で使えます。グラフのように DuckDB だけ、ということはありません。

合計。 行の合計 と 列の合計 のチェックで、締めの行と列が加わります。平均 では合計は 加重平均 です。平均の平均ではありません（グループの大きさが違うと誤りになります）。一意の件数 は合計できないため（異なる集合の和は各部分の合計からは求められません）、そこではチェックが無効になり、理由がツールチップに出ます。誤った数値を見せることはありません。

保存先・CSV・グループ化

分析の保存先。 データファイルの隣にある JSON（sales.parquet → sales.parquet.analysis.json）です。開かれた形式なので、データと一緒に Git に入り、同僚にもそのまま渡せます。分析ファイル ボタンでその JSON をタブで開けます。分析を空にするとファイルは削除されます。テーブルとして開いたフォルダー全体には固有のパスがないため、その分析は保存されません（ボタンがその旨を示します）。各カードには 本日のノートに追加 もあります。グラフはその形があれば mermaid ブロック(ノートが描画し、編集もできます。棒・折れ線・ヒストグラム・円グラフが対象で、散布図と箱ひげ図は画像)として、ピボットテーブルは Markdown の表 として入るので、ノートの中でもコピーや編集ができるテキストのままです。 SQL クエリの結果でも、フッターの分析エリアボタンから同じボードが開き、その結果のグラフと同じ場所(ローカルのコピーまたはデータベース)で集計します。ただし結果には隣に置くファイルがないため保存されません。大事なものは本日のノートに追加でノートに残してください。

レポートとコピー。 各グラフのコピーボタンには、Mermaid としてコピー、データをコピー (Markdown の表)(グラフが表示している集計済みの値で、数値は右揃え)、画像をコピーがあります。Mermaid に載せられないもの(誤差範囲、対数軸)はその場で知らせます。分析エリアのバーのレポートをコピーは、分析全体を Markdown にまとめます。ソース・適用中のフィルター・日付を 1 行目に置き、カードごとに見出しを付けてグラフは Mermaid、表は表として並べます。レポートを本日のノートへでそのままノートに送れます。円グラフは全体の内訳を示すため、合計と件数だけを受け付け、大きいカテゴリを描いて残りを「その他」にまとめ、まとめた数を表示します。

すべてのテーブルで。 グラフ・ピボットテーブル・分析エリアは、Excel のシート、区切りテキスト(未保存でも可)、タスク(分析ビュー。ボードの中に保存)、ベース(分析ボタン。ベースを変えずに .lnq の隣に保存)、カスタムテーブル(分析ボタン。パスワード列は含めません)にもあります。これらの画面ではデータはメモリー上にあり、最初のフィルターか最初の分析で DuckDB にコピーされます。以後、グリッドのフィルターは分析と同じ規則を使うので、グラフはグリッドに表示されている行をそのまま表します。シートは保存されている値を合計し(「¥3,750」と表示されるセルは 3750 として合計)、フィルターは入力するときに見ている表示テキストで行います。画面がファイルの一部しか読み込んでいない場合(上限を超えるシート、途中で止まった寛容な読み取り)、分析は集計を拒み、その理由を示します。一部の合計は誤った数値になるからです。

データ品質。表の 品質 ボタンを押すと、グリッドの横に列ごとのカードが開き、その列に実際に何が入っているかを示します。値あり・空（空のテキストや空白だけ）・NULL の行の割合を示すバー（空は NULL ではないので別々に数えます）、異なる値の数と 1 回だけ現れる値の数。数値列では平均、標準偏差、四分位、ゼロ、負の値、外れ値（箱ひげ図と同じテューキーの柵の外側）とミニヒストグラム。テキスト列では長さと形のパターン。頻出値はクリックでき、クリックすると選択になり（下記参照）、同じ列の別の値をクリックすると置き換わります。注意は、値のない列、定数の列、キーの可能性、半分以上に値がない列、ゼロが多い列、大きく偏った分布、テキストとして保存された数値を知らせます。プロファイルはフィルター適用後の全体を対象にし（サンプルではありません）、DuckDB で最大 60 列まで計算します。要約は Markdown の表としてコピーするか、本日のノートに追加できます。分析エリアでは 品質 ボタンで同じプロファイルをカードとして追加でき、レポートには表（1 列につき 1 行）として入ります。品質カードのある分析は、この版以降の LightNote でしか開けません。

選択と「表示方法」。グラフの棒や扇形、ヒストグラムの区間をクリックする、ピボットテーブルのセルをダブルクリックする、品質 パネルの頻出値をクリックすると、それで表を絞り込みます。この絞り込みは選択になり、グリッドの上に取り外し用の X が付いたタグ（uf = 「SP」、valor ≥ 10 かつ < 20）として表示されます。選択は フィルター パネルの条件グループとは別に、常に AND で組み合わされます。グループが OR で組み合わされていても、選択は範囲を広げずに絞り込みます。フィルターパネルを操作しても選択は外れず、同じ列で別の選択をすると前のものと置き換わります。選択は保存されている値（グラフがまとめたカテゴリ）で比較します。ヒストグラムの区間はその始まりから次の区間の始まりまでで、最後の区間には上限がありません。パターンでまとめたカテゴリ（パターンは表の値ではありません）と その他 の扇形は絞り込まず、グラフとピボットテーブルが理由を示します。分析エリア、プロファイル、レポートの見出しも選択に従います。ピボットテーブルの 表示方法 は集計済みの値を書き換えます: 総計に対する %、行の合計に対する %、列の合計に対する %、累計、前の行との差。割合と累計は 合計 か 件数 のときだけ使えます（平均や最小を足しても何の合計にもなりません）。計算の基準はマトリックスの上とレポートに表示されます。

CSV は操作ひとつ、区切り文字を誤ったときの逃げ道つき。 テーブルとして開く は DuckDB で開き、自由な SQL・グラフ・ピボットテーブル・分析エリアが使えます。区切り文字が認識されないことがあり（列数がそろっていない行があると起こりがちです）、その場合テーブルは 1 列だけになり、行がまるごとその中に入ります。そのときはテーブルの上に帯が出て、ファイルが持っていそうな列数を示し、寛容な読み取りを提案します。これは列数がそろっていなくても 1 行ずつ読む方式で、検索と AI が使っているのと同じ読み取りです。絞り込み・並べ替えに加えてグラフ・ピボットテーブル・分析エリアも使えます。ないのは自由な SQL だけです。まだ保存していないテキストや、区切り文字を自分で指定したい場合は 表示 → 区切りファイルとして表示… を使います。

エクスポートした CSV は Excel でそのまま開けます。タスク、スプレッドシート、カスタムテーブルの CSV をエクスポート は、使用言語のリスト区切り記号（小数点がカンマの言語ではセミコロン）と、Excel がアクセント付き文字を読むのに必要な UTF-8 のマークを付けて書き出します。ファイルはインポートウィザードなしで列に分かれて開きます。形式を指定してコピー → CSV はカンマのままです。スクリプトやメッセージに貼り付けるための形式だからです。SQL 結果のエクスポートでは区切り記号を選べます。

パターンでグループ化。 日付やコードの列では、異なる値の数が行数とほとんど変わらず、値ごとに集計しても何も見えてきません。パターンマスク は英字を A、数字を N に置き換え、それ以外はそのまま残します（2027/10/10 → NNNN/NN/NN）。これで数百万行が 2 つか 3 つの形にまとまり、そこから外れたものがまさに汚れたデータです（10-10-2027 で入ってきた日付、接頭辞が欠けたコード）。グラフでは X 軸の隣にある パターン のチェック、ピボットテーブルではフィールドのピルを右クリック（フィールドごとなので、コードの形と通常の項目を掛け合わせられます）、品質 パネルでは各列の最頻値の下に最頻パターンが並びます。計算はデータベース側で実行されます。SQLite と汎用 ODBC ではマスクが使う文字列関数がないため、理由付きで無効になります。