パフォーマンスガイド

# pandas: すべてのデータを読み込んでからメモリ内でフィルタリング
df = pd.read_csv("huge.csv")       # 10GBを読み込む
df = df[df['year'] == 2024]        # Pythonでフィルタリング

# DataStore: データソースでフィルタリング
ds = pd.read_csv("huge.csv")       # メタデータのみ
ds = ds[ds['year'] == 2024]        # SQLでフィルタリング
df = ds.to_df()                    # フィルタリング済みデータのみ読み込む

# DataStore: name、age カラムのみを読み取る
ds = pd.read_parquet("wide_table.parquet")
result = ds.select('name', 'age').to_df()

# vs pandas: 100カラムすべてを読み取ってから選択する

# DataStore: 最適化された単一のSQLクエリ
result = (ds
    .filter(ds['amount'] > 100)
    .groupby('region')
    .agg({'amount': 'sum'})
    .sort('sum', ascending=False)
    .head(10)
    .to_df()
)

# 変換後:
# SELECT region, SUM(amount) FROM data
# WHERE amount > 100
# GROUP BY region ORDER BY sum DESC LIMIT 10

# DataStore が真価を発揮: 19.93倍高速
result = ds.groupby('category')['amount'].sum()

# DataStore が優れている: 5〜6倍高速
result = (ds
    .filter(ds['date'] >= '2024-01-01')
    .filter(ds['amount'] > 100)
    .groupby('region')
    .agg({'amount': ['sum', 'mean', 'count']})
    .sort('sum', ascending=False)
    .head(20)
)

# DataStore: 必要なデータのみを読み込みます
ds = pd.read_parquet("huge_file.parquet")
result = ds.filter(ds['id'] == 12345).to_df()  # 高速！

# DataStore: 単一のSQLに結合
ds['total'] = ds['price'] * ds['quantity']
ds['is_large'] = ds['total'] > 1000
ds = ds.filter(ds['is_large'])

# 非常に小さなデータセットの場合、どちらもオーバーヘッドは最小限
# パフォーマンスの差は無視できる
small_df = pd.DataFrame({'x': range(100)})

# 集計なしの単純なスライス操作
df = df[df['x'] > 10]  # pandasの方がわずかに高速
ds = ds[ds['x'] > 10]  # DataStoreは同等

# カスタムPythonコードにはpandasが必要
def complex_function(row):
    return custom_logic(row)

df['result'] = df.apply(complex_function, axis=1)

# to_df() はデータをコピーしません - ゼロコピー操作です
result = ds.filter(ds['x'] > 10).to_df()  # データ変換のオーバーヘッドなし

# DataFrame から DataStore を作成する場合も同様
ds = DataStore(existing_df)  # データのコピーなし

from chdb.datastore.config import config

config.use_performance_mode()

# すべての操作がSQL優先実行となり、pandasのオーバーヘッドが発生しない:
# - 並列Parquet読み込み（preserve_orderなし）
# - 単一SQLによる集計（filter+groupbyを1クエリで処理）
# - 行順序保持のオーバーヘッドなし
# - MultiIndexなし、データ型補正なし
result = (ds
    .filter(ds['amount'] > 100)
    .groupby('region')
    .agg({'amount': ['sum', 'mean', 'count']})
)

# CSV: 低速、ファイル全体を読み込む
ds = pd.read_csv("data.csv")

# Parquet: 高速、列指向、圧縮済み
ds = pd.read_parquet("data.parquet")

# 一度変換すれば、永続的に恩恵を受けられる
df = pd.read_csv("data.csv")
df.to_parquet("data.parquet")

# 良い例: 先にフィルタリングしてから集計する
result = (ds
    .filter(ds['date'] >= '2024-01-01')  # 早い段階でデータを絞り込む
    .groupby('category')['amount'].sum()
)

# 非効率な例: 全データを処理する
result = (ds
    .groupby('category')['amount'].sum()
    .filter(ds['sum'] > 1000)  # フィルタリングが遅すぎる
)

# 良い例: カラムプルーニング
result = ds.select('name', 'amount').filter(ds['amount'] > 100)

# 非効率な例: 全カラムを読み込む
result = ds.filter(ds['amount'] > 100)  # 全カラムを読み込む

# GroupByはDataStoreが真価を発揮する場面です
# 最大20倍の高速化！
result = ds.groupby('category').agg({
    'amount': ['sum', 'mean', 'count', 'max'],
    'quantity': 'sum'
})

# サンプルだけが必要な場合は、結果全体を読み込まない
result = ds.filter(ds['type'] == 'A').head(100)  # LIMIT 100

# 大量の結果に対してはこの方法を避けること
# result = ds.filter(ds['type'] == 'A').to_df()  # すべてを読み込む

# 良い例: 単一実行
result = ds.filter(ds['x'] > 10).filter(ds['y'] < 100).to_df()

# 悪い例: 複数回実行
result1 = ds.filter(ds['x'] > 10).to_df()  # 実行
result2 = result1[result1['y'] < 100]       # 再実行

# 実行前にクエリプランを確認する
query = ds.filter(...).groupby(...).agg(...)
query.explain()  # 操作がプッシュダウンされているか確認する

# 実行する
result = query.to_df()

from chdb.datastore.config import config, get_profiler

config.enable_profiling()

# ワークロードを実行する
result = your_pipeline()

# レポートを表示する
profiler = get_profiler()
profiler.report()

パフォーマンスレポート
==================
ステップ                Duration    % 合計
----                    --------    -------
SQL execution           2.5s        62.5%     <- ボトルネック！
read_csv                1.2s        30.0%
その他                   0.3s        7.5%

# アプローチ1のテスト
profiler.reset()
result1 = approach1()
time1 = profiler.get_steps()[-1]['duration_ms']

# アプローチ2のテスト
profiler.reset()
result2 = approach2()
time2 = profiler.get_steps()[-1]['duration_ms']

print(f"Approach 1: {time1:.0f}ms")
print(f"Approach 2: {time2:.0f}ms")