Pandasとは
Pandasは、Pythonで使用される強力なデータ分析ライブラリです。Pandasは、データの操作、分析、クリーニング、および可視化を容易にするための高性能なデータ構造とデータ分析ツールを提供します。
Pandasの主要なデータ構造は、1次元のSeriesと2次元のDataFrameです。これらのデータ構造は、さまざまな種類のデータ（数値、文字列、時系列データなど）を効率的に処理し、大量のデータを扱うことが可能です。
また、PandasはCSV、Excel、SQLデータベース、HDF5形式など、多くの異なるデータソースからデータを読み込むことができます。これにより、Pandasはデータサイエンスと機械学習のプロジェクトで広く使用されています。
Pandasは、データの前処理、探索的データ分析（EDA）、データのクリーニング、データの変換、データの可視化など、データ分析のライフサイクル全体をサポートします。これらの機能により、PandasはPythonデータサイエンスエコシステムの中心的な部分を占めています。
merge関数の基本的な使い方
Pandasのmerge関数は、2つのデータフレームを特定のキー（またはキーのセット）に基づいて結合するための強力なツールです。SQLのJOIN操作と非常に似ています。
基本的な使用法は次のとおりです：
merged_df = df1.merge(df2, on='共通の列名')
ここで、df1とdf2は結合したいデータフレームで、'共通の列名'は両方のデータフレームに存在する列で、この列に基づいて結合が行われます。
また、merge関数はleft_onとright_onパラメータも提供しています。これらのパラメータを使用すると、2つのデータフレームが異なる列名を持つ場合でも結合を行うことができます。例えば：
merged_df = df1.merge(df2, left_on='df1の列名', right_on='df2の列名')
この場合、df1の'df1の列名'とdf2の'df2の列名'が一致する行が結合されます。
merge関数は、データの結合に非常に柔軟性があり、データ分析において非常に有用なツールです。
結合の種類: inner, outer, left, right
Pandasのmerge関数は、結合の種類を指定するhowパラメータを提供しています。このパラメータはデフォルトで'inner'に設定されていますが、'outer'、'left'、'right'のいずれかに変更することも可能です。これらの結合の種類は以下のように動作します：
- inner: これはデフォルトの結合の種類で、両方のデータフレームに存在する行のみが結果のデータフレームに含まれます。これはSQLのINNER JOINに相当します。
merged_df = df1.merge(df2, on='共通の列名', how='inner')
- outer: これは全結合とも呼ばれ、一方または両方のデータフレームに存在する行がすべて結果のデータフレームに含まれます。これはSQLのFULL OUTER JOINに相当します。
merged_df = df1.merge(df2, on='共通の列名', how='outer')
- left: これは左結合とも呼ばれ、左側のデータフレーム（
df1）に存在する行がすべて結果のデータフレームに含まれます。これはSQLのLEFT OUTER JOINに相当します。
merged_df = df1.merge(df2, on='共通の列名', how='left')
- right: これは右結合とも呼ばれ、右側のデータフレーム（
df2）に存在する行がすべて結果のデータフレームに含まれます。これはSQLのRIGHT OUTER JOINに相当します。
merged_df = df1.merge(df2, on='共通の列名', how='right')
これらの結合の種類を理解することで、データ分析におけるデータの結合がより柔軟になります。
結合の優先順位とは
結合の優先順位とは、複数のデータフレームを結合する際に、どのデータフレームの値を優先して採用するかを決定するルールのことを指します。これは特に、結合するデータフレーム間で重複する値が存在する場合に重要となります。
Pandasのmerge関数では、suffixesパラメータを使用して、重複する列名に接尾辞を追加することで、どのデータフレームの値がどの列に対応するかを明確にすることができます。例えば：
merged_df = df1.merge(df2, on='共通の列名', suffixes=('_df1', '_df2'))
この場合、df1とdf2の両方に存在する列名にはそれぞれ_df1と_df2の接尾辞が追加されます。これにより、結果のデータフレームでは、どの列がどのデータフレームから来たのかを容易に識別することができます。
ただし、merge関数自体は結合の優先順位を明示的に指定する機能を提供していません。そのため、結合の優先順位を制御するためには、データフレームを結合する前に必要な処理（例えば、特定の列の値を手動で選択するなど）を行う必要があります。
実践例: データ分析におけるmerge関数の活用
Pandasのmerge関数は、データ分析の現場で頻繁に使用されます。以下に、具体的な使用例を示します。
# データフレームの作成
import pandas as pd
df1 = pd.DataFrame({
'社員ID': ['001', '002', '003', '004', '005'],
'名前': ['山田', '佐藤', '鈴木', '高橋', '田中'],
'部署': ['営業', '人事', '開発', '開発', '営業']
})
df2 = pd.DataFrame({
'社員ID': ['002', '003', '004', '005', '006'],
'給与': [200000, 250000, 300000, 150000, 180000],
'入社年月': ['2019-04', '2020-11', '2018-03', '2021-07', '2019-12']
})
# merge関数を使用して結合
merged_df = df1.merge(df2, on='社員ID', how='inner')
print(merged_df)
この例では、2つのデータフレーム（df1とdf2）があり、それぞれに社員IDという共通の列が存在します。merge関数を使用して、これらのデータフレームを社員IDに基づいて結合しています。
結果のデータフレームmerged_dfは、両方のデータフレームの情報を含んでいます。このように、merge関数を使用すると、複数のデータフレームの情報を一元化し、より詳細な分析を行うことが可能になります。