Pandasは、Pythonでデータ分析を行う上で欠かせないライブラリです。DataFrameという強力なデータ構造を提供し、データの操作、クリーニング、分析を効率的に行うことができます。
データ分析において、特定の列に含まれるユニーク（一意）な値を把握することは非常に重要です。なぜなら、ユニークな値を知ることで、以下のような情報を得ることができるからです。
- データの種類の把握: 列に含まれるカテゴリの種類や、取りうる値の範囲を知ることができます。
- データの偏りの検出: 特定の値が極端に多い、あるいは少ないといったデータの偏りを発見できます。
- 欠損値の確認: NaN（Not a Number）などの欠損値がデータに含まれているかを確認できます。
- データの品質評価: 不正な値や誤った形式のデータを見つけることができます。
例えば、顧客データを分析する際に、居住地の列のユニークな値を調べることで、どの地域からの顧客が多いのかを把握できます。また、商品データのカテゴリ列のユニークな値を調べることで、販売している商品の種類を確認できます。
このように、Pandasを用いてユニークな値をカウントすることは、データ分析の最初のステップとして非常に重要であり、その後の分析の方向性を決定づける上で重要な役割を果たします。本記事では、Pandas DataFrameの特定の列からユニークな値を効率的に抽出し、その数をカウントする方法について詳しく解説します。
Pandasでユニークな値をカウントするためには、まずDataFrameを作成し、分析対象となるデータを準備する必要があります。ここでは、簡単な例を用いてDataFrameの作成方法とデータの準備について説明します。
1. Pandasライブラリのインポート
まず、Pandasライブラリをインポートします。pdというエイリアスを使うのが一般的です。
import pandas as pd
2. DataFrameの作成
DataFrameを作成する方法はいくつかありますが、ここでは最も簡単な方法として、辞書から作成する方法を紹介します。
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', '食品'],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None]
}
df = pd.DataFrame(data)
print(df)
このコードでは、dataという辞書を定義し、それをpd.DataFrame()に渡すことでDataFrameを作成しています。辞書のキーがDataFrameの列名になり、値がそれぞれの列のデータになります。
実行結果:
商品カテゴリ 価格 在庫数
0 家電 10000 5.0
1 食品 500 20.0
2 家電 12000 3.0
3 書籍 1500 10.0
4 食品 600 15.0
5 家電 11000 7.0
6 書籍 1600 12.0
7 食品 550 18.0
8 食品 700 NaN
3. データの確認
DataFrameが正しく作成されたか確認するために、head()メソッドやinfo()メソッドを使用します。
-
head(): DataFrameの最初の数行を表示します (デフォルトは5行)。 -
info(): DataFrameの概要（列名、データ型、欠損値の数など）を表示します。
print(df.head())
print(df.info())
実行結果 (head()):
商品カテゴリ 価格 在庫数
0 家電 10000 5.0
1 食品 500 20.0
2 家電 12000 3.0
3 書籍 1500 10.0
4 食品 600 15.0
実行結果 (info()):
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 9 entries, 0 to 8
Data columns (total 3 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 商品カテゴリ 9 non-null object
1 価格 9 non-null int64
2 在庫数 8 non-null float64
dtypes: float64(1), int64(1), object(1)
memory usage: 344.0 bytes
None
info()の実行結果から、在庫数列に欠損値（None）が含まれていることがわかります。
4. 分析対象の列の選択
ユニークな値をカウントしたい列を選択します。例えば、商品カテゴリ列のユニークな値をカウントしたい場合は、以下のように列を選択します。
category_column = df['商品カテゴリ']
print(category_column)
実行結果:
0 家電
1 食品
2 家電
3 書籍
4 食品
5 家電
6 書籍
7 食品
8 食品
Name: 商品カテゴリ, dtype: object
これで、ユニークな値をカウントするためのDataFrameと分析対象の列の準備が完了しました。次のセクションでは、unique()メソッドを用いてユニークな値を抽出する方法について解説します。
Pandas DataFrameの特定の列からユニークな値を抽出するには、unique()メソッドを使用します。unique()メソッドは、指定された列に含まれるすべての一意な値をNumPy配列として返します。
1. unique()メソッドの使用例
先ほど作成したDataFrameの商品カテゴリ列からユニークな値を抽出してみましょう。
import pandas as pd
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', '食品'],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None]
}
df = pd.DataFrame(data)
category_column = df['商品カテゴリ']
unique_categories = category_column.unique()
print(unique_categories)
実行結果:
['家電' '食品' '書籍']
unique()メソッドの結果はNumPy配列として返されるため、['家電' '食品' '書籍']のように表示されます。これにより、商品カテゴリ列には「家電」「食品」「書籍」という3つのユニークな値が含まれていることがわかります。
2. 欠損値(NaN)の扱い
DataFrameに欠損値(NaN)が含まれている場合、unique()メソッドはそれをユニークな値の一つとして扱います。
import pandas as pd
import numpy as np
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', np.nan],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None]
}
df = pd.DataFrame(data)
category_column = df['商品カテゴリ']
unique_categories = category_column.unique()
print(unique_categories)
実行結果:
['家電' '食品' '書籍' nan]
この例では、商品カテゴリ列にNaNが含まれているため、unique()メソッドの結果にnanが含まれています。
3. unique()メソッドの注意点
-
unique()メソッドは、列に含まれるすべてのユニークな値を返しますが、それらの値がそれぞれ何回出現するかはカウントしません。 - 大規模なデータセットの場合、
unique()メソッドの実行に時間がかかることがあります。
次のセクションでは、ユニークな値の出現回数をカウントするvalue_counts()メソッドについて解説します。value_counts()メソッドは、unique()メソッドよりもさらに強力な分析を可能にします。
Pandas DataFrameの特定の列に含まれるユニークな値の出現回数をカウントするには、value_counts()メソッドを使用します。value_counts()メソッドは、ユニークな値をインデックスとし、その出現回数を値とするSeriesオブジェクトを返します。これは、データ内の各値がどれだけ頻繁に現れるかを把握する上で非常に役立ちます。
1. value_counts()メソッドの使用例
先ほど作成したDataFrameの商品カテゴリ列に含まれるユニークな値の出現回数をカウントしてみましょう。
import pandas as pd
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', '食品'],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None]
}
df = pd.DataFrame(data)
category_column = df['商品カテゴリ']
category_counts = category_column.value_counts()
print(category_counts)
実行結果:
食品 4
家電 3
書籍 2
Name: 商品カテゴリ, dtype: int64
この結果から、商品カテゴリ列には「食品」が4回、「家電」が3回、「書籍」が2回出現していることがわかります。value_counts()メソッドは、デフォルトで出現回数の多い順に結果をソートします。
2. ソート順の変更
value_counts()メソッドのsort引数をFalseに設定することで、ソート順を無効にすることができます。
category_counts = category_column.value_counts(sort=False)
print(category_counts)
この場合、元のデータの順序に基づいて結果が表示されるため、結果が変わる可能性があります。
3. 欠損値(NaN)の扱い (dropna=True)
デフォルトでは、value_counts()メソッドは欠損値(NaN)をカウントしません。これは、dropna引数がデフォルトでTrueに設定されているためです。
import pandas as pd
import numpy as np
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', np.nan],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None]
}
df = pd.DataFrame(data)
category_column = df['商品カテゴリ']
category_counts = category_column.value_counts()
print(category_counts)
実行結果:
食品 4
家電 3
書籍 2
Name: 商品カテゴリ, dtype: int64
NaNはカウントされていません。
次のセクションでは、dropna=Falseオプションを使用して欠損値(NaN)をカウントする方法について解説します。
value_counts()メソッドのdropna引数をFalseに設定すると、欠損値(NaN)もユニークな値としてカウントされるようになります。これは、データに欠損値がどれだけ含まれているかを把握する上で非常に重要です。
1. dropna=Falseの使用例
先ほどの例に引き続き、DataFrameの商品カテゴリ列に含まれるユニークな値の出現回数を、欠損値(NaN)を含めてカウントしてみましょう。
import pandas as pd
import numpy as np
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', np.nan],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None]
}
df = pd.DataFrame(data)
category_column = df['商品カテゴリ']
category_counts = category_column.value_counts(dropna=False)
print(category_counts)
実行結果:
食品 4
家電 3
書籍 2
NaN 1
Name: 商品カテゴリ, dtype: int64
この結果から、商品カテゴリ列には「食品」が4回、「家電」が3回、「書籍」が2回、そして欠損値(NaN)が1回出現していることがわかります。
2. 欠損値の確認の重要性
欠損値は、データ分析の結果に大きな影響を与える可能性があります。例えば、欠損値を無視して平均値を計算すると、実際とは異なる値になることがあります。
dropna=Falseオプションを使用することで、データに欠損値がどれだけ含まれているかを把握し、適切な対処法を検討することができます。欠損値の対処法としては、以下のようなものがあります。
- 欠損値を含む行または列の削除: 欠損値が少ない場合は有効ですが、多くの欠損値を含む場合はデータの損失が大きくなります。
- 欠損値の補完: 欠損値を、平均値、中央値、最頻値などの代表値で埋めます。より高度な補完方法として、機械学習モデルを用いた予測値で埋める方法もあります。
3. 欠損値の確認と対処の組み合わせ
value_counts(dropna=False)で欠損値の数を確認し、その数に応じて適切な対処法を選択することが重要です。
例えば、欠損値が全体のデータのごく一部である場合は、欠損値を含む行を削除しても大きな影響はありません。しかし、欠損値が多い場合は、補完などの別の方法を検討する必要があります。
このように、dropna=Falseオプションを用いることで、データに含まれる欠損値の数を正確に把握し、データ分析の信頼性を高めることができます。
次のセクションでは、normalize=Trueオプションを用いて、各ユニークな値の割合を算出する方法について解説します。
value_counts()メソッドのnormalize引数をTrueに設定すると、各ユニークな値の出現回数の代わりに、データ全体に対する割合が表示されるようになります。これは、各カテゴリの相対的な重要性を把握する上で非常に役立ちます。
1. normalize=Trueの使用例
先ほどの例に引き続き、DataFrameの商品カテゴリ列に含まれるユニークな値の割合を算出してみましょう。
import pandas as pd
import numpy as np
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', np.nan],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None]
}
df = pd.DataFrame(data)
category_column = df['商品カテゴリ']
category_percentages = category_column.value_counts(normalize=True)
print(category_percentages)
実行結果:
食品 0.444444
家電 0.333333
書籍 0.222222
Name: 商品カテゴリ, dtype: float64
この結果から、商品カテゴリ列において、「食品」が全体の約44.4%、「家電」が全体の約33.3%、「書籍」が全体の約22.2%を占めていることがわかります。
2. 欠損値(NaN)を含めた割合の計算
dropna=Falseオプションとnormalize=Trueオプションを組み合わせることで、欠損値(NaN)を含めた各ユニークな値の割合を計算することができます。
category_percentages = category_column.value_counts(normalize=True, dropna=False)
print(category_percentages)
実行結果:
食品 0.444444
家電 0.333333
書籍 0.222222
NaN 0.111111
Name: 商品カテゴリ, dtype: float64
この結果から、商品カテゴリ列において、「食品」が全体の約44.4%、「家電」が全体の約33.3%、「書籍」が全体の約22.2%、そして欠損値(NaN)が全体の約11.1%を占めていることがわかります。
3. 割合表示の活用例
割合表示は、データの全体像を把握する上で非常に役立ちます。例えば、以下のような場合に活用できます。
- 市場シェアの分析: 各商品の売上割合を分析することで、どの商品が市場でどれだけのシェアを持っているかを把握できます。
- 顧客層の分析: 各年齢層の顧客割合を分析することで、ターゲット層を特定し、マーケティング戦略を最適化できます。
- 異常検知: 通常とは異なる割合のデータが出現した場合、異常な状況が発生している可能性を検知できます。
このように、normalize=Trueオプションを用いることで、各ユニークな値の割合を簡単に算出し、データ分析の幅を広げることができます。
次のセクションでは、複数の列におけるユニークな値のカウントについて解説します。
Pandas DataFrameでは、複数の列を組み合わせてユニークな値をカウントすることも可能です。これは、複数の条件を満たすデータの出現回数を把握する上で非常に役立ちます。
1. groupby()とsize()の組み合わせ
複数の列を組み合わせてユニークな値をカウントする最も一般的な方法は、groupby()メソッドとsize()メソッドを組み合わせる方法です。groupby()メソッドは、指定された列の値に基づいてDataFrameをグループ化し、size()メソッドは、各グループの行数を返します。
import pandas as pd
import numpy as np
data = {
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '書籍', '食品', np.nan, '食品'],
'地域': ['東京', '大阪', '東京', '大阪', '東京', '大阪', '東京', '大阪', '東京', '東京'],
'価格': [10000, 500, 12000, 1500, 600, 11000, 1600, 550, 700, 800],
'在庫数': [5, 20, 3, 10, 15, 7, 12, 18, None, 22]
}
df = pd.DataFrame(data)
# 商品カテゴリと地域ごとの件数をカウント
category_region_counts = df.groupby(['商品カテゴリ', '地域']).size()
print(category_region_counts)
実行結果:
商品カテゴリ 地域
家電 大阪 1
東京 2
書籍 大阪 1
東京 1
食品 大阪 2
東京 2
dtype: int64
この結果から、「家電」が「東京」で2件、「大阪」で1件、「食品」が「東京」で2件、「大阪」で2件、「書籍」が「東京」で1件、「大阪」で1件販売されていることがわかります。
2. unstack()による結果の整形
groupby()とsize()の結果は階層的なインデックスを持つSeriesオブジェクトですが、unstack()メソッドを使用することで、結果をより見やすいDataFrame形式に変換することができます。
category_region_counts_unstacked = df.groupby(['商品カテゴリ', '地域']).size().unstack()
print(category_region_counts_unstacked)
実行結果:
地域 大阪 東京
商品カテゴリ
家電 1.0 2.0
書籍 1.0 1.0
食品 2.0 2.0
unstack()メソッドは、指定されたレベルのインデックスを列に変換します。この例では、地域のレベルを列に変換しています。
3. 欠損値(NaN)の扱い
groupby()メソッドは、デフォルトでは欠損値(NaN)を含む行もグループ化します。dropna=Falseのようなオプションはありません。欠損値を明示的に扱いたい場合は、事前に欠損値を特定の値に置換するなどの処理が必要になります。
4. 複数列の組み合わせの活用例
複数列の組み合わせによるユニークな値のカウントは、様々な分析に活用できます。例えば、以下のような場合に有効です。
- 顧客セグメント分析: 顧客の年齢層、性別、居住地などを組み合わせて、特定の顧客セグメントの特性を分析できます。
- 購買行動分析: 商品カテゴリ、購買時間帯、購入チャネルなどを組み合わせて、特定の購買行動パターンを分析できます。
- リスク分析: 業種、地域、企業規模などを組み合わせて、特定のリスク要因を持つ企業グループを特定できます。
このように、複数の列を組み合わせることで、データ分析の粒度を細かくし、より深い洞察を得ることができます。
次のセクションでは、ユニークな値に基づいたデータ分析の応用例について解説します。
ユニークな値のカウントは、単なるデータの集計だけでなく、より高度なデータ分析の基礎としても活用できます。ここでは、ユニークな値に基づいたデータ分析のいくつかの応用例を紹介します。
1. 異常検知
ユニークな値の出現頻度を監視することで、異常なデータの出現を検知することができます。例えば、ある商品の売上が急激に減少した場合、その商品のユニークな購買顧客数も減少している可能性があります。
import pandas as pd
import numpy as np
# サンプルデータ（日ごとの商品カテゴリ別の売上個数）
data = {
'日付': pd.to_datetime(['2023-10-26', '2023-10-26', '2023-10-27', '2023-10-27', '2023-10-28', '2023-10-28']),
'商品カテゴリ': ['家電', '食品', '家電', '食品', '家電', '食品'],
'売上個数': [10, 20, 12, 18, 2, 5] # 2023-10-28に売上が急減
}
df = pd.DataFrame(data)
# 日付ごとの商品カテゴリのユニークな数をカウント
unique_categories_per_day = df.groupby('日付')['商品カテゴリ'].nunique()
print(unique_categories_per_day)
# 2023-10-28のユニークなカテゴリ数が低い場合にアラートを出す
if unique_categories_per_day['2023-10-28'] < 2:
print("警告：2023-10-28の商品カテゴリ数が異常に低い")
この例では、nunique()メソッドを使って各日付におけるユニークな商品カテゴリの数をカウントしています。特定の日にユニークなカテゴリ数が大幅に減少した場合、何らかの異常が発生している可能性があります。
2. 特徴量エンジニアリング
ユニークな値のカウントは、機械学習モデルの性能を向上させるための特徴量として活用できます。例えば、顧客ごとの購入商品カテゴリのユニーク数を特徴量として使用することで、顧客の購買傾向を把握し、より精度の高い予測モデルを構築することができます。
import pandas as pd
import numpy as np
# サンプルデータ（顧客ごとの購入履歴）
data = {
'顧客ID': [1, 1, 2, 2, 2, 3, 3],
'商品カテゴリ': ['家電', '食品', '家電', '書籍', '食品', '家電', '雑貨']
}
df = pd.DataFrame(data)
# 顧客ごとのユニークな商品カテゴリ数を計算
unique_categories_per_customer = df.groupby('顧客ID')['商品カテゴリ'].nunique()
print(unique_categories_per_customer)
# 新しいDataFrameにユニークなカテゴリ数を特徴量として追加
customer_features = pd.DataFrame({'顧客ID': unique_categories_per_customer.index, 'ユニークカテゴリ数': unique_categories_per_customer.values})
print(customer_features)
この例では、各顧客が購入したユニークな商品カテゴリ数を計算し、それを顧客の特徴量として利用しています。
3. データ品質の評価
ユニークな値の確認は、データの品質を評価する上で重要な役割を果たします。例えば、ある列に予想外のユニークな値が含まれている場合、データの入力ミスや不正なデータが含まれている可能性があります。
import pandas as pd
import numpy as np
# サンプルデータ
data = {
'都道府県': ['東京都', '大阪府', '東京都', '京都府', 'トウキョウト', '大阪府']
}
df = pd.DataFrame(data)
# 都道府県列のユニークな値を表示
unique_prefectures = df['都道府県'].unique()
print(unique_prefectures)
# 類似した文字列（東京都とトウキョウト）が含まれている場合に警告を出す
if 'トウキョウト' in unique_prefectures:
print("警告：都道府県名に表記ゆれがあります")
この例では、「東京都」と「トウキョウト」のように、表記ゆれによるデータの不整合を検知しています。
4. A/Bテスト分析
A/Bテストの結果を分析する際に、ユニークなユーザー数やコンバージョン数を比較することで、どちらのバージョンが効果的であるかを判断することができます。
import pandas as pd
import numpy as np
# サンプルデータ（A/Bテストの結果）
data = {
'バージョン': ['A', 'A', 'B', 'B', 'A', 'B'],
'ユーザーID': [1, 2, 3, 1, 4, 2],
'コンバージョン': [0, 1, 1, 0, 0, 1] # 0:コンバージョンなし, 1:コンバージョンあり
}
df = pd.DataFrame(data)
# 各バージョンのユニークなユーザー数をカウント
unique_users_per_version = df.groupby('バージョン')['ユーザーID'].nunique()
print(unique_users_per_version)
# 各バージョンのコンバージョン率を計算
conversion_rate_per_version = df.groupby('バージョン')['コンバージョン'].mean()
print(conversion_rate_per_version)
これらの例はほんの一例ですが、ユニークな値のカウントは、様々なデータ分析の場面で応用することができます。データの種類や分析目的に合わせて、unique()メソッドやvalue_counts()メソッドを柔軟に活用することで、より深い洞察を得ることができます。
次のセクションでは、本記事のまとめとして、Pandasでユニークな値を活用することの重要性を改めて強調します。
本記事では、Pandas DataFrameの特定の列におけるユニークな値を抽出し、その数をカウントする方法について詳しく解説しました。unique()メソッド、value_counts()メソッド、そしてこれらのメソッドを応用したさまざまなオプションやテクニックを通じて、データ分析におけるユニークな値の重要性とその活用方法を理解していただけたかと思います。
Pandasは、Pythonにおけるデータ分析の強力なツールであり、unique()やvalue_counts()のようなシンプルなメソッドを使いこなすことで、データの特性を把握し、より効果的な分析へとつなげることができます。
本記事の主要なポイント:
- データの理解: ユニークな値を把握することで、データの種類、範囲、品質に関する洞察を得られます。
- データのクリーニング: 不正な値や表記ゆれを検出し、データの品質を向上させることができます。
- 特徴量エンジニアリング: ユニークな値のカウントは、機械学習モデルの性能を向上させるための特徴量として活用できます。
- 異常検知: データの変化を監視し、異常なパターンを早期に発見することができます。
- A/Bテスト分析: テストの結果を比較し、改善の効果を評価することができます。
Pandasでユニークな値を活用する上での注意点:
-
欠損値の扱い:
dropnaオプションを使用して、欠損値を適切に処理することが重要です。 - データ規模: 大規模なデータセットの場合、処理に時間がかかることがあるため、効率的なコードを書くことが重要です。
- データの種類: データの種類（数値、カテゴリカルなど）に合わせて適切な分析方法を選択する必要があります。
データ分析は、単なる数字の羅列ではなく、データに隠された意味を読み解き、ビジネス上の意思決定を支援するプロセスです。Pandasのunique()メソッドやvalue_counts()メソッドは、その最初のステップとして、データに対する深い理解を促し、より高度な分析への扉を開きます。
本記事が、皆様のデータ分析スキル向上の一助となれば幸いです。Pandasを使いこなし、データから価値を引き出す旅を楽しんでください。