Pandasのread_csvで特定行を読み飛ばす方法：header, skiprows, nrows, usecols

Pandasは、Pythonでデータ分析を行う上で非常に強力なライブラリです。その中でもread_csv関数は、CSVファイルをデータフレーム（Pandasの主要なデータ構造）として読み込むための最も基本的な関数の一つです。

read_csvを使うことで、CSV形式で保存されたデータを簡単にPythonで扱えるようになります。しかし、CSVファイルによっては、ヘッダー行が複数存在したり、コメント行が含まれていたり、不要な行が混ざっていたりすることがあります。

このような場合に、read_csvのオプションを適切に使うことで、必要なデータだけを効率的に読み込むことができます。本記事では、read_csvのheader, skiprows, nrows, usecolsといったオプションに焦点を当て、特定の行を読み飛ばしたり、特定の列だけを読み込んだりする方法について詳しく解説します。これらのオプションを使いこなすことで、より柔軟なデータ処理が可能になり、データ分析の効率を大幅に向上させることができます。

CSVファイルを読み込む際、通常、最初の行がカラム名（ヘッダー）として扱われます。しかし、ファイルによってはヘッダーが2行目以降に存在したり、ヘッダー行が存在しない場合もあります。このような場合に役立つのがheaderオプションです。

headerオプションを使うことで、ヘッダーとして使用する行を指定できます。

基本的な使い方

headerオプションには、整数または整数のリストを指定できます。

• 整数を指定する場合: 指定した行番号の行がヘッダーとして使用されます（0始まり）。例えば、header=1と指定すると、2行目がヘッダーとして読み込まれ、1行目はデータとして扱われます。
• 整数のリストを指定する場合: 複数の行をMultiIndexとしてヘッダーに使用できます。

例：2行目をヘッダーとして読み込む

import pandas as pd

# サンプルデータ（sample.csv）
# 不要な行1
# カラム1,カラム2,カラム3
# データ1,データ2,データ3
# データ4,データ5,データ6

df = pd.read_csv('sample.csv', header=1)
print(df)

この例では、header=1を指定することで、2行目（0から数えて1番目）がヘッダーとして読み込まれます。 “不要な行1″は読み飛ばされます。

ヘッダー行が存在しない場合

CSVファイルにヘッダー行が存在しない場合は、header=Noneを指定します。この場合、Pandasは自動的に0, 1, 2…といった連番でカラム名を生成します。 namesオプションと組み合わせて、自分でカラム名を指定することもできます。

import pandas as pd

# サンプルデータ（no_header.csv）
# データ1,データ2,データ3
# データ4,データ5,データ6

df = pd.read_csv('no_header.csv', header=None)
print(df)

# namesオプションでカラム名を指定
df = pd.read_csv('no_header.csv', header=None, names=['column_A', 'column_B', 'column_C'])
print(df)

headerオプションを適切に設定することで、CSVファイルの構造に合わせて柔軟にデータを読み込むことができます。

skiprowsオプションは、CSVファイルの先頭から指定した行数を読み飛ばす際に使用します。ヘッダー行より前の不要な情報（コメント行や説明文など）を取り除きたい場合に非常に便利です。

基本的な使い方

skiprowsオプションには、整数またはリストを指定できます。

• 整数を指定する場合: 指定した行数だけ先頭から読み飛ばします（0始まりではありません。つまり、1を指定すると1行目をスキップします）。
• リストを指定する場合: リストに指定された行番号の行を読み飛ばします（0始まり）。

例：先頭の3行を読み飛ばす

import pandas as pd

# サンプルデータ (skiprows_sample.csv)
# これはコメントです
# これはデータの説明です
# 不要なヘッダー
# カラム1,カラム2,カラム3
# データ1,データ2,データ3
# データ4,データ5,データ6

df = pd.read_csv('skiprows_sample.csv', skiprows=3) # 先頭3行をスキップ
print(df)

この例では、skiprows=3を指定することで、先頭の3行（”これはコメントです”, “これはデータの説明です”, “不要なヘッダー”）が読み飛ばされ、4行目がヘッダーとして扱われます（デフォルトのheader=0の場合）。

例：特定の行を読み飛ばす

import pandas as pd

# サンプルデータ (skiprows_sample2.csv)
# カラム1,カラム2,カラム3
# データ1,データ2,データ3
# 不要なデータ行
# データ4,データ5,データ6

df = pd.read_csv('skiprows_sample2.csv', skiprows=[2]) # 3行目をスキップ
print(df)

この例では、skiprows=[2]を指定することで、3行目（0から数えて2番目）の “不要なデータ行” が読み飛ばされます。

注意点

• skiprowsとheaderを同時に使用する場合、skiprowsで指定した行は完全に読み飛ばされ、headerで指定した行がヘッダーとして使用されます。
• skiprowsはファイルの先頭から指定行を読み飛ばすため、ファイルの末尾から読み飛ばすことはできません。

skiprowsオプションをうまく活用することで、不要な情報が含まれたCSVファイルでも、必要なデータだけを効率的に読み込むことができます。

nrowsオプションは、CSVファイルの先頭から指定した行数だけを読み込む際に使用します。大きなCSVファイルの一部だけを読み込んで動作確認をしたい場合や、メモリ使用量を抑えたい場合に便利です。

基本的な使い方

nrowsオプションには、整数値を指定します。

例：先頭の5行だけを読み込む

import pandas as pd

# サンプルデータ (large_data.csv)
# 非常に大きなCSVファイル

df = pd.read_csv('large_data.csv', nrows=5) # 先頭5行のみ読み込む
print(df)

この例では、nrows=5を指定することで、large_data.csvファイルの先頭5行だけが読み込まれます。ファイルのサイズに関わらず、指定した行数だけがデータフレームに格納されます。

nrowsとskiprowsの組み合わせ

nrowsとskiprowsを組み合わせることで、特定の範囲のデータを読み込むことができます。

例：6行目から10行目までを読み込む

import pandas as pd

# サンプルデータ (large_data.csv)

df = pd.read_csv('large_data.csv', skiprows=5, nrows=5) # 6行目から5行読み込む
print(df)

この例では、skiprows=5で先頭の5行をスキップし、nrows=5でその後ろの5行を読み込むことで、6行目から10行目までのデータを取得できます。

注意点

• nrowsで指定した行数よりもファイル全体の行数が少ない場合、ファイル全体が読み込まれます。
• nrowsはヘッダー行も含めてカウントします。header=0 (デフォルト) の場合、最初の行がヘッダーとして扱われますが、nrowsで指定する行数にはヘッダー行も含まれます。

nrowsオプションを使用することで、巨大なCSVファイルを効率的に処理し、メモリ不足の問題を回避することができます。

usecolsオプションは、CSVファイルから特定の列のみを読み込む際に使用します。不要な列を読み込まないことで、メモリ使用量を削減し、処理速度を向上させることができます。 特に列数の多いCSVファイルでは、その効果を実感できるでしょう。

基本的な使い方

usecolsオプションには、以下のいずれかを指定できます。

• 列名 (文字列のリスト): 読み込みたい列の名前をリストで指定します。
• 列番号 (整数のリスト): 読み込みたい列のインデックスをリストで指定します（0始まり）。
• callable関数: 読み込む列を決定する関数を指定します。関数は各列名を引数として受け取り、bool値を返します (True: 読み込む、False: 読み込まない)。

例：列名で指定する

import pandas as pd

# サンプルデータ (data_with_many_columns.csv)
# column_A,column_B,column_C,column_D,column_E
# 1,2,3,4,5
# 6,7,8,9,10

df = pd.read_csv('data_with_many_columns.csv', usecols=['column_A', 'column_C'])
print(df)

この例では、usecols=['column_A', 'column_C']を指定することで、”column_A”と”column_C”の2つの列のみが読み込まれます。

例：列番号で指定する

import pandas as pd

# サンプルデータ (data_with_many_columns.csv)

df = pd.read_csv('data_with_many_columns.csv', usecols=[0, 2]) # 1列目と3列目を読み込む
print(df)

この例では、usecols=[0, 2]を指定することで、1列目（インデックス0）と3列目（インデックス2）の2つの列のみが読み込まれます。 列名がないCSVファイルや、列名が不明な場合に便利です。

例：callable関数を使用する

import pandas as pd

# サンプルデータ (data_with_many_columns.csv)

def column_selector(column_name):
    return 'A' in column_name or 'E' in column_name  # AまたはEを含む列を読み込む

df = pd.read_csv('data_with_many_columns.csv', usecols=column_selector)
print(df)

この例では、usecolsにcolumn_selector関数を渡すことで、列名に”A”または”E”を含む列のみが読み込まれます。 より複雑な条件で列を選択したい場合に有効です。

注意点

• usecolsで指定した列が存在しない場合、ValueErrorが発生します。
• usecolsとnamesオプションを同時に使用する場合、usecolsで指定する名前は、namesで指定した名前と一致する必要があります。

usecolsオプションを適切に使用することで、必要なデータだけを効率的に読み込み、メモリ使用量を削減することができます。

skiprowsオプションに整数やリストを渡すだけでなく、関数を渡すことで、より複雑な条件で読み飛ばす行を指定できます。この方法は、特定のパターンに一致する行や、特定の値を含む行をスキップしたい場合に非常に有効です。

基本的な使い方

skiprowsオプションには、行番号（0始まり）を引数として受け取り、bool値を返す関数を指定します。関数がTrueを返すと、その行は読み飛ばされます。

例：コメント行（#で始まる行）をスキップする

import pandas as pd

# サンプルデータ (commented_data.csv)
# # これはコメントです
# column_A,column_B,column_C
# 1,2,3
# # これは別のコメントです
# 4,5,6

def is_comment(row_number):
    with open('commented_data.csv', 'r') as f:
        for i, line in enumerate(f):
            if i == row_number:
                return line.startswith('#')
    return False # ファイルサイズよりskiprowsの行数が大きかった場合

df = pd.read_csv('commented_data.csv', skiprows=is_comment)
print(df)

この例では、is_comment関数は、指定された行番号の行が#で始まるかどうかをチェックします。read_csvは、この関数を使って各行を評価し、#で始まる行を読み飛ばします。

補足：より効率的なコメント行のスキップ

上記の例では、read_csvの実行ごとに毎回ファイルを開いて行をチェックしているため、大きなファイルでは非効率です。より効率的な方法として、ジェネレータを使用してファイルの内容を一度だけ読み込み、行番号と行内容をペアにして関数に渡す方法があります。

import pandas as pd

def comment_filter(row_index, row):
    # rowは行のリストではなく、行の文字列であるため、split(",")は不要
    return row.startswith('#')

with open("commented_data.csv", "r") as f:
    df = pd.read_csv(f, skiprows=lambda x: comment_filter(x, f.readline().strip())) # 一度readlines()で読み込む方法は非推奨

print(df)

例：特定の値を含む行をスキップする

import pandas as pd

# サンプルデータ (data_with_errors.csv)
# column_A,column_B,column_C
# 1,2,3
# error,invalid,data
# 4,5,6

def has_error(row_number):
  with open('data_with_errors.csv', 'r') as f:
    for i, line in enumerate(f):
        if i == row_number:
            return 'error' in line
    return False # ファイルサイズよりskiprowsの行数が大きかった場合

df = pd.read_csv('data_with_errors.csv', skiprows=has_error)
print(df)

この例では、has_error関数は、指定された行番号の行に”error”という文字列が含まれているかどうかをチェックします。 read_csvは、この関数を使って各行を評価し、”error”を含む行を読み飛ばします。

注意点

• 関数をskiprowsに渡す場合、関数は各行番号に対して一度ずつ呼び出されます。そのため、関数内の処理が重いと、read_csvの処理時間が増加する可能性があります。できるだけ効率的な関数を記述するように心がけましょう。
• 関数内でファイルを開く場合は、ファイルポインタの位置に注意してください。誤ってファイル全体を読み込んでしまうと、予期せぬ結果になる可能性があります。

skiprowsにカスタム関数を渡すことで、CSVファイルをより柔軟に処理し、複雑な条件で不要な行をスキップすることができます。

pandas.read_csv は非常に便利な関数ですが、CSVファイルの形式が想定外であったり、データに問題があったりする場合、エラーが発生することがあります。ここでは、よくあるエラーとその対処法について解説します。

1. FileNotFoundError: ファイルが見つからない

原因: 指定したファイルパスにファイルが存在しない場合に発生します。

対処法:

• ファイルパスが正しいことを確認してください（スペルミス、大文字小文字の区別、相対パスと絶対パス）。
• ファイルが存在するディレクトリにPythonスクリプトがあるか、正しいディレクトリを指定しているか確認してください。

2. ParserError: データ解析エラー

原因: CSVファイルの形式が不正である場合に発生します。

主な原因:

• 区切り文字の不一致: sep引数で指定した区切り文字が、実際のファイルと異なっている。
• 引用符の問題: 引用符（" や '）で囲まれた文字列の中に、エスケープされていない引用符が含まれている。
• 行ごとの列数の不一致: 各行の列数が異なっている（ヘッダー行とデータの列数が異なる場合も含む）。
• 不正なデータ型: 数値として読み込むべき列に、文字列や記号が含まれている。

対処法:

• 区切り文字の確認: sep引数で正しい区切り文字を指定してください。,（カンマ）、;（セミコロン）、\t（タブ）などが一般的です。
• 引用符の処理: quotechar引数で引用符を指定し、quoting引数で引用符の扱い方を制御してください。
  • quoting=csv.QUOTE_MINIMAL: 必要最小限の引用符を処理します（デフォルト）。
  • quoting=csv.QUOTE_ALL: すべてのフィールドを引用符で囲みます。
  • quoting=csv.QUOTE_NONNUMERIC: 数値以外のフィールドを引用符で囲みます。
  • quoting=csv.QUOTE_NONE: 引用符を処理しません。この場合、escapechar引数でエスケープ文字を指定する必要があります。
• エラーのある行のスキップ: error_bad_lines=Falseを指定すると、列数の不一致などで解析に失敗した行をスキップします。非推奨：古いパラメータであり、将来削除される可能性があります。代わりにon_bad_linesパラメータを使用してください。
  • on_bad_lines='skip': エラーのある行をスキップします
  • on_bad_lines='warn': エラーのある行を警告しスキップします
  • on_bad_lines='raise': エラーのある行で例外を発生させます(デフォルト)
• データ型の指定: dtype引数で各列のデータ型を明示的に指定してください。
• 欠損値の処理: na_values引数で欠損値として扱う文字列を指定してください。
• 不正な文字の削除: 必要に応じて、読み込み前にテキストエディタなどで不正な文字を削除してください。

3. UnicodeDecodeError: Unicodeデコードエラー

原因: ファイルのエンコーディングが、Pythonが想定しているエンコーディングと異なっている場合に発生します。

対処法:

• encoding引数でファイルの正しいエンコーディングを指定してください。utf-8、shift_jis、cp932などが一般的です。エンコーディングが不明な場合は、chardetライブラリなどを使って判別を試みてください。

例：エンコーディングを指定する

import pandas as pd

try:
    df = pd.read_csv('data.csv', encoding='utf-8')
except UnicodeDecodeError:
    df = pd.read_csv('data.csv', encoding='shift_jis') # Shift_JISを試す

エラー処理の重要性

read_csvで発生する可能性のあるエラーを適切に処理することで、プログラムの安定性を高めることができます。try-exceptブロックを使用して、エラーが発生した場合の処理を記述することを推奨します。

本記事では、Pandasのread_csv関数における、CSVファイルの特定行を読み飛ばすためのオプションについて詳しく解説しました。特に、以下のオプションは、データ分析の現場で頻繁に使用されるため、しっかりと理解しておくことをおすすめします。

• headerオプション: ヘッダーとして使用する行を指定することで、CSVファイルの構造に合わせた柔軟なデータ読み込みを可能にします。
• skiprowsオプション: 不要な行を読み飛ばすことで、ノイズの多いデータやコメント行を含むファイルを効率的に処理できます。関数を渡すことで、より複雑な条件で読み飛ばす行を指定することも可能です。
• nrowsオプション: ファイルの先頭から指定した行数だけを読み込むことで、巨大なファイルを部分的に処理したり、メモリ使用量を抑えたりすることができます。
• usecolsオプション: 特定の列だけを読み込むことで、不要な列を読み込まずに済み、メモリ使用量と処理時間を削減できます。

これらのオプションを組み合わせることで、さまざまな形式のCSVファイルに対応し、必要なデータだけを効率的に抽出することができます。

さらに、read_csvで発生する可能性のあるエラー（FileNotFoundError, ParserError, UnicodeDecodeError）に対する適切な対処法を理解しておくことも重要です。try-exceptブロックを活用し、エラーが発生した場合の処理を記述することで、プログラムの安定性を高めることができます。

read_csvのオプションを使いこなすことは、データ分析の第一歩として非常に重要です。これらの知識を活かし、より効率的で正確なデータ分析を実現してください。