言語処理100本ノック ー第6章ー

スポンサーリンク
StartLab 挫折しないプログラミング学習
スポンサーリンク
StartLab 挫折しないプログラミング学習

この記事では、言語処理100本ノック第5章の解説に引き続き、言語処理100本ノック第6章の解説を行っていきます。 第6章では、Fabio Gasparetti氏が公開しているNews Aggregator Data Setを用いて、ニュース記事の見出しを「ビジネス」「科学技術」「エンターテイメント」「健康」のカテゴリに分類するタスク(カテゴリ分類)に取り組みます。それでは、第6章の問題を解きましたので、処理の流れとポイントを踏まえて、解説していきます。

問題と解説

50. データの入手・整形

問50

News Aggregator Data Setをダウンロードし、以下の要領で学習データ(train.txt),検証データ(valid.txt),評価データ(test.txt)を作成せよ.

  1. ダウンロードしたzipファイルを解凍し,readme.txtの説明を読む.
  2. 情報源(publisher)が”Reuters”, “Huffington Post”, “Businessweek”, “Contactmusic.com”, “Daily Mail”の事例(記事)のみを抽出する.
  3. 抽出された事例をランダムに並び替える.
  4. 抽出された事例の80%を学習データ,残りの10%ずつを検証データと評価データに分割し,それぞれtrain.txtvalid.txttest.txtというファイル名で保存する.ファイルには,1行に1事例を書き出すこととし,カテゴリ名と記事見出しのタブ区切り形式とせよ(このファイルは後に問題70で再利用する).

学習データと評価データを作成したら,各カテゴリの事例数を確認せよ.

解答

【コード】

【出力結果】

解説

【処理の流れ】

  • ファイルをダウンロードし、解凍する。
  • ライブラリをimportする。
  • readme.txtを読み込む。
  • ファイルのデータ数や欠損値の有無などを確認する。
  • 問題に、指定された”PUBLISHER”を抽出し、”TITLE”、”CATEGORY”の列を抽出する。
  • train_test_split()を2回使用して、学習データ80%、検証データ10%、評価データ10%に分割し、タブ区切りで、ファイルに保存する。
  • value_counts()を使用して、”CATEGORY”列の要素数を表示する。

【ポイント】

  • pd.read_csv()関数:csvファイルを読み込む。
  • DataFrame.to_csv()メソッド:DataFrameをcsvファイルとして書き込む。
  • pandas.DataFrame.info()メソッド:行数・列数や全体のメモリ使用量、各列のデータ型や欠損値ではない要素数などの情報を表示できる。
  • pandas.Series.isin()メソッド:DataFrameの条件抽出ができる。戻り値はbool型。引数に、取得したい要素を指定する。
  • DataFrame列の抽出:df[“列名”]を指定することで、DataFrameの列を抽出することができる。
  • sklearn.model_selection.train_test_split()関数:データセットの分割ができる。引数のtest_sizeには、テスト用データの割合を指定できる。shuffle=Trueにすることで、データをシャッフルすることができる。
  • pandas.Series.value_counts()メソッド:要素数をカウントすることができる。

51. 特徴量抽出

問51

学習データ,検証データ,評価データから特徴量を抽出し,それぞれtrain.feature.txtvalid.feature.txttest.feature.txtというファイル名で保存せよ. なお,カテゴリ分類に有用そうな特徴量は各自で自由に設計せよ.記事の見出しを単語列に変換したものが最低限のベースラインとなるであろう.

解答

【コード】

【出力結果】

train.feature.txtの中身(一部省略)
解説

【処理の流れ】

  • テキストの前処理を行う関数を実装する。
  • 問50で作成した学習、検証、評価データを1つに連結させ、前処理を行う。
  • 各テキストの単語をベクトル化し、DataFrameに変換する。
  • DataFrameを学習、検証、評価データに分割する。ラベルも同様に処理を行う。
  • 各データの特徴量をファイルに保存する。

【ポイント】

  • 機械学習モデルにテキストデータを入力する前に、単語をベクトルに変換する必要がある。ベクトル化手法は色々あるが、ここではTfidfVectorizer()を使用した。
  • 3つのデータを連結させた理由:モデル学習を行う際は学習、検証、評価データのベクトルの次元数を一致させる必要があるため。
  • TfidfVectorizer.fit_transform()メソッド:引数にテキストデータを入力し、TF-IDFを使用して単語をベクトルに変換する。戻り値はscipy型。
  • TF-IDF:各文書に含まれる各単語が「その文書内でどれくらい重要か」を評価する方法。
  • TfidfVectorizer.get_feature_names()メソッド:特徴量(単語)を取得する。
  • scipy.sparse.csr_matrix.toarray()メソッド:scipyオブジェクトをnumpyオブジェクトに変換する。
  • np.savetxt()関数:numpyオブジェクトをファイルに保存することができる。第一引数に、ファイル名を指定し、第二引数に保存したいnumpy配列データを指定する。

52. 学習

問52

51で構築した学習データを用いて,ロジスティック回帰モデルを学習せよ.

解答

【コード】

【出力結果】

解説

【処理の流れ】

  • クラスをimportしてロジステック回帰モデルを実装する。
  • 学習データをモデルに渡して学習を行う。

【ポイント】

  • sklearn.linear_model.LogisticRegressionクラス:ロジスティック回帰モデルを実装できる。
  • LogisticRegression.fit()メソッド:第一引数に学習データを指定し、第二引数にラベルを指定する。

53. 予測

問53

52で学習したロジスティック回帰モデルを用い,与えられた記事見出しからカテゴリとその予測確率を計算するプログラムを実装せよ.

解答

【コード】

【出力結果】

解説

【処理の流れ】

  • model.predict()に検証データを入力し、カテゴリを予測する。
  • model.predict_proba()を使用して、カテゴリごとの予測確率を求めて出力する。

【ポイント】

  • LogisticRegression.predict()メソッド:カテゴリのラベルを予測する。
  • LogisticRegression.predict_proba()メソッド:各カテゴリの予測確率を求める。

54. 正解率の計測

問54

52で学習したロジスティック回帰モデルの正解率を,学習データおよび評価データ上で計測せよ.

解答

【コード】

【出力結果】

解説

【処理の流れ】

  • 関数をimportする。
  • model.predict()を用いて学習、評価データを予測する。
  • accuracy_score()を用いて学習、評価データの正解率をもとめる。

【ポイント】

  • sklearn.metrics.accuracy_score()関数:第一引数にラベルを指定し、第二引数にモデルの予測結果を指定する。

55. 混同行列の作成

問55

52で学習したロジスティック回帰モデルの混同行列(confusion matrix)を,学習データおよび評価データ上で作成せよ.

解答

【コード】

【出力結果】

解説

【処理の流れ】

  • 関数をimportする。
  • confusion_matrix()を用いて学習、評価データで混同行列を作成する。

【ポイント】

  • 混同行列:モデルの分類結果をまとめた行列。
  • sklearn.metrics.confusion_matrix()関数:第一引数に正解ラベルを指定し、第二引数にモデルの予測結果を指定することで混同行列を作成する。

56. 適合率,再現率,F1スコアの計測

問56

52で学習したロジスティック回帰モデルの適合率,再現率,F1スコアを,評価データ上で計測せよ.カテゴリごとに適合率,再現率,F1スコアを求め,カテゴリごとの性能をマイクロ平均(micro-average)とマクロ平均(macro-average)で統合せよ.

解答

【コード】

【出力結果】

解説

【処理の流れ】

  • 適合率、再現率、F1スコアを出力する関数をimportする。
  • 評価データのカテゴリごとに、適合率、再現率、F1スコアを求める関数を実装する。
  • カテゴリごとの性能をマクロ平均、マイクロ平均で求める。

【ポイント】

  • sklearn.metrics.precision_score()関数:適合率が求まる。第一引数にラベルを指定し、第二引数にモデルの予測値を指定する。
  • sklearn.metrics.recall_score関数:再現率が求まる。第一引数にラベルを指定し、第二引数にモデルの予測値を指定する。
  • sklearn.metrics.f1_score関数:F1スコアが求まる。第一引数にラベルを指定し、第二引数にモデルの予測値を指定する。
  • マクロ平均:カテゴリごとに評価指標を求め、全体の評価指標を平均する方法。上記3つの関数のaverage引数に”macro”を指定することで求まる。
  • マイクロ平均:混合行列全体で TP、FP、FN を算出して、適合率、再現率、F値を計算する方法。上記3つの関数のaverage引数に”micro”を指定することで求まる。

57. 特徴量の重みの確認

問57

52で学習したロジスティック回帰モデルの中で,重みの高い特徴量トップ10と,重みの低い特徴量トップ10を確認せよ.

解答

【コード】

【出力結果】

一部省略
解説

【処理の流れ】

  • numpyをimportする。
  • 学習データの特徴量を取得する。
  • カテゴリごとにモデルの重みを反復させる。
  • 最も重みの高い(低い)特徴量を出力する。

【ポイント】

  • LogisticRegression.classes_属性:分類したカテゴリのラベルを取得する。
  • LogisticRegression.coef_属性:ロジスティック回帰の係数(=特徴量ごとの重み)を取得する。
  • np.argsort()関数:引数に配列を指定し、昇順に並び替え、要素のindexを返す。indexとして[:10]を指定することで上位10要素を取得できる。 さらに、np.argsortは要素を降順にするオプションがないので、引数のnumpy配列にマイナスをかけて降順を表している。

58. 正則化パラメータの変更

問58

ロジスティック回帰モデルを学習するとき,正則化パラメータを調整することで,学習時の過学習(overfitting)の度合いを制御できる.異なる正則化パラメータでロジスティック回帰モデルを学習し,学習データ,検証データ,および評価データ上の正解率を求めよ.実験の結果は,正則化パラメータを横軸,正解率を縦軸としたグラフにまとめよ.

解答

【コード】

【出力結果】

一部省略
解説

【処理の流れ】

  • ロジスティック回帰モデルで学習を行う関数を実装する。
  • 学習したモデルを用いて、正解率を計算する関数を実装する。
  • モデルのパラメータを変えながら学習データを用いて学習を行う。
  • 学習、検証、評価データを用いて予測を行い、正解率をtrain_acc = []、valid_acc = []、test_acc = []それぞれのリストに保存する。
  • 正則化パラメータを横軸、正解率を縦軸としてグラフに表示する。

【ポイント】

  • ロジスティック回帰のハイパーパラメータC:正則化の強さを表す。デフォルトは1。値が小さくなるほど正則化が強くなる。Cの値を大きく設定することでモデルの精度が向上するが、過学習のリスクが高まる。

59. ハイパーパラメータの探索

問59

学習アルゴリズムや学習パラメータを変えながら,カテゴリ分類モデルを学習せよ.検証データ上の正解率が最も高くなる学習アルゴリズム・パラメータを求めよ.また,その学習アルゴリズム・パラメータを用いたときの評価データ上の正解率を求めよ.

解答

【コード】

【出力結果】

解説

【処理の流れ】

  • グリッドサーチを行い、最適なモデルを取得する。
  • 取得したモデルを用いて、学習、検証、評価データの正解率を求める。

【ポイント】

  • sklearn.model_selection.GridSearchCV()クラス:モデルの最適なハイパーパラメータを求めることができる。第一引数に、学習させたいモデルのインスタンスを指定する。第二引数に、使用したいハイパーパラメータの候補を辞書型で指定する。第三引数に、学習データを何分割して交差検証を行うのかを指定する。
  • GridSearchCV.fit()メソッド:モデルの学習を行う。第一引数に学習データを指定する。第二引数にラベルを指定する。
  • GridSearchCV.best_estimator_属性:最も精度の高かったハイパーパラメータのモデルを返す。
  • GridSearchCV.score()メソッド:第一引数に学習データを指定する。第二引数にモデルの予測値を指定する。デフォルトで正解率を返す。

おわりに

以上が、言語処理100本ノック第6章の解説になります。この章では、テキストデータの前処理の流れやロジスティック回帰について学ぶことができました。実装方法は、一通りではないので、自分なりのコードで挑戦してみてはいかかでしょうか。次は、言語処理100本ノック第7章の解説を行っていきます。

K.Y

Acknowledgements
Dua, D. and Graff, C. (2019). UCI Machine Learning Repository .
http://archive.ics.uci.edu/ml
Irvine, CA: University of California, School of Information and Computer Science.
タイトルとURLをコピーしました