Juliaでk-mean法(2) 距離関数について

はじめに

　前回、BOW形式での単語ベクトルを使ってk-means法でクラスタリングしたところ、散々だったという報告をしました。
　続いて、TF-IDFでの単語ベクトルで実験を行いました。実はこれでもあまり精度がよくないものの、BOWの時ほど悪いことはないだろうと考えていたのですが、実験結果はさらにひどくなっていて、ショックを受けていました。

　その後、Clustering.jlのドキュメントを読んでいたところ、k-meansで使われている距離関数がユークリッド距離であることに気が付きました。一般的な属性ベクトル（特徴ベクトル）の場合にはユークリッド距離で事足りるのですが、単語のベクトルの場合は、その特性上から通常cos類似度が用いられます。
　ところが、Clustering.jlのドキュメントを読む限りでは、距離関数を指定する方法は見当たりません。やむなく、k-meansを自作しようとしていてClusterling.jlのソース（kmeans.jl）を見ていたところ、どうやら距離関数を指定できるようになっていることがわかりました。

kmeansの呼び出し

　前回、Clustering.jlのkmeansは次のように関数呼び出していました。

using Clustering

# mat = 文書数分のベクトルを一つの行列で表現したもの
n_clusters = 8 #the number of clusters
result = kmeans(mat, n_clusters; maxiter=200, display=:none)

　これに、「distance=<距離関数>」の記述を追加することで、kmeans内部で使用する距離関数を指定することができます。Clustering.jlのソースを読むと、距離関数はSemiMetric型で定義する必要があります。

距離関数の定義

　距離関数は、Distance.jlで定義されているものを使うことができます。自作する必要はありませんでした。
　単語ベクトルの場合に使用するcos距離は、Distance.jlには次が用意されています。

kmeansを再実行

　それでは、BOW形式の単語ベクトルをcos距離を使ったkmeans法でクラスタリングしてみましょう。
　前回のプログラムで、kmeans呼び出しの引数に「distance=CosineDist()」を追加するだけです。

using Distances
using Clustering

# K-meansを使って、8個（カテゴリー数）のクラスタに分類する
n_clusters = 8 #the number of clusters
result = kmeans(mat, n_clusters; maxiter=200, display=:none, distance=CosineDist())
clust_numbers = assignments(result) # get the assignments of points to clusters

　次のような結果が得られました。

　比較のために、前回ユークリッド距離を用いたkmeanでの結果を掲載します。

　今回の結果を見ても、ニュースカテゴリーに対して十分なクラスターが構成されているわけではありません（これは想定通りです）が、前回に比べると、極端な偏りは解消されているのが見て取れます。

　さて、次こそは、TF-IDFを使ったk-meansの結果を確認してみたいと思います。

まとめ

　上記をまとめたコードを下記に公開しています。ipynb形式です。

• julialangjp/K-means_jl（GitHub）

　なお、この記事で使用したニュース記事データは本サイトでは公開しておりません。必要に応じて、自分で用意してご確認ください。