Zipf's law

技術

Juliaでジップの法則を確認(2) ニュース記事の場合

はじめに 以前の記事で、小説データを使ってジップの法則を確認しました。しかし、ジップの法則とはかなり乖離していることがわかりました。 それが、小説を題材にしたことによるものなのかどうかを確認するために、他のデータを使うべく、前回の記事におい...
技術

Juliaでジップの法則(Zipf’s law)を確認:小説の場合

はじめに 前回の記事で、青空文庫からテキストを取得して、操作できる形式に変換することができました。 せっかく、自然言語のテキストが大量に扱えるようになったので、自然言語処理関連でのいろいろを考えていきたいと思います。 今回は、自然言語の経験...