技術 Juliaでジップの法則(Zipf’s law)を確認:小説の場合 はじめに 前回の記事で、青空文庫からテキストを取得して、操作できる形式に変換することができました。 せっかく、自然言語のテキストが大量に扱えるようになったので、自然言語処理関連でのいろいろを考えていきたいと思います。 今回は、自然言語の経験... 2022.06.25 技術
技術 Juliaで複雑ネットワークを可視化(2) 共起情報の可視化 はじめに ここでは、Julia上で、日本語テキストから形態素間の共起関係を抽出し、それをグラフ表現で表示する方法を紹介します。グラフの表示に関しては、前回の記事に準じます 使用するのは次のパッケージです。HTTP.jlhttpアクセスZip... 2022.06.18 技術
技術 Juliaで複雑ネットワークを可視化(1) はじめに ここでは、Julia上で、複雑ネットワークをグラフ表現で表示する方法を紹介します。 使用するのは次のパッケージです。Graphs.jlネットワーク構造の表現GraphPlot.jlネットワーク可視化Compose.jlグラフの保存... 2022.06.08 技術
技術 Juliaで日本語テキストからワードクラウド はじめに ここでは、Juliaでワードクラウドを作成します。 前回までに、Juliaでの日本語形態素解析を紹介したので、日本語テキストを対象とします。 実行環境は、SageMaker Studio Labです。事前準備(フォントファイル):... 2022.05.28 技術
技術 Juliaで形態素解析(2)SageMaker Studio Lab はじめに 前回、Juliaで形態素解析を行う方法を紹介しましたが、その方法では、SageMaker Studio Lab上では形態素解析が使えません。SageMaker Studio LabはUbuntu上で動いているのですが、そもそも前回... 2022.05.22 技術
技術 Juliaで形態素解析 はじめに ここでは、Juliaで形態素解析を行う方法を紹介します。 次の二つの方法があります。「MeCab.jl」:形態素解析システム「MeCab」のラッパー「Awabi.jl」:Juliaで書かれた形態素解析器(ただし、辞書は「MeCab... 2022.05.20 技術
技術 数独をSAで解いてみる はじめに ここでは、数独を、Julia上でSA(シミュレーティッド ・アニーリング:焼きなまし法)を使って解いてみたいと思います。 なお、数独は、既存のソルバーで解くことができ、様々な開放が紹介されています。例えば、JuMPで解く方法はこち... 2022.05.12 技術
技術 N-QueenをSA(シミュレーティド・アニーリング)で解いてみる はじめに Juliaを使って、N-Queen問題をシミュレーティド・アニーリングで解いてみます。N-Queen問題とは 8-Queen問題というものがあります。チェス盤(8 x 8)上に8個のQueenを配置するのですが、他の駒の移動可能な... 2022.04.22 技術
技術 スクレイピング(3):Qiitaの検索ページからJuliaタグ最新記事のリンクとタイトルを取得 初めに 前回のスクレイピング(2)で、QiitaのJuliaタグページから、リンクとタイトルを取得しました。スクレイピング(2):QiitaのJuliaタグページのFeedからリンクを取得 この記事を書いた時点(2022/3/29)では、f... 2022.04.18 技術
技術 スクレイピング(2):QiitaのJuliaタグページのFeedからリンクを取得 初めに 今回のスクレイピング対象は、QiitaのJuliaタグページです。Julia - Qiita 当初は、Zennの場合と同様に、HTMLから見出しとリンクを抜き出すことを考えました。 しかし、HTMLソースを見てみると、画面に表示され... 2022.03.29 技術