技術

技術

Juliaでジップの法則(Zipf’s law)を確認:小説の場合

はじめに 前回の記事で、青空文庫からテキストを取得して、操作できる形式に変換することができました。 せっかく、自然言語のテキストが大量に扱えるようになったので、自然言語処理関連でのいろいろを考えていきたいと思います。 今回は、自然言語の経験...
技術

Juliaで複雑ネットワークを可視化(2) 共起情報の可視化

はじめに ここでは、Julia上で、日本語テキストから形態素間の共起関係を抽出し、それをグラフ表現で表示する方法を紹介します。グラフの表示に関しては、前回の記事に準じます 使用するのは次のパッケージです。HTTP.jlhttpアクセスZip...
技術

Juliaで複雑ネットワークを可視化(1)

はじめに ここでは、Julia上で、複雑ネットワークをグラフ表現で表示する方法を紹介します。 使用するのは次のパッケージです。Graphs.jlネットワーク構造の表現GraphPlot.jlネットワーク可視化Compose.jlグラフの保存...
技術

Juliaで日本語テキストからワードクラウド

はじめに ここでは、Juliaでワードクラウドを作成します。 前回までに、Juliaでの日本語形態素解析を紹介したので、日本語テキストを対象とします。 実行環境は、SageMaker Studio Labです。事前準備(フォントファイル):...
技術

Juliaで形態素解析(2)SageMaker Studio Lab

はじめに 前回、Juliaで形態素解析を行う方法を紹介しましたが、その方法では、SageMaker Studio Lab上では形態素解析が使えません。SageMaker Studio LabはUbuntu上で動いているのですが、そもそも前回...
技術

Juliaで形態素解析

はじめに ここでは、Juliaで形態素解析を行う方法を紹介します。 次の二つの方法があります。「MeCab.jl」:形態素解析システム「MeCab」のラッパー「Awabi.jl」:Juliaで書かれた形態素解析器(ただし、辞書は「MeCab...
技術

数独をSAで解いてみる

はじめに ここでは、数独を、Julia上でSA(シミュレーティッド ・アニーリング:焼きなまし法)を使って解いてみたいと思います。 なお、数独は、既存のソルバーで解くことができ、様々な開放が紹介されています。例えば、JuMPで解く方法はこち...
技術

N-QueenをSA(シミュレーティド・アニーリング)で解いてみる

はじめに Juliaを使って、N-Queen問題をシミュレーティド・アニーリングで解いてみます。N-Queen問題とは 8-Queen問題というものがあります。チェス盤(8 x 8)上に8個のQueenを配置するのですが、他の駒の移動可能な...
技術

スクレイピング(3):Qiitaの検索ページからJuliaタグ最新記事のリンクとタイトルを取得

初めに 前回のスクレイピング(2)で、QiitaのJuliaタグページから、リンクとタイトルを取得しました。スクレイピング(2):QiitaのJuliaタグページのFeedからリンクを取得 この記事を書いた時点(2022/3/29)では、f...
技術

スクレイピング(2):QiitaのJuliaタグページのFeedからリンクを取得

初めに 今回のスクレイピング対象は、QiitaのJuliaタグページです。Julia - Qiita 当初は、Zennの場合と同様に、HTMLから見出しとリンクを抜き出すことを考えました。 しかし、HTMLソースを見てみると、画面に表示され...