技術解説 Lambda Networks解説
はじめにこの記事では、Attentionを使用することなくコンテキスト情報を考慮することができるLambda Networksについて解説します。研究の概要近年活躍著しいTransformerはAttentionという注意機構を持っています...
Transformer
技術解説 
技術解説 Perceiver解説
はじめにこの記事では、PerceiverとPerceiver IOについて、そのモデルアーキテクチャとソースコードを解説します。これまで数多くの深層学習モデルが開発されてきましたが、単一のモデルで様々なタスクを解くことは人工知能分野における...
技術解説 Pythonによる機械翻訳モデルの構築 Vol.4
概要今回は、Transformerについて、モデルアーキテクチャとソースコードとを比較しながら解説を行います。前回は概念的な説明でしたが、ソースコードとあわせて見ることで、より理解が深まると思います。今回解説をするソースコードはこちらになり...
技術解説 Pythonによる機械翻訳モデルの構築 Vol.3
概要今回はTransformerがどのように学習し、機械翻訳を実現しているのかについて解説します。TransformerとはTransformerは2017年にGoogleが発表しました。内部にAttentionというメカニズムを持ち、機械...
技術解説 Pythonによる機械翻訳モデルの構築 Vol.2
概要今回は前回実行した予測プログラムPredict_on_GPU.ipynbの詳細について解説します。ライブラリ読み込み単語分割にMeCabを使用するので、インストールします。また、予測結果出力に日本語を表示するためにjapanese_ma...
技術解説 Pythonによる機械翻訳モデルの構築 Vol.1
概要この記事では、ディープラーニングの知識や実装経験はあるが、チュートリアルレベルから抜け出せない人に向けて、より実践的な内容にステップアップするための知見を紹介します具体的には、Pythonによる機械翻訳モデルの構築を通して、下記の理解を...