Pythonによる機械翻訳モデルの構築 Vol.4

スポンサーリンク
StartLab 挫折しないプログラミング学習
スポンサーリンク
StartLab 挫折しないプログラミング学習

概要

image.png

今回は、Transformerについて、モデルアーキテクチャとソースコードとを比較しながら解説を行います。前回は概念的な説明でしたが、ソースコードとあわせて見ることで、より理解が深まると思います。今回解説をするソースコードはこちらになります。

Transformer

/Transformer/model.py/Transformer

まず、Transformerクラスを見てみましょう。Transformerクラスは学習の直前に呼び出す一番表層のクラスになります。クラス内にはinit関数とcall関数があり、initはモデルを初期化した時に走る処理でモデルの要素を定義しています。また、callは学習を実行したときに走る処理が書かれており、モデルに入力したデータをどのようにデータを処理するのかを記述しています。

それを理解した上でinit関数を見てみますと、initにはEncoder, Decoderが定義されているのがわかります。そして、call関数ではencoderにinput、これは翻訳元の文が入力され、さらにdecoderにはencoderからの出力とtarget、翻訳後の文が入力されているのがわかります。

Encoder

/Transformer/model.py/Encoder

次にEncoderクラスを見てみましょう。まずinit関数ですが、左図のように、Encoderクラス内ではInput EmbeddingやPositional Encodingが定義されています。

そして、call関数では、左図のようにembeddingで分散表現が作成された後、位置情報が加算されているのがわかります。

Positional Encoding

/Transformer/model.py/positional_encoding

次はPositional Encoding関数の中身を見てみましょう。入力はpositionとd_modelで、positionはシーケンスの最大長、d_modelは分散表現の次元数です。

まずget_angles関数で、poistion×depthのベクトルを作成すると図【1】のようになります。図は縦軸が文章中の位置を表し、横軸がベクトルを表しています。赤いところはほとんど0に近い値で、文の先頭要素ほど、0に近い値で構成されています。

図【2】は、偶数の位置にある要素にsin関数を適用し、奇数位置にある要素にcos関数を適用したものになります。これを見ると、文章中の各要素のベクトルが各位置ごとに特徴づけられているのがわかります。こうして作成された位置情報が文ベクトルに加算されます。

EncoderLayer

/Transformer/model.py/Encoder

続いてEncoderLayerですが、EncoderLayerは左図のように複数積み重なっています。右のコードを見るとlist内包表記でEncoderLayerクラスがnum_layersの数だけ作られているのがわかります。そして、call関数を見ると、先ほど位置情報が加算された分散表現はdropoutレイヤーを通過した後、このEncoderLayerに入力されていきます。

/Transformer/model.py/EncoderLayer

では、そのEncoderLayerの中身はどうなっているかというと、AttentionとFeed Forward Networkが定義されています。そして、call関数を見ると左図の黒い矢印ように、データが処理されているのがわかります。
ここで、mhaというのはMulti Head Attentionクラスになりますが、これに翻訳元の文ベクトルxが代入されているのがわかります。なぜxが3つあるかというと、以前説明したように、Self Attetnionの計算で、自己のベクトルを掛け合わせているからです。

Multi-Head Attention

/Transformer/model.py/MultiHeadAttention/__init__

次にMulti Head Attentionですが、これはクラスのinit関数だけ表示しています。init関数を見てみると、全結合層とsplit_heads関数も定義されており、Multi Head Attentionの主な構成要素はこの二つであることがわかります。

/Transformer/model.py/MultiHeadAttention/call

次に、call関数を見てみましょう。右図がソースコード、左図はソースコードのcall関数での処理を図示したものになります。ここでは、文ベクトルqを例にcall関数でどのように処理されているのかを説明します。まず、batch_size = tf.shape(q)[0]とありますが、これはバッチサイズを取得しています。【1】

そして、q = self.wq(q)は、init関数で定義した全結合層に文ベクトルを入力しています。【2】
イメージとしては、左図のようになります。今回は出力サイズが分散表現の次元と同じなので、形状は変化していません。

続いて、その出力がsplit_heads関数に入力されいます【3】、この時、先ほど取得したバッチサイズも入力されています。split_heads関数では、左図のように文ベクトルを分割しています。分割された後は、scaled_dot_product_attention関数に入力され、ここで、Attentionが計算されます。【4】
Attentionが計算されると文ベクトルとAttentionの重みを出力しますが、文ベクトルは再び結合されます。【5】

Scaled Dot-Product Attention

/Transformer/model.py/scaled_dot_product_attention

scaled_dot_product_attention関数ですが、引数にq,k,vとmaskを取ります。
やっている処理は左式の通りですが、まず上の3行でsoftmaxのカッコ内の計算をしています。【1】

そして、maskがNone出ない場合は、上の3行で計算した結果にmaskが加算されます。【2】ここでmaskは下に記載してあるように、シーケンスと同じ長さの0と1の要素から構成される配列になります。maskされている部分、つまりAttentionの計算時に無視したい部分には1が入っています。この時0埋めしたシーケンスの場合、0は無視したいということがあります。ここで-10の9乗の値をかけていますが、1が入っているとその要素Attentionは大きなマイナスの値になります。つまりその位置の単語の重要度は小さくなるというわけです。このマスクは、他にもDecoderのMasked Multi Head Attentionでも使われています。

おわりに

今回はソースコードと比較しながら、Transformerのモデルアーキテクチャや学習の過程について解説しました。解説内容はEncoderに沿ったものでしたが、Decoderも同じように追っていけば理解できますので、ご自身で確認してみてください。また、理解しがたい部分に関しては、コードを切り出してきて具体的な数値で実行してみると何をやっているかつかめるかと思います。

(K. K)

タイトルとURLをコピーしました