人工知能

技術解説

Lambda Networks解説

はじめにこの記事では、Attentionを使用することなくコンテキスト情報を考慮することができるLambda Networksについて解説します。研究の概要近年活躍著しいTransformerはAttentionという注意機構を持っています...
技術解説

Perceiver解説

はじめにこの記事では、PerceiverとPerceiver IOについて、そのモデルアーキテクチャとソースコードを解説します。これまで数多くの深層学習モデルが開発されてきましたが、単一のモデルで様々なタスクを解くことは人工知能分野における...
技術解説

MLP-Mixer解説

はじめにここ数年、Transformerは人工知能分野で大きなブレイクスルーをもたらし、その後に続くBERTやGPT-3をはじめとする言語モデルの主要なアーキテクチャとなっています。しかしながら、Transformerはその計算方法から計算...
学会など報告

【2022年度人工知能学会全国大会】参加報告

はじめに先日、2022年度人工知能学会が開催されました。2020年、2021年はコロナ禍ということもありオンラインのみの開催でしたが、今年度はオンラインと現地でのハイブリッド開催が実現し、学会の様相もコロナ以前に戻りつつあります。今回は、弊...