技術解説 Lambda Networks解説
はじめにこの記事では、Attentionを使用することなくコンテキスト情報を考慮することができるLambda Networksについて解説します。研究の概要近年活躍著しいTransformerはAttentionという注意機構を持っています...
人工知能
技術解説 
技術解説 Perceiver解説
はじめにこの記事では、PerceiverとPerceiver IOについて、そのモデルアーキテクチャとソースコードを解説します。これまで数多くの深層学習モデルが開発されてきましたが、単一のモデルで様々なタスクを解くことは人工知能分野における...
技術解説 MLP-Mixer解説
はじめにここ数年、Transformerは人工知能分野で大きなブレイクスルーをもたらし、その後に続くBERTやGPT-3をはじめとする言語モデルの主要なアーキテクチャとなっています。しかしながら、Transformerはその計算方法から計算...
学会など報告 【2022年度人工知能学会全国大会】参加報告
はじめに先日、2022年度人工知能学会が開催されました。2020年、2021年はコロナ禍ということもありオンラインのみの開催でしたが、今年度はオンラインと現地でのハイブリッド開催が実現し、学会の様相もコロナ以前に戻りつつあります。今回は、弊...