BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します！「性能の追求」，「計算量・計算コストの削減」，「適応範囲の拡大」の3部構成になっており，今回は「性能の追求」に焦点を当てました。T5やGPT-3なども紹介しています。