はじめまして,インターンの中村です。今回は,アノテーションコストを抑えつつも,高性能な機械学習モデルを学習するための手法である能動学習 (Active Learning) について,その自然言語処理における研究例を紹介したいと思います。特に,自然言語処理にお…
BERT以降の事前学習済みモデルのトレンドの1つである「計算量・計算コストの削減」について解説しました。量子化・枝刈り・蒸留・モジュール交換・パラメーター共有というトピックを扱っています。
BERT以降の事前学習済みモデルを体系化し,主要なモデルについて解説します!「性能の追求」,「計算量・計算コストの削減」,「適応範囲の拡大」の3部構成になっており,今回は「性能の追求」に焦点を当てました。T5やGPT-3なども紹介しています。