ELYZA Tech Blog

株式会社ELYZAの技術ブログです。

自然言語処理における Active Learning

はじめまして,インターンの中村です。今回は,アノテーションコストを抑えつつも,高性能な機械学習モデルを学習するための手法である能動学習 (Active Learning) について,その自然言語処理における研究例を紹介したいと思います。特に,自然言語処理にお…

BERT以降の事前学習済みモデル トレンドと主要モデル紹介! Part 2 モデル圧縮編

BERT以降の事前学習済みモデルのトレンドの1つである「計算量・計算コストの削減」について解説しました。量子化・枝刈り・蒸留・モジュール交換・パラメーター共有というトピックを扱っています。

BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介! Part 1 学習方法編

BERT以降の事前学習済みモデルを体系化し,主要なモデルについて解説します!「性能の追求」,「計算量・計算コストの削減」,「適応範囲の拡大」の3部構成になっており,今回は「性能の追求」に焦点を当てました。T5やGPT-3なども紹介しています。