OpenCALM

OpenCALM は、株式会社サイバーエージェントから 2023 年 5 月 11 日に公開された日本語大規模言語モデルです。Wikipedia と CommonCrawl から日本語記事を抽出し、 EleutherAI が開発した分散学習に適した GPT の実装 GPT-NeoX で学習しています。注目すべき点として、ライセンスが CC BY-SA 4.0 であり商用利用が可能です。 small, medium, large, 1B, 3B, 7B とパラメーター数の異なるモデルが 6 つ公開されています。

日本語大規模言語モデル OpenCALM の知識でクイズ王に挑戦する | Amazon Web Services

数十億を超えるパラメーターを持つ大規模言語モデルは、追加学習なしに人間も驚く知識を披露します。その知識で、クイズ王に輝くことはできるのでしょうか? 本記事では、株式会社サイバーエージェント様が公開した OpenCALM を用いてクイズを題材にした日本語 QA データセット JAQKET にどこまで正確できるか検証します。

aws.amazon.com