PaLM

PaLMは2022年にGoogleから発表されたモデルで「Pathways Language Model」の略です。PaLM2が2023年5月11日に発表されました。

Googleから発表された、7,800億単語からなる膨大なデータを用いて5,400億ものパラメータを持つPathways Language Model （PaLM）というモデル※10は、TransformerをベースにしたモデルをPathwaysという方式で学習させた大規模なモデルです。

Pathwaysとは、モデルの学習を並列で実施する方式で、学習の効率を上げたものである。PaLMの学習においては、2台のCloud TPU v4 Podsにおいて、合計で6144 TPUチップが利用された。PaLMもGPT-3と同様に一つのモデルで多数のタスクを解くことができるものであり、多くの評価タスクで史上最高の精度を達成している。さらに論理的な推論やジョークを説明するといった高度なタスクついても解くことができます。

PaLM 2 のご紹介

過去 10 年間の AI における最大の進化を振り返ると、Google はその多くの場面で先頭に立ってきました。私たちの基盤モデルにおける画期的な研究は、この業界と何十億人もの人々が毎日使用している AI を活用した製品の基礎になっています。私たちがこれらの技術を責任を持って進歩...

japan.googleblog.com

GeminiというGoogleが開発している対話型AIサービスにもPaLM2が搭載されています。