用語集

Ollamaは、プロンプトに基づいて特定のタスクを実行するための意思決定を改善する技術を提供するツールです。人工知能（AI）技術を活用して、タスクの分類やAIの応答やアクションの精度を高め、ユーザーに関連性の高い情報やサービスを提供します。

StarCoder2は、600以上のプログラミング言語と自然言語テキストで訓練されたコード生成モデルで、Grouped Query Attentionを使用して大きなコンテキストウィンドウを処理します。効率的な運用のための精度とメモリ最適化技術をサポートしています。

OpenToMは、AIの大規模言語モデル（LLM）の「心の理論」能力を評価するためのベンチマークであり、AIが他者の信念や欲求を理解し、適切に反応する能力を測定することができます。これにより、より人間らしい対話や社会的な相互作用を可能にするAI技術の発展に寄与することが期待されています。

プロンプト分類は、AI技術のプロセスであり、入力されたプロンプトや指示を特定のカテゴリーやタイプに分類することで、AIが入力の意図を理解し、適切な反応を提供できるようにするものです。

LumosはLangChainとOllamaを使用し、ローカルの大規模言語モデル(LLMs)と統合してウェブブラウジングの相互作用を強化するための共同パイロットです。プロンプト分類を活用してマルチモーダル機能の実行を改善し、新しいブラウザの開発によりLLMの能力を高める可能性があります。

AI-OCRは、AI技術を活用した光学文字認識（OCR）システムであり、従来のOCR技術よりも高い精度で様々なフォントや手書き文字、破損した文書を認識できます。文書のレイアウトを理解し、情報を構造化する能力も持ち、データ入力作業の自動化や処理効率化など、幅広い応用が可能です。

この論文では、大規模言語モデルの推論性能において前提の順序が重要であることが示されています。最適な順序で前提を提示すると、モデルの精度が大幅に向上することが観察されました。

「DoRA: Weight-Decomposed Low-Rank Adaptation」という論文では、LoRAとその変種に代わるパラメータ効率の良い微調整方法としてDoRAを提案しています。DoRAは、事前訓練された重みを大きさと方向の二つの成分に分解し、方向の更新にLoRAを利用することで、訓練可能なパラメータの数を効率的に最小化します。

「LoRA: 大規模言語モデルの低ランク適応」という論文では、LoRA（Low-Rank Adaptation）という新しい手法が提案されています。この手法は、大規模言語モデルの特定のタスクやドメインへの適応を効率的に行うことができます。詳細は、arXivのページで確認できます。

CRAG（Corrective Retrieval Augmented Generation）は、生成モデルが不正確な情報を減らすために設計された技術であり、検索結果を利用して生成内容の正確性を向上させることに焦点を当てています。情報の正確性が重要なタスクでモデルの性能を向上させることができます。

機械学習モデルの性能を最大化するために、ハイパーパラメータを調整するプロセスです。グリッドサーチ、ランダムサーチ、ベイジアン最適化、進化アルゴリズムなどの手法があります。適切なパラメータを見つけることで、モデルの予測精度や汎化能力を向上させることができます。また、過学習の防止や計算資源の有効活用も重要です。

近似最近傍探索（ANN）で使用されるパラメータであり、検索時のクエリ処理における拡張ファクターを指定します。efSearchの値が大きいほど精度が向上しますが、検索時間も増加します。適切な値はアプリケーションの要件に依存し、精度と速度のバランスを調整する必要があります。

近似最近傍探索（ANN）アルゴリズムで使用されるパラメータであり、HNSWアルゴリズムのグラフ構築時に各データポイントの近傍リストを保持する数を決定します。高い値は検索精度を向上させますが、構築と検索に時間がかかり、メモリ使用量も増加します。低い値は速度を向上させますが、検索精度が低下する可能性があります。パラメータ設定はタスクの性質と計算資源によって異なります。

高次元空間において最近傍点を効率的に見つけるためのアルゴリズムや技術の総称です。完全な最近傍探索の代わりに近似解を迅速に見つけることで計算コストを削減し、画像処理や機械学習、推薦システムなどに応用されます。代表的なアルゴリズムにはLSH、KD木、Annoyがあります。

Google Cloudが提供するDocument AIは、文書の自動デジタル化と解析を行うサービスであり、手書きテキストや印刷文書、PDF、スキャンされた画像から情報を抽出し、請求書や契約書の処理、カスタマーサービスの最適化などに利用できます。Webコンソール、クライアントライブラリ、Rest APIを通じてアクセスでき、BigQueryとの統合もサポートしています。

「cotomi」は、NECが開発した大規模言語モデルで、特に日本語における高い理解能力と生成能力を持ち、ビジネスや日常生活での活用が期待されています。NECは2024年春から業務特化型のモデル提供を開始し、医療、金融、製造業など幅広い分野での利用が見込まれています。

Continueは、GPT-4やCode Llamaなどの大規模言語モデルを統合し、開発者のコーディング体験を向上させるツールです。GitHubで人気を集め、非破壊的なアプローチで手動のコピーアンドペーストを減らします。

「Pinecone」は、シンプルなAPIを提供するフルマネージドなベクトルデータベースです。

MoEモデルは、複数の専門的なサブモデルとゲーティング機構から構成され、入力データに基づいてエキスパートを選択し、出力を統合します。各エキスパートは特定のデータやタスクに特化しており、ゲーティング機構は重みを調整して最終的な予測に影響を与えます。

効率的な検索のためのグラフアルゴリズム

大規模なデータセットのためのベクトルデータベース

CUDA（Compute Unified Device Architecture）とは、NVIDIAが提供するGPU（Graphics Processing Unit）向けの並列計算プラットフォーム

NVIDIAの高性能GPU

小型で多様なAI同士が協調するアーキテクチャです。多数のAIモデルがつながり、集合体として動作するアーキテクチャで、サステナブルな社会の実現に向けて研究開発されています。

トランスフォーマーモデルの基礎論文

NTT開発の大規模言語モデル

Anthropicによって開発されたAIモデル。人間のような思考や会話能力を目指す。

Google傘下のAI研究組織。先進的なAIシステムの開発を行っている。

Google Cloud内の機械学習開発プラットフォーム。モデルの訓練やモニタリングが行える。

Googleが開発したマルチモーダルLLM。GPT-4に匹敵する性能を持ち、Nano/Pro/Ultraの3段階のモデルがある。

テキスト、画像、音声ファイルなど、形式や構造に一貫性がなく、洞察を導出するには一般的に高度な手法を必要とするデータ

テーブル、データベース、スプレッドシートなどの表形式のデータで、一部の機械学習モデルを効果的に訓練するために使用できる

AIとMLをスケーリングし、継続的にモデルを開発していくための取り組みを指す。これには、MLのライフサイクル全体 (データ管理、モデルの開発、デプロイ、運用 )をカバーする一連の取り組みが含まれる。現在、これらの多くは、サポートソフトウェア(タスクの標準化、効率化または自動化を支援するツール ) によって実現あるいは最適化されている

生成 AIモデルが期待通りの ( 正確な )アウトプットを生成するように、プロンプト( 生成 AI への指示、入力文 )を設計、改良、最適化するためのプロセス

AIエージェント専用に構築された検索エンジンです。AIの機能を強化し、リアルタイムで正確かつ事実に基づいた結果を迅速に提供します

LangChain Expression Language、LangChainを拡張する言語。複数チェーン (またはアクター) を複数ステップにわたって循環的に協調動作させることができる

Langchainが提供するLLMでステートフルなマルチアクターアプリケーションを構築するライブラリ

Karakuri LMは、カラクリ株式会社が開発した70Bパラメータの日本語LLM。

日本語の性能評価ベンチマーク

JavaScriptで実装された日本語形態素解析器の一種

MoEアーキテクチャにおいて、どのエキスパートがどのトークンを処理するかを選択するネットワーク

HuggingFaceがサポートする、AIモデルの拡散プロセスを管理するライブラリ

機械学習モデルを簡単に実装、共有、探索できるプラットフォーム

複数の専門家モデルを統合して、高効率な処理を行うモデル

複数モデルを統合したMoE Diffusionモデルの作成フレームワーク。Segmind Mixture of Diffusion Experts

GatoはDeepMindによって開発されたマルチタスクAIモデルで、一つのモデルで数千の異なるタスクを実行できる汎用性を持っています。言語理解、画像認識、ロボティクスなど、さまざまな種類のタスクを処理できる目標を持つ汎用的なAIの開発です。

PaLM-SayCanは、Google ResearchのPathways Language Model (PaLM)とロボティクスを組み合わせたシステムであり、自然言語の命令を理解し、物理的な環境でのタスクを実行するロボットに命令を与えるために設計されています。高度な言語理解能力と実世界での操作能力を組み合わせることで、複雑で抽象的なタスクが可能になります。

Vision Transformer（ViT）は、画像処理の分野で使用されるトランスフォーマー・モデルの一種であり、画像のパッチ化、シーケンシャル処理、自己注意機構を特徴としています。ViTは長距離の依存関係を捉えることができ、柔軟性が高く、転移学習の有効性が示されています。このユニークなアプローチは画像認識の分野で注目を集めています。

DETR（Detection Transformer）は、物体検出タスクのための新しいアーキテクチャおよびトレーニング手法で、Facebook AI Researchによって開発されました。DETRは単純で効果的な手法として注目され、エンドツーエンドの学習、セット予測、Transformerの使用が特徴です。

Faster R-CNNは、領域提案ネットワークとFast R-CNNを組み合わせたディープラーニングモデルであり、高速かつ高精度な物体検出を実現します。リアルタイムアプリケーションにも利用されています。

Swin Transformerは、画像認識タスクのためのTransformerベースのモデルであり、階層的な構造とパッチ間の関係モデリングにより高い性能と効率的な学習を提供します。

GLIDE (Guided Language to Image Diffusion for Generation and Editing)は、テキストに基づいて高品質な画像を生成するディープラーニングモデルです。また、テキストプロンプトに基づいた画像の編集も可能で、多様な創造的なタスクに対応します。

NPU（Neural Processing Unit）は、ディープラーニングモデルの学習や推論を高速化するために特化されたプロセッサであり、高並列性、低消費電力、高速処理の特徴を持ちます。使用例はスマートフォン、データセンター、エッジデバイスなどがあります。

2016年にFacebook、Amazon、Google、IBM、Microsoftの5社によって設立された非営利組織。AIの安全で責任ある開発と利用を促進することを目的としている。業界リーダー、研究者、政策立案者など、多様なステークホルダーとの協力を通じて、AI技術の倫理的な側面、プライバシーの保護、透明性の向上、社会への影響などに対する理解と対応を深める活動を展開している

データの意味を理解して関連する情報を検索する手法

単語間の共起を利用してベクトル表現を生成するモデル

データの特徴を多次元ベクトルで表現する技術。AIがデータを解釈しやすくする。

グラフィック処理ユニット。複数の演算を並列に処理することができ、AIの計算に利用される。

AIが読むことができる言語でデータを表現し、検索と分析を効率化するために設計されたデータベース。データをベクター形式で格納し、効率的な検索や処理を可能にする。

Annoyは、SpotifyによるPython近傍探索ライブラリであり、最近傍検索を効率的に処理するためのバイナリサーチツリーを使用しています。

アノテーションアプリのシームレスなセットアップを行えるツール

各トークンの重要性を計算し、文脈内での関連性を判断するためのメカニズム

モデルをトレーニングするために必要な計算コスト

あるタスクで学んだ知識を別のタスクに適用する学習手法

ラベルのないデータから学習する手法

深津式プロンプトは、ChatGPT向けのフレームワークであり、ChatGPTの効率的な利用を目指しています。役割の明確化や入力文と出力文の明確化、マークアップ言語の使用などが特徴です。テンプレートを使用して、多様なタスクやシナリオに適用できます。効果的なプロンプトの作成には、立場や内容の明確化、条件の簡潔な記述が重要です。

特定の目的や分野に特化したテキストデータの集合

大規模なデータで事前トレーニングされ、多様な下流タスクに適用可能なLLM。

事前学習とは、AIの重要な手法の1つで、特定のタスクを遂行するために必要な知識や能力を、異なるタスクのデータを学習することで獲得することです。 具体的には、大量のデータから一般的な特徴を抽出し、それを特定のタスクに適用することで、タスクの学習がより効率的になることが期待されます。

モデル模倣は、指示チューニングのデータを使用してChatGPTなどのモデルを訓練し、能力を転移させる手法です。指示に従い有益な応答を生成し、推論・言語理解の能力や知識を獲得します。コミュニティが主導するLLMの中核になっています。

データの数値シーケンスに変換された数値表現（埋め込み）が格納されるインデックス。これにより、LLMはデータ間の関係を理解できる。

複数のプロンプトを連鎖的に使用する手法

プロンプトインジェクションは、対話型AIの脆弱性を狙ったサイバー攻撃であり、ユーザーが入力フォームや検索バーなどに不正なデータを入力して開発者の意図しない回答や動作を引き出すことを目的としています。

プロンプトは生成型AIに対する指示や情報であり、AIの応答やコンテンツ生成の出発点です。AIはプロンプトを解析し、学習したデータとモデルの枠組み内で最適な応答を生成します。プロンプトの質と精度は応答の質に直接影響を与えます。ChatGPTのようなモデルは、深層学習を使用して言語パターンを学習し、新しいテキストを生成する能力を持っています。プロンプトはユーザーの入力に相当し、AIシステムが処理して適切な出力を提供する流れと捉えることができます。

フルファインチューニングは、ディープラーニングにおける手法であり、プリトレーニングモデルの全てのパラメータを特定のデータセットやタスクに合わせて調整することで、モデルの性能を向上させる手法です。

ファインチューニングは既存の学習済みのモデルを再学習させる手法であり、オリジナルの専用LLMを作ることができます。ただし、実装の難易度と費用は高いです。

人間の判断や介入が組み込まれている機械学習プロセス

ベクター データと非ベクター データを組み合わせて使用する検索方法。

テキストを数値的な「トークン」の列に変換するプロセス

トークンは自然言語処理（NLP）においてテキストデータを扱うために分割された最小単位の要素であり、ChatGPTや他の大規模言語モデルでは文章の理解と生成に使用されます。トークン化された入力を基に、モデルは文脈に沿った自然な文章を生成します。

データセットをトレーニングに適した形に変換する工程

検索結果を、意味的な関連性に基づいて再ランク付けするプロセス

モデルのパフォーマンスがサイズやトレーニングデータの量に応じてどのように変化するかを記述する法則。

データを一定の範囲（ウィンドウ）で区切って処理する方法

Weights and Biases（WandB）は、開発者向けのMLOpsプラットフォームであり、実験トラッキング、データセットトラッキング、モデルマネジメントなどの機能を提供しています。これは、より速く、より良いモデルを作成するためのデベロッパーツールです。

Semantic Kernel (SK)はMicrosoftがOSSとして発表したSDKであり、大規模言語モデル(LLM)をアプリに簡単に統合できます。SKは従来のプログラミング言語と最新のLLM AIを組み合わせ、テンプレート化、チェーン化、埋め込みベースのメモリー、プランニング機能を提供します。

Scikit-LLMはLLMをscikit-learnのように実装し、In-Context Learningなどを簡単に実現できるOSSです。詳細はhttps://github.com/iryna-kondr/scikit-llmを参照してください。

自動要約や機械翻訳の評価に用いられる指標。参照要約と生成要約の間の重複を測定する。

RLHF（人間のフィードバックによる強化学習）は、インストラクションチューニングの後に人間のフィードバックを取り入れ、モデルのパフォーマンスを向上させる手法です。具体的なステップとして、インストラクションチューニング、出力の比較データの収集、報酬モデルのトレーニング、そして強化学習によるポリシー最適化があります。

実際に正のインスタンスのうち、正しく予測されたものの割合。

事前トレーニング済みの大規模言語モデルと独自のデータを組み合わせて応答を生成する技術。

PromptLayerは、OpenAIのリクエストのログ記録、使用履歴の検索、パフォーマンスの追跡、およびプロンプトテンプレートの視覚的な管理を提供するプラットフォームです。

PLaMo-13BはPreferred Networks社が公開した言語モデルで、日英２言語を合わせた能力で世界トップレベルの高い性能を持ち、公開データセットのみで学習されたOpen Source Software (OSS)です。

言語モデルの性能を測定するための指標。低い値が良い性能を示す。

PaLMはGoogleが開発した「Pathways Language Model」の略であり、PaLM2は2023年に発表されました。PaLM2はGoogleの対話型AIサービスであるBardにも搭載されています。

OpenCALMは、株式会社サイバーエージェントが公開した日本語大規模言語モデルであり、WikipediaとCommonCrawlからのデータを使用してGPT-NeoXで学習されています。商用利用が可能なCC BY-SA 4.0ライセンスで提供され、6つの異なるモデルが公開されています。

OpenAI EvalsはOpenAIが提供するLLMコンポーネントの評価フレームワークであり、入力と期待する回答のデータセット、Evalクラスによる回答の評価、CompletionFnクラスによるLLMコンポーネントの定義を組み合わせて性能評価を行うことができる。

大規模な非構造データセットと対話するためのプラットフォーム(OSS)

最大規模のモデルを直接トレーニングおよび使用するコストを削減するために適用される方法。

日本語に対応したデータセットである JGLUE を組み込んだ性能評価ツール

LLM（Large Language Model）は、機械学習モデルであり、膨大なテキストデータを分析して言語のパターンを理解することを目的としています。ChatGPTはLLMの一種であり、会話形式のテキスト生成に特化していますが、他の応用として文章のチェックやプログラミングコードのエラー訂正、データ入力の自動化などにも利用されます。

LlamaIndexは、大規模言語モデル（LLM）と外部データを接続するためのインターフェースを提供し、質問に対してデータを参照しながら返答を返すことができます。詳細はこちらを参照してください。

LLaMAはMetaが2023年2月に発表した大規模言語モデルであり、LLaMAのコードはGithubでオープンソースとして公開されています。

LLM（大規模言語モデル）用のデータをカスタマイズするためのツール OSS

LangSmithはLangChainの本番環境で使用するためのデベロッパーツールであり、LLMの実行ログの収集、LLMの出力結果のデータセット化、登録したデータセットによるモデルの評価などの機能を提供しています。詳細はLangSmithを参照してください。

LangChainは、言語モデルを利用したアプリケーション開発のためのフレームワークであり、コンテキストを認識し、推論することができます。詳細はLangChainを参照してください。

JGLUEは日本語の言語理解能力を評価するためのデータセット群であり、クラウドソーシングを利用して構築されています。詳細はこちらをご覧ください。

日本語言語モデル「Japanese StableLM Alpha」がリリースされました。詳細はこちらをご覧ください。

Instruction Tuning（指示調整）は、機械学習モデル、特に自然言語処理（NLP）モデルにおいて、特定のタスクや指示に基づいてモデルの挙動を最適化するプロセスです。このプロセスでは、モデルに与えられる指示やデータセットに特化した調整が行われます。これにより、モデルは特定のタイプのクエリやタスクに対してより正確かつ効果的に応答できるようになります。

In-Context Learning（文脈内学習）は、モデルが入力されたテキスト（文脈）を直接利用して学び、新しいタスクを理解し実行する能力を持つ手法です。この手法では、事前に学習したモデルの重みは固定され、タスク固有の少数のサンプルと指示を受け取って動作します。これにより、モデルは迅速に適応し、効果的にタスクを実行できます。

「HyDE」(Hypothetical Document Embeddings)は、質問応答における文書検索を高精度化する手法です。文書を読まずに仮想的な応答を生成し、その応答を埋め込みにして文書を検索します。参考リンクや元論文もあります。

「Heron」はチューリングが開発したマルチモーダル学習ライブラリで、画像認識モデルと大規模言語モデルを組み合わせた学習コード、データセット、学習済みモデルで構成されています。詳細はこちらを参照してください。

「人間と AI の相互作用に関するガイドライン」は、ChatGPTを使用した人間とAIの相互作用に関する指針の概要を提供しています。詳細はこちらをご覧ください。

「Grok」は米国xAIが提供する新型AIツールで、イーロン・マスクが率いています。カテゴリはサービス/製品で、タグは用語です。

GPT-4VはOpenAIによって開発された最新のAIモデルで、マルチモーダルAIとして知られています。画像解析機能を持ち、視覚情報をテキストデータに変換することができます。また、音声出力機能も備えており、声を通じて情報を提供することができます。GPT-4Vは自然言語処理の分野で注目を集めており、異なるデータモーダルを統合し、複雑な情報処理を可能にしています。

G-EVALはプロンプトベースの評価ツールであり、GPT-4を使用してNLGの評価を行います。詳細は[[論文] G-EVAL: NLG Evaluation using GPT-4 with Better Human Alignment]を参照してください。

Flappyはプロダクションレディの言語学習モデル(LLM)エージェントSDKであり、使いやすく、普遍的に互換性があり、プロダクションレディのソリューションです。開発者は好きなプログラミング言語に関係なくAIの力を利用できます。

Facebook AI Researchによって開発された、高速な類似性検索とクラスタリングのためのライブラリ

分類タスクの正確さを測るための指標。精度と再現率の調和平均。

説明を利用したファインチューニングは、大きなモデルの推論過程を学ぶための手法です。

Embedding（埋め込み）は機械学習や自然言語処理の分野で使用される技術で、高次元のデータを低次元のベクトル空間に変換することで、次元削減や意味的関係の保持、モデルの性能向上を実現します。

Dolly 2.0は、Databricksが開発した大規模言語モデル（LLM）であり、低コストで迅速にトレーニングするための方法を実証するために作成されました。また、モデルのトレーニングに使用された高品質のデータセットdatabricks-dolly-15kもオープンソース化されています。

T5を用いた、google による拡散モデル。

DALL·E 3は、OpenAIが開発した画像生成AIで、テキスト入力に基づいて高品質な画像を生成する機能を提供します。このサービスは、特定のテキストプロンプトから画像を生成することに特化しており、AI技術を活用して新しいビジュアルコンテンツを作成することができます。

Stability AIによる、Latent Diffusion Modelという手法をベースにした拡散モデル。Stable Diffusionで入力された指示（プロンプト）と出力結果を追跡しているWebサイト「Lexica」も登場している。

「Custom instruction」とは、AIや他のプログラムに対して特定のタスクを実行するためのカスタマイズされた指示やコマンドを意味し、特にAI技術の分野でよく使われます。ユーザーは目的や要件に合わせてカスタムインストラクションを提供し、AIはより具体的かつ効果的にタスクを実行できます。

一つの言語で訓練されたモデルが他の言語のタスクにも適用可能である能力。

ClaudeシリーズはAnthropicが提供するモデルであり、Chatbot-arena・Nejumi JGLUEスコアリーダーボードなどのベンチマークでGPTシリーズに匹敵する能力を持っています。Amazon Bedrockで利用可能です。

機械翻訳の品質を評価するために使用される指標。参照翻訳と機械翻訳の間の類似性を測定する。

BERTは2018年にGoogleからリリースされたAIモデルです。

Azure OpenAI Serviceは、Microsoft Azureクラウドプラットフォーム上で提供されるサービスで、OpenAIの先進的な人工知能技術へのアクセスを提供します。ユーザーはこのサービスを通じて、OpenAIが開発した様々なAIモデル、例えばGPT-4などを利用できます。

Microsoftが提供するクラウドベースの機械学習サービス。モデルのトレーニング、デプロイ、管理などをサポート。

Azureが提供する検索サービス。以前はCognitive Searchとして知られていた。

AWS Bedrockは、Amazon Web Services（AWS）が提供する完全マネージド型のサービスであり、主要なAI企業から提供される高性能な基盤モデルを選択できます。開発者は生成AIアプリケーションを簡単に構築し、プライバシーを維持しながら開発を簡素化できます。また、ユーザーは自身のデータを使用してモデルをカスタマイズし、セキュリティ対策を実施することもできます。

生成AIの構築と実行を支えるクラウド サービス。

Runwayが開発。テキスト入力や参照画像で指定した任意のスタイルを適用して、既存の映像を新しい映像に変換できる。

Phenakiはテキストからビデオを生成するAIモデルです。プロンプトを使って時間を変えながら長いビデオを作成できます。

動画を生成する。Metaが開発。

Baidu による画像生成サービス。自然言語処理の大規模プロジェクトWenxinの成果を利用。

スタートアップ企業のJasperが開発。言語のサービスも提供している。

Stability AIの画像生成サービス。APIも提供。

Midjourneyが提供。Discord上で、自然言語によって生成したい画像の指示（プロンプト）を出すこと で、画像を生成することができる。

Baiduによる対話型AIサービス

Googleによるチャットボット。

Pineconeは高性能なベクトル検索アプリケーションを簡単に構築できるマネージド型のクラウドネイティブなベクトルデータベースです。特徴としては、高速なクエリレイテンシー、ライブアップデートのサポート、メタデータフィルタとの組み合わせ、そして完全な管理が挙げられます。

Amazon Titan FMは、AWSによって大規模なデータセットで事前トレーニングされたFMファミリーであり、さまざまなユースケースをサポートするために構築された強力な汎用モデルです。

Alignment Tuning（アライメント調整）は、自然言語処理や機械学習モデルのトレーニングにおいて、モデルの出力が人間の倫理や価値観と整合するようにするプロセスです。モデルは人間の監督下でトレーニングされ、特定の倫理規範や社会的規範に適合するように調整されます。このプロセスにより、モデルはより人間的で理解しやすく、信頼できるものになります。

分類タスクでのモデルの正確さを示す指標。正しく分類されたインスタンスの割合

タスク固有のベクトルをモデルに付加し、プレフィックス のパラメータのみをチューニングする手法

言語モデルの能力を評価するためには、特定の下流タスクに特化した評価データセットやベンチマークが使用されます。質問応答データセットやオープンブック・クローズドブックタスクなどが一般的であり、TruthfulQA、Web Questions、TriviaQA、SQuADなどがよく使用されます。また、テキスト補完や複合ベンチマークも存在します。

モデルの評価と分析の過程で、特に人手が必要とされる部分。LLMの汎用性と安全性の理解において重要な役割を果たす

Metaの大規模言語モデル。モデルの構築方法や訓練方法の詳細も公開されている。

BigScienceの大規模言語モデル。Hugging FaceのWebサイトからダウンロードして研究に利用できる

Googleの大規模言語モデル

Apache Cassandra/DataStax AstraDBは、ベクトルデータベースであり、スケーラビリティに優れています。

SPTAG（Space Partition Tree And Graph）は、Microsoft Research（MSR）とMicrosoft Bingによって公開された、大規模なベクトル近似最近傍探索シナリオのためのライブラリです。詳細はこちらをご覧ください。

LLMアプリを監視できるサービス。トークン数やレイテンシー、コスト、予測精度などを監視可能。

「MyScale DB」は、SQLを用いてGenAIアプリケーションの構築を支援するサービスであり、既存のSQL知識を活用することで学習コストを最小化し、ビジネス価値を迅速に実現することができます。また、既存のインフラストラクチャやツールとの統合により、コスト効率を向上させることもできます。

Weaviateはオープンソースのベクトルデータベースで、オブジェクトとベクトルの両方を格納できます。主な特徴はオープンソースであり、セマンティック検索、拡張性、GraphQL-API、高速性があります。

NMSLIB（Non-Metric Space Library）は、高度なアルゴリズムを使用してインデックスを作成し、近似最近傍探索（ANN）検索をサポートするベクトルデータベースです。低遅延、高スループットのパフォーマンスに最適化されており、リアルタイムアプリケーションに適しています。

「Qdrant」はオープンソースのベクトルデータベースであり、ベクトルの類似性検索エンジンとして使用できるサービスを提供します。ペイロードの格納、検索、管理に便利なAPIを提供し、ローカルとクラウドベースのオプションがあります。ただし、コミュニティが少なく、ドキュメンテーションが不足しているかもしれません。

事前学習したLLMのレイヤ間に追加のタスク固有のレイヤを挿入し、アダプターのパラメータのみをチューニングする手法