用語集

Ollamaは、プロンプトに基づいて特定のタスクを実行するための意思決定を改善する技術を提供するツールです。人工知能（AI）技術を活用して、タスクの分類やAIの応答やアクションの精度を高め、ユーザーに関連性の高い情報やサービスを提供します。

StarCoder2は、600以上のプログラミング言語と自然言語テキストで訓練されたコード生成モデルで、Grouped Query Attentionを使用して大きなコンテキストウィンドウを処理します。効率的な運用のための精度とメモリ最適化技術をサポートしています。

OpenToMは、AIの大規模言語モデル（LLM）の「心の理論」能力を評価するためのベンチマークであり、AIが他者の信念や欲求を理解し、適切に反応する能力を測定することができます。これにより、より人間らしい対話や社会的な相互作用を可能にするAI技術の発展に寄与することが期待されています。

プロンプト分類は、AI技術のプロセスであり、入力されたプロンプトや指示を特定のカテゴリーやタイプに分類することで、AIが入力の意図を理解し、適切な反応を提供できるようにするものです。

LumosはLangChainとOllamaを使用し、ローカルの大規模言語モデル(LLMs)と統合してウェブブラウジングの相互作用を強化するための共同パイロットです。プロンプト分類を活用してマルチモーダル機能の実行を改善し、新しいブラウザの開発によりLLMの能力を高める可能性があります。

AI-OCRは、AI技術を活用した光学文字認識（OCR）システムであり、従来のOCR技術よりも高い精度で様々なフォントや手書き文字、破損した文書を認識できます。文書のレイアウトを理解し、情報を構造化する能力も持ち、データ入力作業の自動化や処理効率化など、幅広い応用が可能です。

この論文では、大規模言語モデルの推論性能において前提の順序が重要であることが示されています。最適な順序で前提を提示すると、モデルの精度が大幅に向上することが観察されました。

「DoRA: Weight-Decomposed Low-Rank Adaptation」という論文では、LoRAとその変種に代わるパラメータ効率の良い微調整方法としてDoRAを提案しています。DoRAは、事前訓練された重みを大きさと方向の二つの成分に分解し、方向の更新にLoRAを利用することで、訓練可能なパラメータの数を効率的に最小化します。

「LoRA: 大規模言語モデルの低ランク適応」という論文では、LoRA（Low-Rank Adaptation）という新しい手法が提案されています。この手法は、大規模言語モデルの特定のタスクやドメインへの適応を効率的に行うことができます。詳細は、arXivのページで確認できます。

CRAG（Corrective Retrieval Augmented Generation）は、生成モデルが不正確な情報を減らすために設計された技術であり、検索結果を利用して生成内容の正確性を向上させることに焦点を当てています。情報の正確性が重要なタスクでモデルの性能を向上させることができます。

機械学習モデルの性能を最大化するために、ハイパーパラメータを調整するプロセスです。グリッドサーチ、ランダムサーチ、ベイジアン最適化、進化アルゴリズムなどの手法があります。適切なパラメータを見つけることで、モデルの予測精度や汎化能力を向上させることができます。また、過学習の防止や計算資源の有効活用も重要です。

近似最近傍探索（ANN）で使用されるパラメータであり、検索時のクエリ処理における拡張ファクターを指定します。efSearchの値が大きいほど精度が向上しますが、検索時間も増加します。適切な値はアプリケーションの要件に依存し、精度と速度のバランスを調整する必要があります。

近似最近傍探索（ANN）アルゴリズムで使用されるパラメータであり、HNSWアルゴリズムのグラフ構築時に各データポイントの近傍リストを保持する数を決定します。高い値は検索精度を向上させますが、構築と検索に時間がかかり、メモリ使用量も増加します。低い値は速度を向上させますが、検索精度が低下する可能性があります。パラメータ設定はタスクの性質と計算資源によって異なります。

高次元空間において最近傍点を効率的に見つけるためのアルゴリズムや技術の総称です。完全な最近傍探索の代わりに近似解を迅速に見つけることで計算コストを削減し、画像処理や機械学習、推薦システムなどに応用されます。代表的なアルゴリズムにはLSH、KD木、Annoyがあります。

Google Cloudが提供するDocument AIは、文書の自動デジタル化と解析を行うサービスであり、手書きテキストや印刷文書、PDF、スキャンされた画像から情報を抽出し、請求書や契約書の処理、カスタマーサービスの最適化などに利用できます。Webコンソール、クライアントライブラリ、Rest APIを通じてアクセスでき、BigQueryとの統合もサポートしています。

「cotomi」は、NECが開発した大規模言語モデルで、特に日本語における高い理解能力と生成能力を持ち、ビジネスや日常生活での活用が期待されています。NECは2024年春から業務特化型のモデル提供を開始し、医療、金融、製造業など幅広い分野での利用が見込まれています。

Continueは、GPT-4やCode Llamaなどの大規模言語モデルを統合し、開発者のコーディング体験を向上させるツールです。GitHubで人気を集め、非破壊的なアプローチで手動のコピーアンドペーストを減らします。

「Pinecone」は、シンプルなAPIを提供するフルマネージドなベクトルデータベースです。

MoEモデルは、複数の専門的なサブモデルとゲーティング機構から構成され、入力データに基づいてエキスパートを選択し、出力を統合します。各エキスパートは特定のデータやタスクに特化しており、ゲーティング機構は重みを調整して最終的な予測に影響を与えます。

効率的な検索のためのグラフアルゴリズム

大規模なデータセットのためのベクトルデータベース

CUDA（Compute Unified Device Architecture）とは、NVIDIAが提供するGPU（Graphics Processing Unit）向けの並列計算プラットフォーム

NVIDIAの高性能GPU

小型で多様なAI同士が協調するアーキテクチャです。多数のAIモデルがつながり、集合体として動作するアーキテクチャで、サステナブルな社会の実現に向けて研究開発されています。

トランスフォーマーモデルの基礎論文

NTT開発の大規模言語モデル

Anthropicによって開発されたAIモデル。人間のような思考や会話能力を目指す。

Google傘下のAI研究組織。先進的なAIシステムの開発を行っている。

Google Cloud内の機械学習開発プラットフォーム。モデルの訓練やモニタリングが行える。

Googleが開発したマルチモーダルLLM。GPT-4に匹敵する性能を持ち、Nano/Pro/Ultraの3段階のモデルがある。

テキスト、画像、音声ファイルなど、形式や構造に一貫性がなく、洞察を導出するには一般的に高度な手法を必要とするデータ

テーブル、データベース、スプレッドシートなどの表形式のデータで、一部の機械学習モデルを効果的に訓練するために使用できる

AIとMLをスケーリングし、継続的にモデルを開発していくための取り組みを指す。これには、MLのライフサイクル全体 (データ管理、モデルの開発、デプロイ、運用 )をカバーする一連の取り組みが含まれる。現在、これらの多くは、サポートソフトウェア(タスクの標準化、効率化または自動化を支援するツール ) によって実現あるいは最適化されている

生成 AIモデルが期待通りの ( 正確な )アウトプットを生成するように、プロンプト( 生成 AI への指示、入力文 )を設計、改良、最適化するためのプロセス

AIエージェント専用に構築された検索エンジンです。AIの機能を強化し、リアルタイムで正確かつ事実に基づいた結果を迅速に提供します

LangChain Expression Language、LangChainを拡張する言語。複数チェーン (またはアクター) を複数ステップにわたって循環的に協調動作させることができる

Langchainが提供するLLMでステートフルなマルチアクターアプリケーションを構築するライブラリ

Karakuri LMは、カラクリ株式会社が開発した70Bパラメータの日本語LLM。

日本語の性能評価ベンチマーク

JavaScriptで実装された日本語形態素解析器の一種

MoEアーキテクチャにおいて、どのエキスパートがどのトークンを処理するかを選択するネットワーク

HuggingFaceがサポートする、AIモデルの拡散プロセスを管理するライブラリ

機械学習モデルを簡単に実装、共有、探索できるプラットフォーム

複数の専門家モデルを統合して、高効率な処理を行うモデル

複数モデルを統合したMoE Diffusionモデルの作成フレームワーク。Segmind Mixture of Diffusion Experts

GatoはDeepMindによって開発されたマルチタスクAIモデルで、一つのモデルで数千の異なるタスクを実行できる汎用性を持っています。言語理解、画像認識、ロボティクスなど、さまざまな種類のタスクを処理できる目標を持つ汎用的なAIの開発です。

PaLM-SayCanは、Google ResearchのPathways Language Model (PaLM)とロボティクスを組み合わせたシステムであり、自然言語の命令を理解し、物理的な環境でのタスクを実行するロボットに命令を与えるために設計されています。高度な言語理解能力と実世界での操作能力を組み合わせることで、複雑で抽象的なタスクが可能になります。

Vision Transformer（ViT）は、画像処理の分野で使用されるトランスフォーマー・モデルの一種であり、画像のパッチ化、シーケンシャル処理、自己注意機構を特徴としています。ViTは長距離の依存関係を捉えることができ、柔軟性が高く、転移学習の有効性が示されています。このユニークなアプローチは画像認識の分野で注目を集めています。

DETR（Detection Transformer）は、物体検出タスクのための新しいアーキテクチャおよびトレーニング手法で、Facebook AI Researchによって開発されました。DETRは単純で効果的な手法として注目され、エンドツーエンドの学習、セット予測、Transformerの使用が特徴です。

Faster R-CNNは、領域提案ネットワークとFast R-CNNを組み合わせたディープラーニングモデルであり、高速かつ高精度な物体検出を実現します。リアルタイムアプリケーションにも利用されています。