検索拡張生成
検索拡張生成とは、大規模言語モデルが回答を生成する際に、外部のデータベースやウェブ上から関連する最新情報を検索して参照し、その情報をもとに正確な回答を組み立てる技術です。モデル自身の学習データに含まれない情報や最新の事実に基づいた応答が可能になり、ハルシネーションの抑制に有効な手法として広く活用されています。
大規模言語模型のAI用語一覧
3件大規模言語模型に関するAI用語を3件掲載しています。意味や使い方、関連用語を一覧から確認できます。
大規模言語模型に関するAI用語を3件掲載しています。意味や使い方、関連用語を一覧から確認できます。
検索拡張生成とは、大規模言語モデルが回答を生成する際に、外部のデータベースやウェブ上から関連する最新情報を検索して参照し、その情報をもとに正確な回答を組み立てる技術です。モデル自身の学習データに含まれない情報や最新の事実に基づいた応答が可能になり、ハルシネーションの抑制に有効な手法として広く活用されています。
トークン化とは、人間が読む文章をAIが処理しやすいように単語や形態素、あるいは文字の断片などの細かい単位へと分割する自然言語処理の基本的な前処理技術です。大規模言語模型の性能を左右する重要なプロセスとなります。
AIの自然言語処理や大規模言語モデルにおいて、モデルが理解・処理できる単語やサブワードの全集合を指します。トークナイザによってテキストがボキャブラリ内のIDに変換され、AIが計算可能な数値データとして扱われます。