テキスト解析のAI用語一覧

形態素解析器

形態素解析器とは、文章を意味を持つ最小の単位である「形態素」に分割し、それぞれの品詞や活用形を特定する自然言語処理ツールです。日本語や中国語のように単語間にスペースがない言語のテキスト解析において、後続のテキストマイニングや機械学習モデルへの入力データ前処理を行う重要な基礎技術として広く利用されています。