用語集
このドキュメントで使う用語を短く定義します。テキスト処理には詳しくても日本語文法には詳しくない読者を想定しています。各項目から、詳しく扱うページへリンクしています。例はすべて同梱のトークナイザーの実際の出力です。
品詞
トークンの文法上の分類です。pos フィールドには英大文字のタグ(NOUN、VERB、PARTICLE など)が、posJa には日本語名が入ります。
東京に行く | 東京 | に | 行く |
|---|---|---|---|
pos | NOUN | PARTICLE | VERB |
posJa | 名詞 | 助詞 | 動詞 |
タグの一覧は品詞ラベルにあります。MeCab との付け方の違いは品詞分類の違いを参照してください。
拡張品詞
extendedPos に入る細かいラベルで、品詞に活用形、助詞の役割、名詞の下位分類を加えたものです(VERB_未然、AUX_否定、NOUN_形式 など)。書かない では 書か が VERB_未然、ない が AUX_否定 です。値の一覧は品詞ラベルにあります。
原形
トークンの辞書形です。JavaScript では baseForm、Python では base_form、Go では BaseForm として取得します。CLI の JSON キーとユーザー辞書の列名は base_form です。言語学でいう lemma にあたります。食べた のトークン 食べ の原形は 食べる です。原形を使うと、活用したすべての形を 1 つのキーで照合できます。正規化とは別の処理で、違いは正規化と原形補正の違いで説明しています。
表層形
正規化後の入力に現れるとおりのトークンの文字列です。飲んだ の表層形 飲ん の原形は 飲む です。空白や(既定では)句読点のように出力から除かれた文字は、あるトークンの end と次のトークンの start の間の隙間になります。オフセットを参照してください。
活用型
conjType に入る、動詞や形容詞の活用の種類です。語尾がどの型に従って変わるかを表します。書い(書く)は 五段・カ行、食べ(食べる)は 一段 です。活用しない語では null になります。五段と一段と、ユーザー辞書で指定できる活用型も参照してください。
活用形
conjForm に入る、そのトークンがどの活用形かを表す値です(未然形、連用形、終止形 など)。日本語の動詞は後に続く語によって語尾を変えるので、活用形を見るとトークンが句の中で果たす役割が分かります。
| テキスト | トークン | conjForm |
|---|---|---|
書かない | 書か | 未然形 |
書いた | 書い | 連用形 |
東京に行く | 行く | 終止形 |
連用形
動詞が ます、た、て や別の動詞の前でとる形です。飲み始めた では 飲み と 始め がどちらも連用形です。同じ綴りが名詞としても使われることが多く(飲み は「飲むこと」の意味にもなる)、動詞か名詞かは文脈で決まります。動詞連用形からの複合名詞を参照してください。
未然形
動詞が否定の ない や、受身・使役の語尾の前でとる形です。書かない の 書か が未然形です。Suzume がこの連なりをどう分割するかは使役受身を参照してください。
五段と一段
動詞の 2 つの主要な活用の種類です。五段動詞は、語末のかなを同じ行の 5 つの母音にわたって変えます(書か、書き、書く、書け、書こ)。一段動詞は語幹を保ったまま語尾だけを付け替えます(食べ + ない、食べ + た)。conjType では、五段動詞は 五段・カ行 のように行と一緒に示します。不規則動詞の する と 来る は、これとは別の小さな群です。
音便
五段動詞の連用形が た や て の前で起こす音の変化です。このトークンの extendedPos は VERB_音便、conjForm は 連用形 になります。
| テキスト | トークン | 原形 | 種類 |
|---|---|---|---|
書いた | 書い | 書く | イ音便(い) |
飲んだ | 飲ん | 飲む | 撥音便(ん) |
行った | 行っ | 行く | 促音便(っ) |
サ変動詞
点検する のように、名詞に する が付いてできる動詞です。Suzume は 点検(NOUN)と する(VERB)を別々のトークンとして返します。撮影しました は 撮影(NOUN)、し(VERB、原形 する)、まし(AUX、原形 ます)、た(AUX)に分かれます。ユーザー辞書の SURU 行が扱うのは、サ変動詞の一部の活用形です。SURU の行で何が変わるかを参照してください。
イ形容詞とナ形容詞
イ形容詞は い で終わり、それ自体が活用します(美しい、美しくない)。ナ形容詞は名詞の前で な を取る語幹で、活用しません(静かな部屋)。Suzume はどちらも ADJ とします。拡張品詞は、イ形容詞 美しい が ADJ_終止、語幹 静か が ADJ_NA で、な は別の AUX トークンになります。ナ形容詞の認識を参照してください。
補助動詞
別の動詞のあとで本来の意味を失い、アスペクトや話し手の態度を加えるだけの動詞です。食べている の いる や 食べてみる の みる が当たります。Suzume は主動詞から分け、接続の て のあとでは AUX とします。いる は AUX_継続、みる は AUX_試行 です。補助動詞の分割を参照してください。
コピュラ
名詞の後に付いて「〜である」を表す要素で、だ、です や、じゃ のような縮約形を含みます。Suzume は AUX とし、原形を だ にします。本じゃない のトークンは 本(NOUN)、じゃ(AUX、原形 だ)、ない(ADJ)です。コピュラ否定を参照してください。
形式名詞
それ自体の意味が薄く、節を名詞句に変える働きをする名詞です(こと、もの など)。読むことが好き の こと は isFormalNoun が立ち、extendedPos が NOUN_形式 になります。
低情報トークン
検索キーワードとしての価値が低いトークンで、形式名詞と代名詞が該当します。isLowInfo が立ち、タグ生成では既定で除外します。これはとても良いものです では これ と もの が低情報トークンです。JavaScript API リファレンスの generateTags を参照してください。
未知語
どの辞書にもなく、Suzume が文字種と文法のパターンから生成したトークンです。isUnknown が立ち、isFromDictionary は立ちません。Suzume の辞書はコンパクトなので、ごく普通の語もこの経路を通ります。東京に行く では、東京 はパターンから生成し、に と 行く は辞書から引いています。未知語であることは、結果が誤りであることを意味しません。パターン認識を参照してください。
正規化
トークン化の前に、入力の文字を一定の表記へ書き換える処理です。全角の API を API に、半角の カタカナ を カタカナ にする、といった変換を行い、表層形とオフセットに影響します。各トークンに辞書形を付ける原形の付与とは別の処理です。正規化を参照してください。
複合語
高層ビル群 のように、複数の語がまとまって 1 つの単位として働くものです。Suzume は既定でも一部の複合語を 1 トークンに保ち(自然言語処理 は 1 トークン)、search モードや mergeCompounds を使うと連続する名詞を結合します。複合語の結合と複合語・数量・名前を参照してください。
結合規則
最良の経路を選ぶ前に、Web開発(文字種をまたぐ語)、飛び込む(複合動詞)、東京行き(名詞+行き先の 行き)のように、より長い 1 トークンを候補として加える処理です。normal と search モードで使い、split モードでは使いません。モードの選び方を参照してください。
ユーザー辞書
組み込み辞書にない製品名、専門用語、境界を追加するために、実行時に読み込む独自の単語リストです。TSV でもコンパイル済みのバイナリでも読み込めます。ユーザー辞書由来のトークンには isUserDict が立ちます。ユーザー辞書を参照してください。
辞書の階層
Suzume が一緒に参照する 4 つの辞書です。L1 は組み込み、L2 は core.dic、L3 は同梱の user.dic、L4 は利用側が読み込む辞書です。辞書の階層を参照してください。