表記・技術テキスト
語の境界は表記によっても変わります。ひらがなの日常語、長音を使った表現、識別子、記号などの扱いを説明します。
比較条件と読み方は MeCab との違い、品詞の付け方は POS 分類の違いを参照してください。
日常語と口語表現
ひらがなの日常語
ひらがな表記が一般的な日常語は、パターン規則と小さな L2 辞書を組み合わせて一語のまま扱います。パターン規則は「おととい」「ひこうき」「みっつ」や「翌営業日」のような暦の複合語を処理します。「みず」「てがみ」「ひらがな」「にわ」「いりぐち」「はにわ」「あけぼの」「くだもの」のように、助詞や活用語尾と同じ文字を含む曖昧な名詞には辞書の語彙情報を使います。
スラング・現代語
現代の口語的な形容詞・動詞をネイティブに認識します。
認識例: エモい、キモい、ウザい、ダサい、イタい、ヤバい、複合イ形容詞。ひらがな表記の認識には文脈が必要な場合があります。頭がいたい は 頭(NOUN) / が(PARTICLE) / いたい(ADJ) になりますが、単独の いたい は い(VERB) / たい(AUX) になります。
動詞の認識例: バズる、ググる、パクる
ナイ形容詞
「ない」で終わる特定の形容詞は、分割せず単一の語彙として扱います。
単一語として処理する主な例: だらしない、つまらない、もったいない、くだらない、いたたまれない、ものたりない、こころもとない
これは閉じた語彙リストです。生産的な「語幹＋ない」の組み合わせは分割します — 生産的な否定の分割を参照してください。
長音記号
長音記号（ー）は前のトークンに結合されます。認識した口語のイ形容詞では、表層形の長音記号を保持しつつ、原形を通常の辞書形に正規化します。
漢字の形容詞語幹でも強調表記を保ちます。「高ーい」と、語尾を切った「高っ」は、それぞれ原形「高い」の ADJ です。語中の強調の「っ」が原形に残る場合もあり、「すっごい」は原形も「すっごい」の ADJ になります。
助詞末尾の小書き母音は助詞に残し、「のにぃ」は原形「のに」の PARTICLE とします。語尾を切った挨拶の「ありがとっ」は、原形「ありがとう」の INTJ です。
口語の強調助詞
口語の強調助詞は、断片化させずに1つの単位として分割します。
ったら題目助詞:
ってば強調助詞:
定型あいづちの分解
フィラーとして語彙化された定型の会話フレーズは、文法要素に分解します。
技術的な表記
テクニカルテキスト
技術的な識別子は単一トークンに結合されます。
snake_case識別子:
バージョン番号:
ASCII名＋番号:
ASCIIドット記法:
ASCII 語中の区切り記号:
ASCII の単語文字に挟まれたアポストロフィ、アンパサンド、スラッシュも同じ規則で 1 トークンに保ちます。
URL・メンション・ハッシュタグ
URL、@メンション、#ハッシュタグは単一トークンに結合されます。ハッシュタグの走査は、助詞のように見えるひらがなを含む日本語を受け付け、空白または句読点で停止します。
記号と句読点
内容を持つ記号と句読点
通貨・単位記号、矢印、数学・技術記号、絵文字は、既定の出力でも OTHER として残ります。これらはテキストの内容を持つため、対応する文字範囲もトークンのオフセットに含まれます。句読点などは SYMBOL として扱い、既定では省略します。出力に残すには preserveSymbols を有効にします。
| オプション | 価格は€50🎉。 |
|---|---|
| 既定 | 価格(NOUN) / は(PARTICLE) / €(OTHER) / 50(NOUN) / 🎉(OTHER) |
preserveSymbols: true | 価格(NOUN) / は(PARTICLE) / €(OTHER) / 50(NOUN) / 🎉(OTHER) / 。(SYMBOL) |