複合語・数量・名前
Suzume は複合語や数量を一つの検索単位にまとめる一方、生産的な接尾辞や行政区分の境界は残します。ここでは、語句の種類ごとに結合と分割を並べて説明します。
比較条件と読み方は MeCab との違い、品詞の付け方は POS 分類の違いを参照してください。
複合語
漢字複合語
辞書や文法規則から内部境界を判断できない未登録の漢字列は、通常1つの名詞候補として保持します。一方で 神奈川県 / 横浜市 や 会議 / 中 のような構造上の境界は分割します。
カタカナ複合語
未知の一般的なカタカナ列は、通常1つの名詞候補として保持します。辞書や形状規則に根拠があれば、「ドキドキ(ADV)」のように別の品詞を付与します。
文字種をまたぐ複合語
英字語に続くカタカナ語は1つの複合名詞になります。
動詞連用形からの複合名詞
動詞の連用形+「会」、および行き先を表す「行き」は、1つの名詞になります。
複合動詞の連用形を名詞として使う場合、後続する名詞とは分かれることがあります。取り扱い方法 は 取り扱い(NOUN) / 方法(NOUN) になります。
名詞+一字接尾辞
次の限定された名詞+一字接尾辞の組み合わせを結合します。
対象接尾辞: 書、誌、時、率、性
動詞連用形+「方」
短い動詞連用形に形式名詞「方」が続く場合、方法を表す単一の検索単位に結合します。
結合するのは短い語幹だけです。連用形が2文字以内の場合に限られます(走り方、やり方)。長い連用形は境界を維持し、「打ち合わせ方」は「打ち合わせ / 方」のままです。長い連用形転成名詞の後でも同じ境界を保ち、取り扱い方 は 取り扱い(NOUN) / 方(SUFFIX) になります。
数量と日付
数字と単位
基数に助数詞・単位が続く場合は、通常1つの数量トークンに結合します。大きな数値単位(万、億、兆)、小数、パーセント、アルファベット単位にも対応します。ただし序数や構造接尾辞の規則により、第三 / 回 のように分割する場合があります。
数量の前後には検索単位としての境界を維持します。
3種類、3人分、3ページ目 のような数量表現も、全体を 1 つの NOUN トークンとして保持します。助数詞の認識で後続の語を途中で切らず、数量に続く「分」や順序を表す「目」も数量の一部として扱います。
カンマで桁を区切った数値は、数値全体を一語として扱います。後続する助数詞は独立した SUFFIX にし、金額は一つの検索単位にまとめます。
同じ結合はアラビア数字以外にも適用されます。
かな表記の数量:
配分表現の数量:
番地・地番:
序数の「第」と概数の「約」: 序数接頭辞の「第」は数字と結合し、後続の助数詞は独立した SUFFIX トークンになります。概数接頭辞の「約」は逆に独立した PREFIX のまま、数字が助数詞と結合します。
日付
完全な日付表現は単一トークンに結合されます。
名前と接尾辞
固有名詞と地名
地名構成要素と地域接尾辞の多くは結合します。ただし 県+市 は構造規則による例外で、都道府県と市を分割します。
地名
県+市
県+市の複合名詞は行政区画の境界で分割されます。
県/市の境界で分割
注: この分割ルールは 県+市 パターンにのみ適用されます。都+区(東京都新宿区)や 府+市(大阪府大阪市)などの組み合わせは、固有名詞と地名の結合ルールにより単一トークンに結合されます。
敬称とひらがな愛称
敬称は名前から分割されます。
対象敬称: さん、ちゃん、くん、様、さま。漢字表記の「君」「殿」は、2字以上の漢字からなる語の後では分割します(佐藤 / 君、先生 / 殿)。
これらの敬称でも、公開 API の品詞は一律ではありません。佐藤様 は 佐藤(NOUN) / 様(NOUN) になります。
漢字1字の後では、人名と「主君」のような普通の複合語を区別できません。そのため 林君 は一語のままです。これは語彙情報がないことによる制約です。
例外: お兄ちゃん、お母さんなどの家族語と、「皆様」「皆さん」は単一トークンとして維持されます。
2〜3文字のひらがな語幹に「ちゃん」「くん」が続く短い愛称や、辞書化された家族語は検索単位として結合する場合があります。通常の「さん」は、漢字の名前に付く場合も独立した接尾辞になります。
動詞連用形+生産的接尾辞
動詞語幹に付く生産的な接尾辞 — がち(傾向)、たて(直後)、っぱなし(放置) — は境界を維持して SUFFIX を付与するため、動詞語幹は原形付きで検索可能なままです。
否定構文の「読みっこない」も同じ方針で、読み(VERB)/ っこ(SUFFIX)/ ない(ADJ)に分かれます。
数量・状態の接尾辞
Suzume は漢字複合語を積極的に結合しますが、生産的な数量・状態の接尾辞は境界を維持して SUFFIX を付与します。
「例年並み」は 例年(NOUN) / 並み(SUFFIX)、「汗まじり」は 汗(NOUN) / まじり(SUFFIX) に分かれます。「中」は前の語によって役割が変わり、形容詞が修飾する「忙しい中」は 忙しい(ADJ) / 中(NOUN) として、「中」を接尾辞ではなく形式名詞にします。
名詞化の「さ」のように境界を変えずにラベルだけ変わる接尾辞は、POS 分類の違いで扱います。