Skip to content

解析モード・オフセット・正規化 ​

このページでは、トークンの区切り方と位置情報を左右する 3 つの設定、つまり解析モード、複合語の結合、文字の正規化を説明します。あわせて、各バインディングでトークンのオフセットを元のテキストへ対応付ける方法も示します。

モードの選び方 ​

モードによって、複合語を候補に加えるか、最良の経路を選んだ後に連続する名詞を結合するかが決まります。どのモードでも同じ辞書を使います。

モードが決めるのは、どの境界を残すか
「API開発と高層ビル群」を normal、search、split の 3 モードで区切った結果。search は「高層ビル群」を 1 トークンに結合し、split は「API開発」を「API」と「開発」に分けます。API開発と高層ビル群normal既定API開発と高層ビル群結合規則を適用searchAPI開発と高層ビル群連続する名詞を結合splitAPI開発と高層ビル群結合規則を止める= normal + mergeCompounds
破線は normal と結果が異なる 3 つの境界です。search は「高層ビル群」の内側の 2 つを外し、split は「API開発」の内側に 1 つ加えます。それ以外の境界はどのモードでも同じです。
WASM を読み込み中...
モード動作主な用途
normal(既定)結合規則を適用する表示、ハイライト、一般的なテキスト処理
search結合規則を適用し、連続する名詞をまとめる。形式名詞は対象外検索インデックスのキー、タグ抽出
split結合規則と、オプションで有効にする名詞の結合を省く部分一致、再現率重視のインデックス

結合規則は、最良の経路を選ぶ前に、より長いトークンを候補に加えます。たとえば split では Web / 開発、飛び / 込む と分かれます。どの経路を選ぶかによって、品詞も変わることがあります。normal と search では 東京行き が 1 つの NOUN になり、split では 東京(NOUN)と 行き(VERB)に分かれます。お水 はどのモードでも接頭辞と名詞に分かれ、お / 水 になります。

辞書に載っている 取り扱い も、辞書にない漢字の連続 高層建築群 も、どのモードでも 1 トークンになります。高層ビル群 は文字種が漢字・カタカナ・漢字と変わるため、normal と split では 高層 / ビル / 群 に分かれます。search は名詞の結合でこの 3 つを 高層ビル群 にまとめます。

作業途中 や、3億5000万円 のような数値表現を 1 トークンにまとめる処理は、split でも働きます。東京都庁前 も漢字の連続をまとめた候補が選ばれるため、どのモードでも 1 トークンです。分割するには、構成要素をユーザー辞書に登録します。

手元のテキストでモードを切り替えて確かめられます。

ブラウザ内で試す

入力した文章はサーバーに送られません。ページに同梱された Suzume WASM が、その場で分割・原形復元・タグ抽出を実行します。

WASM を読み込み中...

複合語の結合 ​

mergeCompounds を有効にすると、search モードと同じ名詞の結合が働きます。形式名詞は対象外です。既定では無効です。

モードmergeCompounds: falsemergeCompounds: true
normal取り扱い / 説明書 / を / 読む取り扱い説明書 / を / 読む
search取り扱い説明書 / を / 読む取り扱い説明書 / を / 読む
split取り扱い / 説明書 / を / 読む取り扱い / 説明書 / を / 読む(無視)

normal に mergeCompounds を付けた結果と、search だけを指定した結果は同じです。split モードではこのオプションは効きません。

モードの指定 ​

モードは作成時に指定し、後から辞書を読み直さずに変更できます。mergeCompounds は作成時にしか指定できません。

バインディング作成時のモード後からの変更複合語の結合
JavaScriptSuzume.create({ mode })suzume.mode = ...mergeCompounds
PythonSuzume(mode=...)analyzer.mode = ...merge_compounds
GoOptions.ModeSetMode()Options.MergeCompounds
C++Options::modesetMode()Options::merge_compounds
CLI--mode—--merge-compounds
ts
import { Suzume } from '@libraz/suzume'

const suzume = await Suzume.create({ mode: 'search' })
suzume.mode = 'split'

const merged = await Suzume.create({ mergeCompounds: true })
python
from suzume import Mode, Suzume

with Suzume(mode=Mode.SEARCH) as analyzer:
    analyzer.mode = "split"

with Suzume(merge_compounds=True) as analyzer:
    print([m.surface for m in analyzer.analyze("取り扱い説明書を読む")])
go
opts := suzume.DefaultOptions()
opts.Mode = suzume.ModeSearch

s, err := suzume.NewWithOptions(opts)
if err != nil {
	log.Fatal(err)
}
defer s.Close()

if err := s.SetMode(suzume.ModeSplit); err != nil {
	log.Fatal(err)
}
cpp
suzume::Options options;
options.mode = suzume::Mode::Search;
auto tokenizer = suzume::Tokenizer::create(options);
if (!tokenizer) {
  std::fprintf(stderr, "%s\n", tokenizer.error().message.c_str());
  return 1;
}

if (auto split = tokenizer->setMode(suzume::Mode::Split); !split) {
  std::fprintf(stderr, "%s\n", split.error().message.c_str());
  return 1;
}
bash
# Python package CLI
suzume --mode search "API開発と高層ビル群"
suzume --merge-compounds "取り扱い説明書を読む"

# Native developer CLI
suzume-cli --mode split "API開発と高層ビル群"

Go では DefaultOptions() から始めてください。Options のゼロ値は、原形補正と大文字・ヴの保持をすべて無効にします。

オフセット ​

各トークンは start と end を持ちます。どのバインディングでも単位は Unicode のコードポイントで、渡した文字列ではなく正規化後のテキスト上の位置を指します。正規化後のテキストは、トークンと一緒に返す呼び出しで取得します。

バインディング正規化後のテキストを返す呼び出しオフセットの単位切り出し方
JavaScriptanalyzeWithNormalizedText() → normalizedTextstart/end はコードポイント、startUtf16/endUtf16 は UTF-16 コード単位normalizedText.slice(startUtf16, endUtf16)
Pythonanalyze_with_normalized_text() → normalized_textコードポイントnormalized_text[start:end]
GoAnalyzeWithNormalizedText() → NormalizedTextコードポイント[]rune(NormalizedText)[Start:End]
C++analyzeWithNormalizedText() → normalized_text(UTF-8)コードポイント先にバイト位置へ変換する
Csuzume_analyze_n() → normalized_text、normalized_text_sizeコードポイント先にバイト位置へ変換する
CLI--format json → normalized_textコードポイント—
オフセットは正規化後のテキストを指す
入力「𠮷野家でガイドを読む」は正規化で「𠮷野家でガイドを読む」になり、トークンの位置はこの正規化後のテキスト上で数えます。「𠮷野家」の end はコードポイントで 3、UTF-16 で 4 です。入力𠮷野家でガイドを読む12 コードポイント5 文字が 3 文字に正規化後𠮷野家でガイドを読む10 コードポイントトークン𠮷野家でガイドを読む012345678910start · endコードポイント0234567891011startUtf16 · endUtf16UTF-16 コード単位
「ガイド」が「ガイド」に縮むため、「を」の位置は正規化後のテキストでは 7、入力では 9 です。「𠮷」は 1 コードポイントですが UTF-16 では 2 単位なので、JavaScript の文字列は startUtf16 と endUtf16 で切り出します。

𠮷 のように基本多言語面の外にある文字では、コードポイントと UTF-16 の単位がずれます。start/end を String.prototype.slice() に渡すと、そうしたトークンの末尾が欠けます。

ts
const text = '𠮷野家で食べた'
const { normalizedText, morphemes } = suzume.analyzeWithNormalizedText(text)

for (const m of morphemes) {
  console.log(normalizedText.slice(m.startUtf16, m.endUtf16))
}

// Offsets also index `text` only if normalization kept every character.
const aligned = [...normalizedText].length === [...text].length
python
text = "𠮷野家で食べた"
result = analyzer.analyze_with_normalized_text(text)

for m in result.morphemes:
    print(result.normalized_text[m.start:m.end])

# Offsets also index `text` only if normalization kept every character.
aligned = len(result.normalized_text) == len(text)
go
text := "𠮷野家で食べた"
result, err := s.AnalyzeWithNormalizedText(text)
if err != nil {
	log.Fatal(err)
}
runes := []rune(result.NormalizedText)

for _, m := range result.Morphemes {
	fmt.Println(string(runes[m.Start:m.End]))
}

// Offsets also index text only if normalization kept every character.
aligned := len(runes) == utf8.RuneCountInString(text)
cpp
// Byte position of code point `index` in UTF-8 text.
std::size_t byteOffset(std::string_view text, std::size_t index) {
  std::size_t pos = 0;
  while (pos < text.size() && index > 0) {
    ++pos;
    while (pos < text.size() &&
           (static_cast<unsigned char>(text[pos]) & 0xC0) == 0x80) {
      ++pos;
    }
    --index;
  }
  return pos;
}

const auto result = tokenizer->analyzeWithNormalizedText("𠮷野家で食べた");
if (!result) {
  std::fprintf(stderr, "%s\n", result.error().message.c_str());
  return 1;
}
for (const suzume::Morpheme& m : result->morphemes) {
  const std::size_t begin = byteOffset(result->normalized_text, m.start);
  const std::size_t end = byteOffset(result->normalized_text, m.end);
  std::printf("%s\n", result->normalized_text.substr(begin, end - begin).c_str());
}

入力テキストへの対応付け ​

正規化は文字を 1 対 1 で書き換えるか、取り除くかのどちらかで、文字を挿入することはありません。そのため、正規化後のテキストと入力のコードポイント数が同じなら、オフセットは入力上の位置としても使えます。全角・半角の変換(API → API、カタカナ → カタカナ)は文字数を変えません。次の場合はテキストが短くなり、それ以降のオフセットは入力とずれます。

入力正規化後理由
ガイドを読むガイドを読む半角の濁点を直前のかなに結合する
カ + U+3099ガ結合用の濁点を直前のかなに結合する
東京 + U+200B + タワー東京タワーゼロ幅スペースを取り除く
長いーー音長いー音漢字の直前で連続する ー を 1 つにまとめる
preserveVu: false での ヴァイオリンバイオリンヴァ が 1 文字になる

文字数が異なるときは、正規化後のテキストを切り出すか、入力位置と正規化後の位置の対応を自前で保持してください。

正規化 ​

Suzume はトークン化の前に、入力を一定の文字表記へ書き換えます。入力方法によって表記が揺れるテキストも、辞書引きとパターン規則からは同じ綴りに見えます。トークンの表層形とオフセットは、この正規化後のテキストに基づきます。

処理例適用条件
全角 ASCII(U+FF01–U+FF5E)を ASCII にAPI123 → API123常に
半角カタカナを全角にカタカナ → カタカナ常に
半角・結合用の濁点と半濁点をかなに結合ガイド → ガイド常に
ゼロ幅スペース(U+200B)を除去東京 + U+200B + タワー → 東京タワー常に
漢字の直前で連続する ー を 1 つに長いーー音 → 長いー音常に
ASCII の大文字を小文字にGitHub → githubpreserveCase: false のときだけ
ヴ行をバ行にヴァイオリン → バイオリンpreserveVu: false のときだけ
WASM を読み込み中...

ひらがなとカタカナは相互に変換せず、全角スペース U+3000 もそのまま残します。

2 つのオプションの意味は、どのバインディングでも同じです。

バインディングASCII を小文字にするヴをバ行にする
JavaScriptpreserveCase: falsepreserveVu: false
Pythonpreserve_case=Falsepreserve_vu=False
GoPreserveCase: falsePreserveVu: false
C++preserve_case = falsepreserve_vu = false
CLI--no-preserve-case--no-preserve-vu

preserveSymbols は正規化の処理ではありません。句読点などの SYMBOL トークンを出力に含めるかどうかを決めるだけで、正規化後のテキストにはどちらの場合も残ります。

正規化と原形補正の違い ​

どちらもテキストの揺れを減らしますが、対象が異なります。

正規化原形の付与
対象文字(トークン化の前)トークン(トークン化の後)
表層形とオフセットを変えるか変える変えない
例GitHub → GitHub食べ → 原形 食べる
結果の格納先surface、正規化後のテキストbaseForm(base_form、BaseForm)
制御するオプションpreserveCase、preserveVulemmatize(解析後の原形補正)

lemmatize(既定は true)は、各トークンの元の原形を補正後の原形に置き換えます。lemmatize を無効にすると、トークンは辞書エントリまたは候補が持つ原形のままになり、品詞と活用情報はどちらの場合も計算されます。ほとんどの原形はどちらでも同じで、食べている の 食べ はどちらでも 食べる です。蠢いている は異なり、トークン 蠢い の原形は lemmatize が有効なら 蠢く、無効なら 蠢い です。

短い定義は用語集を、オプションの一覧は JavaScript API リファレンス を参照してください。