0.10 への移行
Suzume 0.10.0 では、すべてのバインディングの公開インターフェースを一度に変更します。旧名は別名としても残りません。ほとんどは名前の変更なので、コンパイル時や import 時にエラーになります。全サーフェス共通の変更 にあるものは名前が同じまま動作が変わるので、先に確認してください。
全サーフェス共通の変更
| 変更前 | 変更後 | 理由 |
|---|---|---|
品詞フィルターに PARTICLE(または AUX)を指定しても、助詞(または助動詞)は既定で除外されるため何も返らない | フィルターで指定した品詞は返る。助詞と助動詞の除外は、フィルターで指定していない品詞にだけ適用される | 助詞を指定したフィルターは助詞を返すべきだから |
品詞フィルター名 noun、adjective、adverb、auxiliary | NOUN、VERB、ADJ、ADV、PARTICLE、AUX のみ。大文字と小文字を区別し、旧名を渡すと呼び出し全体が失敗する | 出力に表示されるラベルでそのまま絞り込めるようにするため |
ネイティブのエラー文が suzume_analyze: invalid UTF-8 input のように C の関数名で始まる | 接頭辞を外し invalid UTF-8 input にする | 呼び出し側に見せるのは失敗の内容で、C の入口ではないため。判定にはエラーコードを使う |
| 解放後の呼び出しのメッセージとコードがバインディングごとに違う | npm と Python で Suzume instance has been released、コード InvalidInput に統一 | 同じ状況には同じメッセージとコードを返すため |
オプション名やフラグ名の lemma と、修飾のない「user dictionary」 | 「base form」と「bundled user dictionary」 | 1 つの概念に 1 つの用語を使うため。原形と、パッケージに同梱された辞書を指す |
「とか」「だの」「やら」は PART_副、「で」「だっ」は AUX_断定。カタカナや仮名書きの語に続く「屋」「代」は名詞の中に含まれる | PART_列挙、AUX_断定連用 になる。「屋」「代」は SUFFIX_造語 の別トークンになる。大分類の品詞は変わらない | それぞれ接続の規則が異なるため。新しいラベルを受け入れるか、細分類を問わない箇所では大分類の pos で判定する |
スコアラーオプションに unary.particle_prior、unary.aux_prior、unary.pronoun_prior を指定できる | キーを削除し、他の未知キーと同じく失敗する。npm と Python は SuzumeError(Parse、operation は create)で invalid scorer options: Unknown scorer option: unary.particle_prior。SUZUME_SCORER_CONFIG のファイルに含まれていれば、ファイル全体が警告付きで無視される。SUZUME_SCORER_UNARY_PARTICLE_PRIOR などは Unknown scorer environment variable の警告になる | スコアラーが読んでおらず、指定しても効果がなかったため。削除しても結果は変わらない |
npm
| 変更前 | 変更後 | 理由 |
|---|---|---|
import Suzume from '@libraz/suzume' | import { Suzume } from '@libraz/suzume'。default export は削除 | import の書き方を 1 つにするため |
suzume.version ゲッター | await version() | バージョンの取得方法を 1 つにするため |
boolean を返す loadUserDictionary()、loadUserDictionaryCount()、loadUserDictionaryOrThrow() | loadUserDictionary(tsv): number。登録したエントリ数を返し、失敗時は SuzumeError を投げる | 形式ごとに読み込みメソッドを 1 つにし、失敗を必ずエラーにするため |
boolean を返す loadBinaryDictionary()、loadBinaryDictionaryOrThrow() | loadBinaryDictionary(bytes): number。テキスト版と同じ契約 | テキスト版と揃えるため |
loadUserDictionary() は文字列だけを受け取る | 文字列か Uint8Array を受け取る。UTF-8 でないバイト列は Dictionary entry is not valid UTF-8 at line N(ErrorCode.Parse)で失敗し、それ以外の値は invalid dictionary: <value> (expected a string or binary data) を投げる | バイト列として読んだファイルをそのままライブラリに渡せるようにするため |
lastError、lastErrorCode | 削除。投げられた SuzumeError の error.message と error.code を読む | エラーは例外で届くので、直前のエラー状態を持たないため |
TagOptions.pos | 削除。posFilter を使う | フィルターの名前を 1 つにするため |
posFilter: ['noun', 'adjective'] | posFilter: ['NOUN', 'ADJ']、または単独の名前 posFilter: 'NOUN' | Morpheme.pos と同じラベルを使うため |
型 TagPosFilterName('noun' | 'verb' | 'adjective' | 'adverb' | 'particle' | 'auxiliary') | 削除。TagPosLabel('NOUN' | 'VERB' | 'ADJ' | 'ADV' | 'PARTICLE' | 'AUX')を使う | フィルターが受け付ける名前を型で示すため |
useLemma | useBaseForm | 原形を指す用語を 1 つにするため |
skipUserDictionary | skipBundledUserDictionary | 読み飛ばすのは同梱の user.dic だけで、読み込んだ辞書は有効なままだから |
ネイティブ側の失敗で Suzume analyze failed: <native text> を投げる | メッセージはネイティブの文のまま。呼び出し名は SuzumeError.operation(create、analyze、generate_tags、load_user_dictionary など)で分かる | 文面をバインディング間で揃え、分岐は code と operation で行うため |
不正なオプションは通常の Error、対になっていないサロゲートは InvalidUtf8 の SuzumeError を投げる | code === ErrorCode.InvalidInput の SuzumeError。例:invalid mode: "fast" (expected one of: normal, search, split) | 不正な入力のエラー型を 1 つにし、文面を Python と揃えるため。instanceof SuzumeError でこれらも捕まるので、code を確認する |
| 真偽値オプションを真偽性で変換する | 真偽値以外は invalid <name>: <value> (expected a boolean) を投げる | preserveVu: "false" が true として扱われないようにするため |
NaN、±Infinity、undefined を含む scorerOptions オブジェクトは JSON.stringify で書き換えられる | どの深さにあっても invalid scorer_options: not serializable as JSON を投げる。不正な JSON 文字列は ErrorCode.Parse(操作 create)で失敗する | ライブラリが読めない値は、黙って null にせずエラーにするため |
destroy() 後の呼び出しで通常の Error('Suzume instance has been destroyed') を投げる | SuzumeError、InvalidInput、Suzume instance has been released | ほかの失敗と同じように捕まえられるようにするため |
| WASM の読み込みに失敗するとローダー自身のエラーで reject する | SuzumeError(コード Internal、operation create)で reject し、元のエラーを cause に入れる | Suzume.create() が reject するエラー型を 1 つにするため |
ErrorCode が TypeScript の enum で、ErrorCode[1] で名前を引ける | ErrorCode は const オブジェクト。逆引きはできない。ErrorCode.Unknown = 255 を追加 | ErrorCode.InvalidUtf8 はそのまま使える。255 はバインディングが知らないネイティブコードを表す |
| 結果の型が変更可能 | readonly フィールド、readonly Morpheme[]、readonly Tag[](型レベルのみ) | 結果は値として扱うため。結果を書き換えるコードは型検査で失敗する |
追加:RuntimeOptions { wasmPath?, freshWasmModule? } が名前付きの型になります(create(options?: SuzumeOptions & RuntimeOptions)、version(options?: RuntimeOptions))。AnalysisMode、PosLabel、TagPosLabel、SuzumeOperation が export され、Morpheme.pos と Tag.pos の型は PosLabel になります。
Python
| 変更前 | 変更後 | 理由 |
|---|---|---|
load_user_dict() | load_user_dictionary()。登録したエントリ数を返す | ほかのバインディングと同じく名詞を省略しないため |
None を返す load_binary_dict() | load_binary_dictionary()。登録したエントリ数を返す | テキスト版と同じ契約にするため |
load_user_dict() は str だけを受け取る | load_user_dictionary() は str、bytes、bytearray、memoryview を受け取る。UTF-8 でないバイト列は SuzumeError(PARSE、Dictionary entry is not valid UTF-8 at line N)、それ以外の値は ValueError invalid dictionary: <value> (expected a string or binary data) になる | バイト列をそのままライブラリに渡せるようにするため |
use_lemma | use_base_form | 原形を指す用語を 1 つにするため |
skip_user_dictionary | skip_bundled_user_dictionary | 読み飛ばすのは同梱の user.dic だけだから |
pos_filter は int のビットマスクか名前を受け付け、既定値は 0 | 名前のみ。str、または str の list、tuple、set、frozenset。既定値は None | Morpheme.pos と同じラベルを使うため。pos_filter=0 は不正になる |
不正なモード、品詞名、サイズで、Python の repr を並べた ValueError を送出する | 共通の文面の ValueError。例:invalid min_length: 2.5 (expected an integer from 0 to 4294967295) | npm と同じ文面にするため |
対になっていないサロゲートで SuzumeError(INVALID_UTF8) を送出する | ValueError を送出する | 不正な入力は ValueError にするため。except SuzumeError では捕まらなくなる |
| サイズオプションは浮動小数点数を拒否し、真偽値オプションは任意の値を受け付ける | 2.0 のような整数値の浮動小数点数を受け付け、真偽値以外を拒否する | npm と受け付ける値を揃えるため |
オプションを検査する順序が決まっておらず、pos_filter に渡した set はハッシュ順に検査される | 解放済みの検査、テキスト、C 構造体のフィールド順のオプションの順に検査する(npm と同じ)。set はソート順に検査する | 報告されるオプションが引数やハッシュの順序に左右されないようにするため |
インストールした wheel が SUZUME_DATA_DIR や ~/.suzume の辞書を読むことがある | パッケージディレクトリに同梱した辞書だけを読み込む。data_directory 引数はない | インストールしたパッケージがどの環境でも同じ動作をするようにするため |
close() 後の呼び出しで SuzumeError(INTERNAL, "...closed") を送出する | SuzumeError(INVALID_INPUT, "Suzume instance has been released") | 閉じたインスタンスの呼び出しは内部エラーではなく呼び出し側の誤りだから |
analyze()、generate_tags()、AnalysisResult.morphemes、dictionary_warnings が list を返す | tuple を返す | 結果を変更できない値にするため |
結果の dataclass が位置引数を受け付け、__dict__ を持つ | frozen、slots、キーワード専用。Tag("x", "NOUN")、__dict__ へのアクセス、サブクラスで足した属性は失敗する | オブジェクトを小さくし、形を固定するため |
追加:SuzumeError.operation、ErrorCode.UNKNOWN = 255、suzume.__version__。
C++
| 変更前 | 変更後 | 理由 |
|---|---|---|
suzume::Tokenizer tokenizer;/Tokenizer(options) と valid() | auto tokenizer = suzume::Tokenizer::create(options); が Expected<Tokenizer> を返す | 生成は失敗しうるので、失敗を結果に含めるため |
analyze、analyzeWithNormalizedText、generateTags は失敗時に空の結果を返す | Expected<T> を返す。error() は Error { ErrorCode code; std::string message; std::string operation; } を持つ | 空の結果と失敗を区別するため |
静的メンバーの Tokenizer::lastError()/lastErrorCode() | 削除。enum class ErrorCode に Unknown を含む | エラーを共有状態ではなく結果と一緒に渡すため |
bool を返す loadUserDictionary()、loadUserDictionaryCount()、bool を返す loadBinaryDictionary(ptr, size)、bool を返す clearUserDictionaries() | Expected<std::size_t> loadUserDictionary(std::string_view)、Expected<std::size_t> loadBinaryDictionary(std::string_view bytes)、Expected<void> clearUserDictionaries() | 形式ごとに読み込みメソッドを 1 つにし、エントリ数を返すため |
TagOptions::pos_filter が uint8_t のビットマスク | std::vector<TagPos>。enum class TagPos { Noun, Verb, Adj, Adv, Particle, Aux } | ビットではなく名前付きの値にするため |
Morpheme::lemma | 削除。base_form を使う | 原形の名前を 1 つにするため |
該当しないときの conj_type/conj_form は "" | std::optional<std::string> | 「該当なし」を明示するため |
setMode() が bool を返す | Expected<void> を返す。mode() と hasCoreDictionary() は noexcept | ほかのメンバーと同じエラーモデルにするため |
Tokenizer::version() | 自由関数 suzume::version() | バージョンはインスタンスではなくライブラリのものだから |
TagOptions::use_lemma、Options::skip_user_dictionary | use_base_form、skip_bundled_user_dictionary | ほかのバインディングと同じ名前にするため |
generateTags(text) と generateTags(text, opts) | generateTags(text, const TagOptions& = {}) の 1 つ | オーバーロードを 1 つにするため |
Options::scorer_options_json | Options::scorer_options(JSON テキスト) | 文字列であることは型で分かるため |
エラーを持つ Expected に対して value()、*、-> を呼ぶと std::abort() が呼ばれます。先に has_value() か operator bool で確認してください。ヘッダーは -fno-exceptions でもビルドできます。ヘッダーとライブラリの ABI リビジョンが一致しない場合、Tokenizer::create() は Internal エラーを返します。
C ABI
SUZUME_ABI_VERSION は 1 から 2 に上がります。0.10 のヘッダーで再ビルドしてください。0.9 のヘッダーでビルドしたプログラムは 0.10 のライブラリでは動きません。
| 変更前 | 変更後 | 理由 |
|---|---|---|
suzume_extended_options_t、suzume_init_extended_options、suzume_create_with_extended_options、suzume_sizeof_extended_options、suzume_offsetof_extended_options | suzume_options_t、suzume_init_options、suzume_create_with_options、suzume_sizeof_options、suzume_offsetof_options | オプション構造体は 1 つしかないので修飾が要らないため |
int suzume_load_user_dict()、size_t suzume_load_user_dict_count()、int suzume_load_binary_dict() | size_t suzume_load_user_dictionary(h, data, size)、size_t suzume_load_binary_dictionary(h, data, size)。戻り値は登録したエントリ数で、0 は失敗 | 形式ごとに読み込み関数を 1 つにし、どちらもエントリ数を返すため |
suzume_tag_options_t.use_lemma | use_base_form(レイアウトは不変) | 原形を指す用語を 1 つにするため |
suzume_options_t.skip_user_dictionary | skip_bundled_user_dictionary(レイアウトは不変) | 読み飛ばすのは同梱の user.dic だけだから |
ラベル関数が、該当なしや範囲外のコードで NULL を返す | NULL を返さない。suzume_pos_label は "OTHER"、suzume_extended_pos_label は "UNKNOWN"、活用ラベル関数は "" を返す | ラベルを常に表示できるようにするため。不正な値と本来の OTHER を区別するときはコードを比べる |
| エラー文が関数名で始まる | suzume_<name>: の接頭辞を外す | 全サーフェス共通の変更 を参照 |
名前は変わらず、仕様を明文化したもの:4 つの suzume_generate_tags* 関数は名前を維持し、_with_options の 2 関数で options に NULL を渡すと既定値になります。pos_filter のビット n は品詞コード n+1 を選び、0 以外の pos_filter は許可リストとして働きます。未知のビットは何も選ばないので、未知のビットだけのマスクではタグが 1 つも出ません。追加:suzume_mode_t と suzume_tag_pos_t の typedef、offsetof 関数用の SUZUME_*_FIELD_* インデックス列挙、suzume_pos_label_ja()。
コマンドラインツール
Python の suzume コマンドとネイティブの suzume-cli は同じフラグを使います。フラグはオプション名のケバブケースです。既定値が true のオプションは --no-<name> で無効にし、タグ用オプションは --tag- で始まります。
| 変更前 | 変更後 | 理由 |
|---|---|---|
--normalize-vu | --no-preserve-vu | オプション名 preserve_vu に合わせるため |
--lowercase | --no-preserve-case | preserve_case に合わせるため |
--no-core-dict | --skip-core-dictionary | skip_core_dictionary に合わせるため |
--no-user-dict | --skip-bundled-user-dictionary | skip_bundled_user_dictionary に合わせるため |
--dict PATH | --dictionary PATH(-d は不変) | 1 つの概念に 1 つの名詞を使うため |
--include-particles、--include-auxiliaries、--include-formal-nouns、--include-low-info | --tag-no-exclude-particles、--tag-no-exclude-auxiliaries、--tag-no-exclude-formal-nouns、--tag-no-exclude-low-info | タグ用オプション exclude_* に合わせるため |
--tag-keep-duplicates | --tag-no-remove-duplicates | remove_duplicates に合わせるため |
--tag-use-surface | --tag-no-use-base-form | use_base_form に合わせるため |
--tag-pos noun | --tag-pos-filter NOUN(複数指定可、ラベルは完全一致) | pos_filter とそのラベルに合わせるため |
| 値を取るオプションは、次の引数がフラグでも値として取り込む | - で始まる 2 文字以上の次の引数は値として扱わず、missing value for <option> で終了コード 2。そうした値は長いオプションで --option=value と渡す(- だけは値として扱う) | -d --mode search で --mode という名前のファイルを読まないようにするため |
--tag-min-length と --tag-max-tags は任意の整数を受け付ける | 0 から 4294967295。それより大きい値は invalid --tag-min-length value: X(または --tag-max-tags)で終了コード 2 | バインディングのオプションと範囲を揃えるため |
-f morpheme | 削除。既定の形式は tsv で、同じ列を出力する | 1 つの形式に 2 つの名前があったため |
JSON のキー lemma | base_form。pos_ja、conj_type、conj_form を追加(該当なしは null) | JSON のキーをバインディングのフィールド名に合わせるため |
tags 以外の形式で --tag-* フラグを指定しても無視される | analyze は <prog>: error: --tag-* options require -f tags を出して終了コード 2 で終わる | 効果のないフラグは使い方の誤りだから |
| 入力テキストがないと終了コード 1 | 終了コード 2(no input text provided)。空の引数や空の標準入力は何も出力せず終了コード 0 | 入力がないのは使い方の誤りで、空の入力は正当な入力だから |
ネイティブの test -f FILE と test benchmark -f FILE | --file FILE | -f はどこでも出力形式を表すようにするため |
| 辞書の読み込みに失敗したときのメッセージが CLI ごとに違う | <prog>: error: failed to load dictionary: <path>: <native text>、終了コード 1 | 両ツールでメッセージの形を揃えるため |
ネイティブの --version が説明の行も出力する | <prog> <version> の 1 行 | 両ツールで同じ出力にするため |
Python の suzume --version extra と suzume version extra は終了コード 2 で終わる | suzume-cli と同じく、バージョンを出力して終了コード 0 で終わる。同じ行のほかの箇所に使い方の誤りがあれば、先にそちらで終了コード 2 になる | 両ツールで解析を揃えるため |
Python の suzume はオペランドのどこにあってもコマンド語として読む | コマンド語として読むのは最初のオペランドだけ。suzume version はバージョンを出力し、suzume 東京 version は 東京 version を解析する | コマンド語を含むテキストをテキストとして扱うため |
Python の suzume -d FILE はファイルをデコードしてから読み込む | バイト列のままライブラリに渡すので、UTF-8 でないファイルは failed to load dictionary: FILE: Dictionary entry is not valid UTF-8 at line N で終了コード 1 | suzume-cli と同じメッセージにするため |
| 2 つの CLI でヘルプの書き方が違う | 共通のフラグについては、どちらも同じオプション表、Output Formats の一覧、注記を出力する。suzume-cli は開発用フラグと Commands、Examples、Environment の節を加える | 1 つのフラグに 1 つの説明を使うため |
Python の suzume は -dPATH や -fjson のように短いオプションに値を続けて書ける | 未知のオプションとして終了コード 2。-d PATH、-f json、または --dictionary=PATH と書く(長いオプションは --option=value のまま使える) | 両ツールで解析を揃えるため |
不正な値のエラーが (expected normal, search, or split) の形 | invalid mode: fast (expected one of: normal, search, split)。-f と --tag-pos-filter も同じ形 | バインディングのオプションエラーと同じ文言にするため |
suzume-cli の error:、warning:、info: に続くメッセージが大文字で始まる | 小文字で始まる。例:info: loaded dictionary: PATH | すべてのメッセージを同じ書き方にするため |
ネイティブ CLI は -d のファイルの警告を出さない。Python CLI は、-f chasen の活用列を値があれば常に埋める | どちらも -d の読み込みごとに辞書の警告を出す。-f chasen は VERB、ADJ、AUX のときだけ活用列を埋め、それ以外は * を出す | 両ツールで同じ出力にするため。chasen 形式の読み手は * を活用しない語として扱う |
suzume-cli のサブコマンドも次のように変わります。
dict interactiveとdict editは削除され、unknown dict subcommand: Xで終了コード 2 になります。dict -iか、その長い形のdict --interactiveを使ってください。test、dict、dict compileの使い方の誤りは、終了コード 1 ではなく 2 になります。I/O の失敗、パースとコンパイルの失敗、ファイルの上書き拒否は引き続き 1 です。- 値のエラーはフラグ名を示します:
invalid --pos value: X、invalid --limit value: X、invalid --iterations value: X(--samplesと--warmupも同様)。対話モードのaddとupdateの位置引数の品詞はinvalid POS: Xのままです。 dict list、対話モードのlist、test benchmarkは、=の形に加えて--pos NOUN、--limit 10、--iterations 1000も受け付けます。- 上の値の規則は
testとdictにも当てはまります。--expect -tagはmissing value for --expectで終了コード 2 になるので、--expect=-tagと書いてください。
辞書ファイル
ソースの行形式は surface<TAB>POS[<TAB>conj_type][<TAB>base_form] です。以下の旧形式はこれまで受け付けていましたが、すべてのローダーと suzume-cli dict compile、dict validate でパースエラーになります。Used legacy TSV layout の警告はなくなります。
| 変更前 | 変更後 | 理由 |
|---|---|---|
| 読みと数値のコストを第 4 列に持つ旧 TSV | Removed legacy TSV layout at line N: column 4 is a numeric cost; rows are surface, POS[, conj_type][, base_form] | コスト列はマッチングに影響していなかったため |
| 数値の第 3 列を黙って捨てる | Removed cost column at line N: column 3 is numeric; rows are surface, POS[, conj_type][, base_form]。数値の原形は、第 3 列を空にして第 4 列に書く | 値を黙って捨てると誤りが隠れるため |
| カンマ区切りの行 | Removed legacy CSV layout at line N; use tab-separated rows | 区切り文字を 1 つにするため |
引用符の閉じていないフィールドは Invalid legacy CSV quoting at line N: <detail> で失敗する | Invalid quoting at line N: <detail> | CSV 形式はもう存在しないため |
品詞の列は、長い名前、日本語名、SYM、PHRASE を含むすべての表記を引き続き受け付けます。
ソース辞書を移行するときは suzume-cli dict validate を実行してください。実行時の読み込みでも、表層形と原形の長さは UTF-8 で 255 バイト以下に制限され、表層形に NUL バイトを含めると拒否されます。読み込みやコンパイルの前に、検証で該当するソースの行番号を確認できます。実行時にすべてのエントリをスキップすると、Dictionary source contains no loadable entries になります。
Go
現在の go-suzume モジュールはこれらの API 変更に対応し、プログラムの起動時に C ABI のリビジョンを確認します。新しいチェックアウトでは make lib が固定された Suzume のコアと辞書をビルドします。コアを更新した後は、Go のチェックアウトで make lib、利用側のモジュールで go build -a を実行してください。ヘッダーとリンクしたライブラリが食い違うと、起動時に suzume: C ABI mismatch: …; run 'make lib' to rebuild で panic します。
| 変更前 | 変更後 | 理由 |
|---|---|---|
3 フィールドの Options と NewWithOptions(Options)。ExtendedOptions、DefaultExtendedOptions()、NewWithExtendedOptions() | すべてのフィールドを持つ 1 つの Options、DefaultOptions()、NewWithOptions(opts Options) (*Suzume, error)。Options のゼロ値は既定値ではない | オプションの型を 1 つにするため |
Analyze、AnalyzeWithNormalizedText、GenerateTags、GenerateTagsWithOptions は結果だけを返す | error も返す | 失敗と空の結果を区別するため |
LoadUserDictionary と LoadBinaryDictionary は error を返す。LoadUserDictionaryCount | どちらも登録したエントリ数とともに (int, error) を返す。LoadUserDictionaryCount は削除 | 形式ごとにローダーを 1 つにし、件数を返すため |
LastError()、LastErrorCode() | 削除。返された *Error を調べる | エラーは結果と一緒に返るため |
Error.Message は操作名とネイティブのテキストを operation: text の形でつなぐ | *Error は Code、Op、Message を持つ。Message はネイティブのテキストそのままで、ライブラリがテキストを返さないときは <op> failed | ほかのバインディングと同じテキストにするため。分岐には Code と Op を使う |
| 閉じたインスタンスの呼び出しは Go 独自のエラーで失敗する | ErrorCodeInvalidInput、Suzume instance has been released。errors.Is(err, suzume.ErrClosed) が true になる | 1 つの状況に 1 つのメッセージとコードを使うため |
範囲外の MinLength と MaxTags は丸められる | invalid min_length: -1 (expected an integer from 0 to 4294967295)(max_tags も同様)。不正なモードや品詞マスクも同じ形で失敗する | npm や Python と同じ検証とテキストにするため |
TagOptions.UseLemma、Options.SkipUserDictionary、Options.ScorerOptionsJSON | UseBaseForm、SkipBundledUserDictionary、ScorerOptions | ほかのバインディングと同じ名前にするため |
TagOptions.POSFilter は uint8 | TagPOS になる。POS* 定数の値は変わらず、POSNoun は代名詞も通す | マスクに名前の付いた型を使うため |
ScorerOptions は unary.particle_prior、unary.aux_prior、unary.pronoun_prior を受け付ける | NewWithOptions() は ErrorCodeParse、Op は create、メッセージは invalid scorer options: Unknown scorer option: unary.particle_prior(ほかの削除キーも該当名を表示)で失敗 | スコアラーがこれらの設定を読んでいなかったため |
| 実行時の辞書読み込みで NUL を含む表層形や 255 バイトを超える原形を受け付ける | 表層形と原形を UTF-8 で 255 バイト以下に制限し、表層形の NUL を拒否。一部の行を読み込んだ場合は件数を返して警告を追加。空でないソースに読み込み可能なエントリがない場合は ErrorCodeParse、Op load_user_dictionary、Dictionary source contains no loadable entries を返す | ソース辞書の検証と合わせるため |
追加:ErrorCodeUnknown(255)と ErrClosed。AnalysisMode は uint8 になり、定数の値は変わりません。