Python CLI
Python ホイールをインストールすると、解析とタグ抽出を行う suzume コマンドが追加されます。Python API と同じ同梱ネイティブライブラリおよび辞書を使います。
インストール
pip install suzumeコマンドの対応環境は Python パッケージと同じです。Linux x86_64(manylinux2014 / manylinux_2_17)と、macOS 11 以降の macOS arm64 で使えます。詳しい互換性一覧は Python バインディング を参照してください。
入力
引数でテキストを渡すか、UTF-8 テキストを標準入力に流します。
suzume "東京へ行く"
printf 'りんごを食べる\n' | suzume引数でテキストを渡すと、CLI は引数を半角スペース 1 つで連結します。引数がなく非対話的な標準入力がある場合は、1 つの文書として読み込みます。先頭の UTF-8 BOM と末尾の LF 1 個(または CRLF)を取り除き、途中の改行は保持します。
analyze は省略可能な別名です。次の 2 つのコマンドは同じ動作です。
suzume --mode search "東京の公園"
suzume analyze --mode search "東京の公園"ハイフンで始まる入力や、analyze、version、help と完全に一致する入力の前には -- を置いてください。この 3 語は -- より前の最初のオペランドにあるとコマンドとして解釈されます。-- より後のオペランドはすべてテキストとして扱われます。
オペランドがなく、標準入力が対話的な端末の場合は、標準エラー出力に suzume: error: no input text provided を出力し、終了ステータスは 2 になります。空のオペランド("")を明示した場合や、標準入力が空か改行のみの場合は、何も出力せず、終了ステータスは 0 になります。
出力形式
-f または --format で出力形式を選びます。
| 形式 | 出力 |
|---|---|
tsv | 既定。表層形 TAB 品詞 TAB 原形 TAB 開始位置 TAB 終了位置 |
tags | 1 行につき タグ TAB 品詞 |
json | input、normalized_text、morphemes を持つオブジェクト(JSON とオフセットを参照) |
chasen | ChaSen 風フィールド(表層形、*、原形、日本語の品詞、活用型、活用形)。末尾に EOS を出力。活用型と活用形の列は、トークンがその値を持つときだけ値が入ります。値を持てるのは VERB、ADJ、AUX のトークンだけで(美しい は活用形だけを持ち、活用型は持ちません)、それ以外は * です |
suzume --format json "ABCを検索"
suzume --format chasen "食べている"
suzume --format tags "東京の公園に行く"1 行形式の TAB 出力に含まれるバックスラッシュ、タブ、改行はエスケープされます。
解析オプション
| オプション | 説明 |
|---|---|
-m, --mode MODE | normal、search、split の分割モードを使用 |
--no-preserve-vu | ヴ行をバ行に畳み込みます(ヴァイオリン → バイオリン)。既定では保持します |
--no-preserve-case | ASCII 英字を小文字に変換 |
--preserve-symbols | 句読点などの SYMBOL を保持。内容を持つ記号と絵文字は設定にかかわらず OTHER として保持 |
--no-lemmatize | 解析後の原形補正をせず、元の原形のまま残します。品詞と活用情報は変わりません(詳細) |
--merge-compounds | 連続する名詞複合語を結合 |
--skip-env-config | スコアラー設定用の環境変数を無視 |
suzume --mode split --no-preserve-case "ABCと東京都"
suzume --no-preserve-vu --preserve-symbols "ヴァイオリン、ビオラ"通貨・単位記号、矢印、技術記号、絵文字は、既定でも OTHER として残ります。--preserve-symbols を指定すると、、 や 。 など句読点系のトークンも加わります。
値を取る長いオプションは --option value と --option=value のどちらの形でも指定できます。短いオプションの値は別の引数として渡します(-d PATH)。-dPATH のように値を続けて書く形は未知のオプションになります。値を取るオプションは、後ろの引数が - で始まり 2 文字以上のとき、それを値として消費しません。suzume: error: missing value for <入力どおりのオプション> を出力して終了ステータス 2 で終了します。単独の - は有効な値です。ハイフンで始まる値を渡すには、長いオプションで --option=value と書きます。
現在のオプション一覧は suzume --help で確認できます。suzume --version、suzume -v、suzume version はいずれも、suzume <version> の 1 行を出力して終了ステータス 0 で終了します。後ろに他の引数があっても同じです。行内のほかの場所に使い方の誤りがあれば、そちらが先に報告され、終了ステータスは 2 になります。
辞書
-d または --dictionary で UTF-8 テキスト辞書やコンパイル済み .dic ファイルを読み込みます。このオプションは複数回指定できます。
suzume --dictionary terms.tsv --dictionary names.dic "東京スカイツリーへ行く"| オプション | 説明 |
|---|---|
-d, --dictionary PATH | テキスト辞書またはコンパイル済み .dic 辞書を読み込み。複数指定可 |
--skip-core-dictionary | 同梱コア辞書を読み込まない |
--skip-bundled-user-dictionary | 同梱ユーザー辞書を読み込まない。-d で指定した辞書は読み込まれる |
解析器の作成時と、-d で辞書を読み込むたびに発生した警告は、warning: <テキスト> の形式で標準エラー出力へ書き込まれます。例: warning: Skipped dictionary record at line 1: missing POS field。辞書を読み込めない場合は、suzume: error: failed to load dictionary: <パス>: <ライブラリのメッセージ> を出力して終了ステータス 1 で終了します。ファイルのバイト列はそのままライブラリに渡されるため、UTF-8 でないソースでは suzume: error: failed to load dictionary: <パス>: Dictionary entry is not valid UTF-8 at line 1 と報告されます。行番号は最初の不正なエントリのものです。
タグ出力
キーワードタグを生成するには --format tags を選びます。
suzume --format tags --tag-max-tags 5 "東京都の天気予報を確認する"| オプション | 既定値 | 説明 |
|---|---|---|
--tag-pos-filter NAME | すべて | 1 つの品詞を残す。複数指定可 |
--tag-exclude-basic | 無効 | 原形がひらがなのみのタグを除外 |
--tag-no-use-base-form | 無効 | 原形ではなく表層形を使用 |
--tag-min-length N | 2 | タグの最小文字数を指定(0 から 4294967295) |
--tag-max-tags N | 0 | タグ件数を制限(0 は無制限。0 から 4294967295) |
--tag-no-exclude-particles | 無効 | 助詞を残す |
--tag-no-exclude-auxiliaries | 無効 | 助動詞を残す |
--tag-no-exclude-formal-nouns | 無効 | 形式名詞を残す |
--tag-no-exclude-low-info | 無効 | 低情報量の語を残す |
--tag-no-remove-duplicates | 無効 | 重複タグを残す |
--tag-pos-filter に指定できるのは NOUN、VERB、ADJ、ADV、PARTICLE、AUX で、大文字・小文字を区別します。それ以外の名前は使い方の誤りです。NOUN は代名詞も含みます。品詞名を指定するとその品詞が結果に含まれるので、--tag-pos-filter PARTICLE だけで助詞が返り、--tag-no-exclude-particles は不要です。
--tag-min-length または --tag-max-tags に 4294967295 を超える値を指定すると、suzume: error: invalid --tag-min-length value: X(または --tag-max-tags)を出力して終了ステータス 2 で終了します。
tags 以外の形式と一緒に --tag-* フラグを指定すると使い方の誤りになり、suzume: error: --tag-* options require -f tags を出力して終了ステータス 2 で終了します。-f tags でタグが 1 つもない場合は、何も出力せず終了ステータス 0 で終了します。
suzume --format tags \
--tag-pos-filter NOUN \
--tag-pos-filter VERB \
--tag-min-length 1 \
"本を読む"JSON とオフセット
トークンの start と end は正規化後テキスト上の Unicode コードポイントオフセットであり、元の入力上の位置とは限りません。詳しくはオフセットを参照してください。JSON 出力には、その正規化後テキストが normalized_text として含まれます。morphemes の各要素は次のキーを持ちます。
| キー | 値 |
|---|---|
surface | 表層形 |
pos | 英語の品詞 |
base_form | 原形 |
pos_ja | 日本語の品詞 |
conj_type、conj_form | VERB、ADJ、AUX の活用型と活用形。ない場合は null |
extended_pos | 拡張品詞コード |
start、end | normalized_text 上のコードポイントオフセット |
is_user_dict、is_formal_noun、is_low_info、is_unknown、is_from_dictionary | Python の Morpheme と同じ真偽値フラグ |
score | 解析器がトークンに付けたコスト。小さいほど尤もらしく、入力が異なる場合は比較できない |
キーは surface、pos、base_form、pos_ja、conj_type、conj_form、extended_pos、start、end、is_user_dict、is_formal_noun、is_low_info、is_unknown、is_from_dictionary、score の順に出力されます。
suzume --no-preserve-case --format json "ABCを検索"正規化で入力が変わることがあるため、オフセットで文字列を切り出すなら JSON 出力を使ってください。
Python オプションとの対応
各フラグは、Python API の対応する Suzume() または generate_tags() のオプションを設定します。既定値を打ち消すフラグは no を付けて表します。
| フラグ | Python のオプション |
|---|---|
-m, --mode | mode |
--no-preserve-vu | preserve_vu=False |
--no-preserve-case | preserve_case=False |
--preserve-symbols | preserve_symbols=True |
--no-lemmatize | lemmatize=False |
--merge-compounds | merge_compounds=True |
--skip-core-dictionary | skip_core_dictionary=True |
--skip-bundled-user-dictionary | skip_bundled_user_dictionary=True |
--skip-env-config | skip_env_config=True |
-d, --dictionary | テキストは load_user_dictionary()、.dic で終わるパスは load_binary_dictionary() |
--tag-pos-filter | pos_filter |
--tag-exclude-basic | exclude_basic=True |
--tag-no-use-base-form | use_base_form=False |
--tag-min-length、--tag-max-tags | min_length、max_tags |
--tag-no-exclude-particles、--tag-no-exclude-auxiliaries、--tag-no-exclude-formal-nouns、--tag-no-exclude-low-info | 対応する exclude_*=False |
--tag-no-remove-duplicates | remove_duplicates=False |
環境変数
このコマンドは、次の環境変数をネイティブライブラリ経由で読み取ります。--skip-env-config を指定すると、スコアラー用の変数は無視されます。
| 変数 | 効果 |
|---|---|
SUZUME_SCORER_CONFIG | スコアラーオプションを上書きする JSON ファイルのパス |
SUZUME_SCORER_{SECTION}_{KEY} | スコアラーオプションを 1 つ上書きします。SECTION は JOIN、SPLIT、UNARY、BIGRAM、VERB、INFL のいずれか、KEY はオプションのフィールド名です |
SUZUME_LIB_PATH | ホイール内のものではなく、このパスの共有ライブラリを読み込みます |
インストール済みのホイールは、同梱辞書を常にパッケージのディレクトリから読み込みます。SUZUME_DATA_DIR や ~/.suzume は参照されず、データディレクトリを指定するフラグもありません。
対象範囲
Python の suzume コマンドが扱うのは解析とタグ抽出です。辞書のコンパイルや検証、ネイティブのテストやベンチマークは実行できません。
これらの開発者向け処理には、別途ビルドする suzume-cli を使います。ネイティブ CLI リファレンス と ネイティブビルド を参照してください。
関連ページ
- Python バインディング — Python API と配布環境の詳細。
- インストール — 利用できるすべてのパッケージとネイティブビルド。