Skip to content

Python CLI ​

Python ホイールをインストールすると、解析とタグ抽出を行う suzume コマンドが追加されます。Python API と同じ同梱ネイティブライブラリおよび辞書を使います。

インストール ​

bash
pip install suzume

コマンドの対応環境は Python パッケージと同じです。Linux x86_64(manylinux2014 / manylinux_2_17)と、macOS 11 以降の macOS arm64 で使えます。詳しい互換性一覧は Python バインディング を参照してください。

入力 ​

引数でテキストを渡すか、UTF-8 テキストを標準入力に流します。

bash
suzume "東京へ行く"
printf 'りんごを食べる\n' | suzume

引数でテキストを渡すと、CLI は引数を半角スペース 1 つで連結します。引数がなく非対話的な標準入力がある場合は、1 つの文書として読み込みます。先頭の UTF-8 BOM と末尾の LF 1 個(または CRLF)を取り除き、途中の改行は保持します。

analyze は省略可能な別名です。次の 2 つのコマンドは同じ動作です。

bash
suzume --mode search "東京の公園"
suzume analyze --mode search "東京の公園"

ハイフンで始まる入力や、analyze、version、help と完全に一致する入力の前には -- を置いてください。この 3 語は -- より前の最初のオペランドにあるとコマンドとして解釈されます。-- より後のオペランドはすべてテキストとして扱われます。

オペランドがなく、標準入力が対話的な端末の場合は、標準エラー出力に suzume: error: no input text provided を出力し、終了ステータスは 2 になります。空のオペランド("")を明示した場合や、標準入力が空か改行のみの場合は、何も出力せず、終了ステータスは 0 になります。

出力形式 ​

-f または --format で出力形式を選びます。

形式出力
tsv既定。表層形 TAB 品詞 TAB 原形 TAB 開始位置 TAB 終了位置
tags1 行につき タグ TAB 品詞
jsoninput、normalized_text、morphemes を持つオブジェクト(JSON とオフセットを参照)
chasenChaSen 風フィールド(表層形、*、原形、日本語の品詞、活用型、活用形)。末尾に EOS を出力。活用型と活用形の列は、トークンがその値を持つときだけ値が入ります。値を持てるのは VERB、ADJ、AUX のトークンだけで(美しい は活用形だけを持ち、活用型は持ちません)、それ以外は * です
bash
suzume --format json "ABCを検索"
suzume --format chasen "食べている"
suzume --format tags "東京の公園に行く"

1 行形式の TAB 出力に含まれるバックスラッシュ、タブ、改行はエスケープされます。

解析オプション ​

オプション説明
-m, --mode MODEnormal、search、split の分割モードを使用
--no-preserve-vuヴ行をバ行に畳み込みます(ヴァイオリン → バイオリン)。既定では保持します
--no-preserve-caseASCII 英字を小文字に変換
--preserve-symbols句読点などの SYMBOL を保持。内容を持つ記号と絵文字は設定にかかわらず OTHER として保持
--no-lemmatize解析後の原形補正をせず、元の原形のまま残します。品詞と活用情報は変わりません(詳細)
--merge-compounds連続する名詞複合語を結合
--skip-env-configスコアラー設定用の環境変数を無視
bash
suzume --mode split --no-preserve-case "ABCと東京都"
suzume --no-preserve-vu --preserve-symbols "ヴァイオリン、ビオラ"

通貨・単位記号、矢印、技術記号、絵文字は、既定でも OTHER として残ります。--preserve-symbols を指定すると、、 や 。 など句読点系のトークンも加わります。

値を取る長いオプションは --option value と --option=value のどちらの形でも指定できます。短いオプションの値は別の引数として渡します(-d PATH)。-dPATH のように値を続けて書く形は未知のオプションになります。値を取るオプションは、後ろの引数が - で始まり 2 文字以上のとき、それを値として消費しません。suzume: error: missing value for <入力どおりのオプション> を出力して終了ステータス 2 で終了します。単独の - は有効な値です。ハイフンで始まる値を渡すには、長いオプションで --option=value と書きます。

現在のオプション一覧は suzume --help で確認できます。suzume --version、suzume -v、suzume version はいずれも、suzume <version> の 1 行を出力して終了ステータス 0 で終了します。後ろに他の引数があっても同じです。行内のほかの場所に使い方の誤りがあれば、そちらが先に報告され、終了ステータスは 2 になります。

辞書 ​

-d または --dictionary で UTF-8 テキスト辞書やコンパイル済み .dic ファイルを読み込みます。このオプションは複数回指定できます。

bash
suzume --dictionary terms.tsv --dictionary names.dic "東京スカイツリーへ行く"
オプション説明
-d, --dictionary PATHテキスト辞書またはコンパイル済み .dic 辞書を読み込み。複数指定可
--skip-core-dictionary同梱コア辞書を読み込まない
--skip-bundled-user-dictionary同梱ユーザー辞書を読み込まない。-d で指定した辞書は読み込まれる

解析器の作成時と、-d で辞書を読み込むたびに発生した警告は、warning: <テキスト> の形式で標準エラー出力へ書き込まれます。例: warning: Skipped dictionary record at line 1: missing POS field。辞書を読み込めない場合は、suzume: error: failed to load dictionary: <パス>: <ライブラリのメッセージ> を出力して終了ステータス 1 で終了します。ファイルのバイト列はそのままライブラリに渡されるため、UTF-8 でないソースでは suzume: error: failed to load dictionary: <パス>: Dictionary entry is not valid UTF-8 at line 1 と報告されます。行番号は最初の不正なエントリのものです。

タグ出力 ​

キーワードタグを生成するには --format tags を選びます。

bash
suzume --format tags --tag-max-tags 5 "東京都の天気予報を確認する"
オプション既定値説明
--tag-pos-filter NAMEすべて1 つの品詞を残す。複数指定可
--tag-exclude-basic無効原形がひらがなのみのタグを除外
--tag-no-use-base-form無効原形ではなく表層形を使用
--tag-min-length N2タグの最小文字数を指定(0 から 4294967295)
--tag-max-tags N0タグ件数を制限(0 は無制限。0 から 4294967295)
--tag-no-exclude-particles無効助詞を残す
--tag-no-exclude-auxiliaries無効助動詞を残す
--tag-no-exclude-formal-nouns無効形式名詞を残す
--tag-no-exclude-low-info無効低情報量の語を残す
--tag-no-remove-duplicates無効重複タグを残す

--tag-pos-filter に指定できるのは NOUN、VERB、ADJ、ADV、PARTICLE、AUX で、大文字・小文字を区別します。それ以外の名前は使い方の誤りです。NOUN は代名詞も含みます。品詞名を指定するとその品詞が結果に含まれるので、--tag-pos-filter PARTICLE だけで助詞が返り、--tag-no-exclude-particles は不要です。

--tag-min-length または --tag-max-tags に 4294967295 を超える値を指定すると、suzume: error: invalid --tag-min-length value: X(または --tag-max-tags)を出力して終了ステータス 2 で終了します。

tags 以外の形式と一緒に --tag-* フラグを指定すると使い方の誤りになり、suzume: error: --tag-* options require -f tags を出力して終了ステータス 2 で終了します。-f tags でタグが 1 つもない場合は、何も出力せず終了ステータス 0 で終了します。

bash
suzume --format tags \
  --tag-pos-filter NOUN \
  --tag-pos-filter VERB \
  --tag-min-length 1 \
  "本を読む"

JSON とオフセット ​

トークンの start と end は正規化後テキスト上の Unicode コードポイントオフセットであり、元の入力上の位置とは限りません。詳しくはオフセットを参照してください。JSON 出力には、その正規化後テキストが normalized_text として含まれます。morphemes の各要素は次のキーを持ちます。

キー値
surface表層形
pos英語の品詞
base_form原形
pos_ja日本語の品詞
conj_type、conj_formVERB、ADJ、AUX の活用型と活用形。ない場合は null
extended_pos拡張品詞コード
start、endnormalized_text 上のコードポイントオフセット
is_user_dict、is_formal_noun、is_low_info、is_unknown、is_from_dictionaryPython の Morpheme と同じ真偽値フラグ
score解析器がトークンに付けたコスト。小さいほど尤もらしく、入力が異なる場合は比較できない

キーは surface、pos、base_form、pos_ja、conj_type、conj_form、extended_pos、start、end、is_user_dict、is_formal_noun、is_low_info、is_unknown、is_from_dictionary、score の順に出力されます。

bash
suzume --no-preserve-case --format json "ABCを検索"

正規化で入力が変わることがあるため、オフセットで文字列を切り出すなら JSON 出力を使ってください。

Python オプションとの対応 ​

各フラグは、Python API の対応する Suzume() または generate_tags() のオプションを設定します。既定値を打ち消すフラグは no を付けて表します。

フラグPython のオプション
-m, --modemode
--no-preserve-vupreserve_vu=False
--no-preserve-casepreserve_case=False
--preserve-symbolspreserve_symbols=True
--no-lemmatizelemmatize=False
--merge-compoundsmerge_compounds=True
--skip-core-dictionaryskip_core_dictionary=True
--skip-bundled-user-dictionaryskip_bundled_user_dictionary=True
--skip-env-configskip_env_config=True
-d, --dictionaryテキストは load_user_dictionary()、.dic で終わるパスは load_binary_dictionary()
--tag-pos-filterpos_filter
--tag-exclude-basicexclude_basic=True
--tag-no-use-base-formuse_base_form=False
--tag-min-length、--tag-max-tagsmin_length、max_tags
--tag-no-exclude-particles、--tag-no-exclude-auxiliaries、--tag-no-exclude-formal-nouns、--tag-no-exclude-low-info対応する exclude_*=False
--tag-no-remove-duplicatesremove_duplicates=False

環境変数 ​

このコマンドは、次の環境変数をネイティブライブラリ経由で読み取ります。--skip-env-config を指定すると、スコアラー用の変数は無視されます。

変数効果
SUZUME_SCORER_CONFIGスコアラーオプションを上書きする JSON ファイルのパス
SUZUME_SCORER_{SECTION}_{KEY}スコアラーオプションを 1 つ上書きします。SECTION は JOIN、SPLIT、UNARY、BIGRAM、VERB、INFL のいずれか、KEY はオプションのフィールド名です
SUZUME_LIB_PATHホイール内のものではなく、このパスの共有ライブラリを読み込みます

インストール済みのホイールは、同梱辞書を常にパッケージのディレクトリから読み込みます。SUZUME_DATA_DIR や ~/.suzume は参照されず、データディレクトリを指定するフラグもありません。

対象範囲 ​

Python の suzume コマンドが扱うのは解析とタグ抽出です。辞書のコンパイルや検証、ネイティブのテストやベンチマークは実行できません。

これらの開発者向け処理には、別途ビルドする suzume-cli を使います。ネイティブ CLI リファレンス と ネイティブビルド を参照してください。

関連ページ ​