Clean up result of morphological analyzed data frame
Usage
clean_up(df, add_depend = FALSE, ...)
pos_filter(df)
add_depend_ginza(df)
delete_stop_words(df, use_common_data = TRUE, add_stop_words = NULL, ...)
replace_words(
df,
synonym_df = tibble::tibble(),
synonym_from = "",
synonym_to = "",
...
)
term_lemma(df)
term_pos_0(df)
term_pos_1(df)Arguments
- df
A dataframe including result of morphological analysis.
- add_depend
A logical. Available for ginza
- ...
Extra arguments to internal functions.
- use_common_data
A logical. TRUE: use data(stop_words).
- add_stop_words
A string vector adding into stop words. When use_common_data is TRUE and add_stop_words are given, both of them will be used as stop_words.
- synonym_df
A data.frame including synonym word pairs. The first column: replace from, the second: replace to.
- synonym_from, synonym_to
A string vector. Length of synonym_from and synonym_to should be the same. When synonym_df and synonym pairs (synonym_from and synonym_to) are given, both of them will be used as synonym.
Examples
data(neko_mecab)
data(neko_ginza)
data(review_sudachi_c)
data(synonym)
synonym <-
synonym |> unescape_utf()
neko_mecab <-
neko_mecab |>
unescape_utf() |>
print()
#> # A tibble: 2,884 × 11
#> text_id 表層形 品詞 品詞細分類1 品詞細分類2 品詞細分類3 活用型 活用形 原形
#> <dbl> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr>
#> 1 1 吾輩 名詞 代名詞 一般 * * * 吾輩
#> 2 1 は 助詞 係助詞 * * * * は
#> 3 1 猫 名詞 一般 * * * * 猫
#> 4 1 で 助動詞 * * * 特殊… 連用形 だ
#> 5 1 ある 助動詞 * * * 五段… 基本形 ある
#> 6 1 。 記号 句点 * * * * 。
#> 7 1 名前 名詞 一般 * * * * 名前
#> 8 1 は 助詞 係助詞 * * * * は
#> 9 1 まだ 副詞 助詞類接続 * * * * まだ
#> 10 1 無い 形容詞 自立 * * 形容… 基本形 無い
#> # ℹ 2,874 more rows
#> # ℹ 2 more variables: 読み <chr>, 発音 <chr>
neko_mecab |>
clean_up(use_common_data = TRUE, synonym_df = synonym)
#> # A tibble: 872 × 11
#> text_id 表層形 品詞 品詞細分類1 品詞細分類2 品詞細分類3 活用型 活用形 原形
#> <dbl> <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr>
#> 1 1 猫 名詞 一般 * * * * 猫
#> 2 1 無い 形容… 自立 * * 形容… 基本形 ない
#> 3 2 生れ 動詞 自立 * * 一段 連用形 生れ…
#> 4 2 見当 名詞 サ変接続 * * * * 見当
#> 5 2 つか 動詞 自立 * * 五段… 未然形 つく
#> 6 2 薄暗い 形容… 自立 * * 形容… 基本形 薄暗…
#> 7 2 し 動詞 自立 * * サ変… 連用形 する
#> 8 2 ニャー… 名詞 一般 * * * * *
#> 9 2 泣い 動詞 自立 * * 五段… 連用… 泣く
#> 10 2 いた事 名詞 一般 * * * * いた…
#> # ℹ 862 more rows
#> # ℹ 2 more variables: 読み <chr>, 発音 <chr>
review_ginza |>
unescape_utf() |>
add_sentence_no() |>
clean_up(add_depend = TRUE, use_common_data = TRUE, synonym_df = synonym)
#> Error in dplyr::mutate(tbl, `:=`({ { grp }}, cumsum(eval_str(cond)) + 1)): ℹ In argument: `sentence = cumsum(eval_str(cond)) + 1`.
#> Caused by error in `df$表層形`:
#> ! object of type 'closure' is not subsettable
review_sudachi_c |>
unescape_utf() |>
add_sentence_no() |>
clean_up(use_common_data = TRUE, synonym_df = synonym)
#> Error in dplyr::mutate(tbl, `:=`({ { grp }}, cumsum(eval_str(cond)) + 1)): ℹ In argument: `sentence = cumsum(eval_str(cond)) + 1`.
#> Caused by error in `df$表層形`:
#> ! object of type 'closure' is not subsettable