.. role:: hidden :class: hidden-section torchtext.data.functional =========================== .. automodule:: torchtext.data.functional .. currentmodule:: torchtext.data.functional :hidden:`generate_sp_model` ~~~~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: generate_sp_model :hidden:`load_sp_model` ~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: load_sp_model :hidden:`sentencepiece_numericalizer` ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: sentencepiece_numericalizer :hidden:`sentencepiece_tokenizer` ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: sentencepiece_tokenizer :hidden:`custom_replace` ~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: custom_replace :hidden:`simple_space_split` ~~~~~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: simple_space_split :hidden:`numericalize_tokens_from_iterator` ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: numericalize_tokens_from_iterator :hidden:`filter_wikipedia_xml` ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: filter_wikipedia_xml :hidden:`to_map_style_dataset` ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ .. autofunction:: to_map_style_dataset