Enter the word for search

tokenize text

Translations

разбить текст на токены

The software was designed to tokenize text for natural language processing.

Программное обеспечение было разработано для того, чтобы разбивать текст на токены для обработки естественного языка.