Enter the word for search
tokenize
UK
/ˈtəʊkənaɪz/
US
/ˈtoʊkənaɪz/
Phrases
We tokenize a corpus before training the language model.
Мы токенизируем корпус перед обучением языковой модели.
We tokenize comments to study user sentiment.
Мы токенизируем комментарии, чтобы изучить настроение пользователей.
We need to tokenize data to analyze it more effectively.
Нам нужно разбить данные на токены для более эффективного анализа.
The function can tokenize documents to simplify search operations.
Функция может разбивать документы на токены для упрощения поисковых операций.
The system tokenizes emails before extracting key phrases.
Система разбивает электронные письма на токены перед извлечением ключевых фраз.
The tool can tokenize hashtags into meaningful parts.
Инструмент может разбивать хэштеги на смысловые части.
The script will tokenize input to ensure each word is processed individually.
Скрипт разобьет входные данные на токены, чтобы каждый слово обрабатывалось отдельно.
The script will tokenize paragraphs and split them into smaller units.
Скрипт будет токенизировать абзацы и разбивать их на более мелкие единицы.
Search engines tokenize queries to improve matching.
Поисковые системы разбивают запросы на токены, чтобы улучшить сопоставление.
The parser can tokenize sentences in several languages.
Парсер может токенизировать предложения на нескольких языках.
Developers often tokenize strings to manipulate or analyze the contents.
Разработчики часто разбивают строки на токены для манипуляции или анализа содержимого.
The software was designed to tokenize text for natural language processing.
Программное обеспечение было разработано для того, чтобы разбивать текст на токены для обработки естественного языка.
The analyzer tokenizes tweets and removes noisy symbols.
Анализатор токенизирует твиты и удаляет шумовые символы.
The crawler tokenizes URLs for indexing.
Веб-краулер разбивает URL-адреса на токены для индексации.
The library can tokenize words with high accuracy.
Библиотека может токенизировать слова с высокой точностью.