Inicio›Diccionario›tokenize
PRONUNCIACIÓN:
¿Cómo se pronuncia tokenize en inglés correctamente y fácil?
🇺🇸 IPA americano
🇬🇧 IPA británico
DEFINICIÓN:
Traducción y definición de tokenize. Significados más comunes.
tokenize como verbo
tokenizar, convertir en tokens— Dividir un texto o datos en unidades pequeñas llamadas tokens, generalmente palabras o caracteres, para procesamiento computacional o análisis lingüístico.Dato curioso
Es un término fundamental en Procesamiento de Lenguaje Natural (NLP) y criptografía. Las máquinas no entienden palabras completas, sino que primero las dividen en tokens.
ORACIONES DE EJEMPLO USANDO
tokenize:
[¿Tokenizan la entrada antes de procesarla?]
Do you tokenize the input before processing?
ERRORES COMUNES AL USAR
tokenize:
The system tokenize the text.
The system tokenizes the text.
Con sujeto en tercera persona singular (the system), el verbo debe llevar '-s'. Se olvida la terminación 's' en presente simple.
I tokenized the data yesterday, but it not worked.
I tokenized the data yesterday, but it didn't work.
Para la negación en pasado simple, se usa 'didn't' + verbo en infinitivo, no 'did not worked'.
TIPS GRAMATICALES AL USAR
tokenize:
En inglés americano se escribe 'tokenize', mientras que en inglés británico puede ser 'tokenise'. El pasado simple y participio son regulares: 'tokenized'.
'Tokenize' generalmente requiere un objeto directo (what you're tokenizing): 'tokenize the sentence', 'tokenize the input'.
"COLLOCATIONS" COMBINACIONES HABITUALES DE
tokenize:
JUEGOS Y EJERCICIOS INTERACTIVOS USANDO
tokenize: