¿Qué es la tokenización en el aprendizaje automático?

¿Podría dar más detalles sobre el concepto de tokenización en el ámbito del aprendizaje automático? Como componente clave en el procesamiento del lenguaje natural, tengo curiosidad por comprender cómo transforma los datos de texto en un formato que las máquinas puedan comprender. Específicamente, me gustaría conocer las diversas técnicas involucradas, como la tokenización de palabras, la tokenización de oraciones, y cómo facilitan un análisis posterior, como en el análisis de sentimientos o en tareas de clasificación de texto. Además, estoy interesado en cualquier aplicación del mundo real donde la tokenización desempeñe un papel fundamental en la mejora del rendimiento de los modelos de aprendizaje automático.