O que é tokenização em aprendizado de máquina?

Você poderia elaborar o conceito de tokenização no domínio do aprendizado de máquina? Como componente-chave no processamento de linguagem natural, estou curioso para entender como ele transforma dados de texto em um formato que as máquinas possam compreender. Especificamente, gostaria de saber sobre as diversas técnicas envolvidas, como tokenização de palavras, tokenização de frases, e como elas facilitam análises posteriores, como em análises de sentimentos ou tarefas de classificação de texto. Além disso, estou interessado em qualquer aplicação do mundo real onde a tokenização desempenhe um papel fundamental na melhoria do desempenho dos modelos de aprendizado de máquina.