머신러닝에서 토큰화란 무엇입니까?

머신러닝 영역의 토큰화 개념에 대해 자세히 설명해주실 수 있나요? 자연어 처리의 핵심 구성 요소로서 텍스트 데이터를 기계가 이해할 수 있는 형식으로 변환하는 방법이 궁금합니다. 특히 단어 토큰화, 문장 토큰화 등 관련된 다양한 기술과 이러한 기술이 감정 분석이나 텍스트 분류 작업과 같은 추가 분석을 용이하게 하는 방법에 대해 알고 싶습니다. 또한 토큰화가 기계 학습 모델의 성능을 향상시키는 데 중추적인 역할을 하는 실제 애플리케이션에도 관심이 있습니다.