Por que o SVM é tão poderoso?

Você pode explicar por que SVM, ou Support Vector Machine, é considerada uma ferramenta tão poderosa no domínio do aprendizado de máquina? Quais são os principais fatores que contribuem para a sua eficácia e como ele se compara a outros algoritmos populares em termos de desempenho e eficiência? Estou particularmente interessado em compreender os fundamentos matemáticos que tornam o SVM tão hábil no tratamento de tarefas complexas de classificação e regressão. Além disso, há alguma limitação ou cenário em que o SVM possa não ser a escolha ideal?