Già da qualche tempo, durante le ricerche svolte intorno al Support Vector Clustering, ho indagato al fine di trovare delle ottimizzazioni sempre più spinte per la risoluzione del problema di addestramento di una SVM. Questo mi ha fatto inizialmente incappare nelle LS-SVM

una riformulazione delle SVM che si libera dall’onere della risoluzione di un problema di programmazione quadratica per l’addestramento, sostituendolo con la risoluzione di un sistema KKT lineare.

Dopo il seminario tenuto dal prof. Alessandro Verri nella mia univesità, riguardo la Regolarizzazione e l’apprendimento statistico, la curiosità verso le SVM “più leggere” è aumentata. Ciò mi ha portato a scoprire almeno altre due varianti interessanti di SVM che si svincolano dal problema di programmazione quadratica: le Langrangian SVM e le Core Vector Machines

Le seconde sembrano basarsi su algoritmi di approssimazione, ottenendo comunque degli ottimi risultati e soprattutto raggiungendo delle ottime prestazioni di training su “very large datasets”.