CLS token havuzu oluşturma, Vision Transformer (ViT) modellerinde kullanılan ve giriş dizisine özel bir sınıflandırma tokeninin (CLS token) eklendiği bir stratejidir.
Bu belirtecin çıktı temsili daha sonra son sınıflandırma görevi için kullanılır ve görüntünün genel bir özellik temsilini sağlamak için tüm yamalardan gelen bilgiler toplanır.
6 cevap
Stefano
Mon Nov 18 2024
Gömme dizisini tek bir vektör olarak temsil etmek için "havuzlama" olarak bilinen çeşitli teknikler kullanılır.
EchoWave
Mon Nov 18 2024
Yaygın olarak kullanılan yöntemlerden biri [CLS] havuzlamadır.
Bu teknikte, [CLS] tokeninin yerleştirilmesi tüm dizinin temsili olarak alınır.
GeishaWhisper
Mon Nov 18 2024
[CLS] belirteci genellikle BERT gibi modellerde giriş dizisinin başına eklenir ve yerleştirmesi, dizinin genel bağlamını yakalayacak şekilde eğitilir.
Giulia
Mon Nov 18 2024
Diğer bir popüler havuzlama tekniği ortalama havuzlamadır.
CryptoTamer
Sun Nov 17 2024
Ortalama havuzlamada, dizideki tüm belirteç yerleştirmelerinin ortalaması, tek bir vektör temsili elde etmek için hesaplanır.