暗号資産Q&A
CLS トークン プーリングとは何ですか?
CLS トークン プーリングとは何ですか?
Isabella
Sat Nov 16 2024
|
6 回答
989
CLS トークン プーリングは、Vision Transformer (ViT) モデルで使用される戦略であり、特別な分類トークン (CLS トークン) が入力シーケンスに追加されます。
このトークンの出力表現は、最終的な分類タスクに使用され、すべてのパッチからの情報を集約して、画像のグローバルな特徴表現を提供します。
6 回答
Stefano
Mon Nov 18 2024
一連の埋め込みを単一のベクトルとして表現するには、「プーリング」として知られるさまざまな手法が使用されます。
役に立ちましたか？
160
43
EchoWave
Mon Nov 18 2024
一般的に使用される方法の 1 つは、[CLS] プーリングです。
この手法では、[CLS] トークンの埋め込みがシーケンス全体の表現として扱われます。
役に立ちましたか？
103
61
GeishaWhisper
Mon Nov 18 2024
[CLS] トークンは通常、BERT などのモデルの入力シーケンスの先頭に挿入され、その埋め込みはシーケンスの全体的なコンテキストをキャプチャするようにトレーニングされます。
役に立ちましたか？
45
81
Giulia
Mon Nov 18 2024
もう 1 つの一般的なプーリング手法は、平均プーリングです。
役に立ちましたか？
221
25
CryptoTamer
Sun Nov 17 2024
平均プーリングでは、シーケンス内のすべてのトークン埋め込みの平均が計算されて、単一のベクトル表現が得られます。
役に立ちましたか？
275
37
さらに5件読み込む
