KDramaLegendaryStarlight
Wed Mar 19 2025
|
5 respuestas
972
¿Cuál es el token de máscara en Bert?
El token de máscara en Bert es un token especial utilizado durante la fase de pre-entrenamiento. Reemplaza al azar una porción del texto de entrada, típicamente del 15%, y el modelo se capacita para predecir estas palabras enmascaradas basadas en el contexto circundante. Esta estrategia ayuda al modelo a aprender a inferir palabras faltantes, mejorando su rendimiento en las tareas de PNL de aguas abajo.
ZenMind
Tue Mar 18 2025
|
5 respuestas
1031
¿Qué es el token de máscara en Bert?
El token de máscara en Bert es un token especial utilizado para reemplazar un cierto porcentaje de palabras en el texto de entrada durante la fase de pre-entrenamiento. Esta estrategia tiene como objetivo ayudar al modelo a aprender a inferir las palabras enmascaradas en función del contexto, mejorando así su rendimiento en las tareas aguas abajo. Por lo general, el 15% de los tokens se eligen para enmascarar, con el 80% de los reemplazados por el token [de máscara], el 10% reemplazado por tokens aleatorios y el 10% restante se mantuvo sin cambios.
DavidJohnson
Fri Oct 18 2024
|
7 respuestas
1218
¿Qué es un token Bert?
Estoy tratando de entender el concepto de token en el contexto de BERT. ¿Alguien podría explicar qué es un token, específicamente en el marco de BERT?
