kobigbird-bert-base-finetuned-klue

Los siguientes hiperparámetros se utilizaron durante el entrenamiento:

- learning_rate: 5e-05
- train_batch_size: 64
- eval_batch_size: 64
- seed: 42
- optimizer: Adam con betas=(0.9, 0.999) y epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 20

Fragmentos de código para inferencia en diversos contextos:

Where do I live?

Contexto: Mi nombre es Wolfgang y vivo en Berlín

---

Where do I live?

Contexto: Mi nombre es Sarah y vivo en Londres

---

What's my name?

Contexto: Mi nombre es Clara y vivo en Berkeley.

Which name is also used to describe the Amazon rainforest in English?

Contexto: La selva amazónica (portugués: Floresta Amazônica o Amazônia; español: Selva Amazónica, Amazonía o usualmente Amazonia; francés: Forêt amazonienne; holandés: Amazoneregenwoud), también conocida en inglés como Amazonia o la Selva del Amazonas, es un bosque húmedo de hojas anchas que cubre la mayor parte de la cuenca del Amazonas en América del Sur. Esta cuenca abarca 7.000.000 kilómetros cuadrados (2.700.000 millas cuadradas), de los cuales 5.500.000 kilómetros cuadrados (2.100.000 millas cuadradas) están cubiertos por la selva. Esta región incluye territorio perteneciente a nueve naciones. La mayor parte del bosque está contenida dentro de Brasil, con el 60% de la selva, seguida por Perú con el 13%, Colombia con el 10%, y con cantidades menores en Venezuela, Ecuador, Bolivia, Guyana, Surinam y Guayana Francesa. Estados o departamentos en cuatro naciones contienen 'Amazonas' en sus nombres. El Amazonas representa más de la mitad de las selvas tropicales restantes en el planeta, y comprende el tramo más grande y más biodiverso de selva tropical en el mundo, con un estimado de 390 mil millones de árboles individuales divididos en 16 mil especies.