File size: 39,191 Bytes
edbe5d2 379258c dcfc7ba 379258c edbe5d2 379258c edbe5d2 379258c 8cf8580 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 | ---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- dense
- generated_from_trainer
- dataset_size:45181
- loss:MatryoshkaLoss
- loss:CachedMultipleNegativesRankingLoss
- loss:MultipleNegativesRankingLoss
base_model: ibm-granite/granite-embedding-311m-multilingual-r2
widget:
- source_sentence: In quali anni ha partecipato Carriera ai Campionati europei?
sentences:
- >-
Mokgomane è un villaggio del Botswana situato nel distretto Meridionale,
sottodistretto di Barolong. Il villaggio, secondo il censimento del 2011,
conta 708 abitanti.
- >-
['Carriera\nCon la ha disputato i Campionati europei del 2001 e i Campionati
mondiali del 2002.\n\nCon la ha disputato due edizioni dei Campionati
europei (2003, 2005).', 'Carriera\nCon la ha disputato i Campionati mondiali
del 2002 e tre edizioni dei Campionati europei (1997, 1999, 2001).\n\nCon la
ha disputato i Campionati europei del 2003.']
- >-
Carriera Con la ha disputato i Giochi olimpici di Montréal 1976, i
Campionati mondiali del 1975 e tre edizioni dei Campionati europei (1974,
1976, 1978).
- source_sentence: >-
Quali sono le caratteristiche geografiche e demografiche della prefettura di
Avé in Togo?
sentences:
- >-
La prefettura di Avé è una prefettura del Togo situato nella regione
Marittima con 97.830 abitanti al censimento 2010. Il capoluogo è la città di
Kévé.
- >-
['La prefettura di Haho è una prefettura del Togo situato nella regione
degli Altopiani con 247.817 abitanti al censimento 2010. Il capoluogo è la
città di Notsé.', 'La prefettura di Lacs è una prefettura del Togo situato
nella regione Marittima con 172.148 abitanti al censimento 2010. Il
capoluogo è la città di Aneho.']
- >-
Mmathethe è un villaggio del Botswana situato nel distretto Meridionale,
sottodistretto di Barolong. Il villaggio, secondo il censimento del 2011,
conta 5.078 abitanti.
- source_sentence: Quali sono i nomi alternativi per il comune Těrlicko?
sentences:
- >-
Malotwana Siding è un villaggio del Botswana situato nel distretto di
Kgatleng, sottodistretto di Kgatleng. Il villaggio, secondo il censimento
del 2011, conta 608 abitanti.
- >-
['Il toponimo Rohoznice può riferirsi a diverse località della Repubblica
Ceca:\n\nRohoznice, comune del distretto di Jičín\nRohoznice, comune del
distretto di Pardubice', "Biskupice (in tedesco Biskupitz) è un comune della
Repubblica Ceca facente parte del distretto di Zlín, nella regione di
Zlín.\n\nQua è nato l'ex calciatore ed allenatore Milan Máčala."]
- >-
Těrlicko (in polacco Cierlicko, in tedesco Tierlitzko) è un comune della
Repubblica Ceca facente parte del distretto di Karviná, nella regione della
Moravia-Slesia.
- source_sentence: Quante persone habita nel villaggio Tswaaneng al censimento del 2011?
sentences:
- >-
Mogoditshane è un villaggio del Botswana situato nel distretto di Kweneng,
sottodistretto di Kweneng East. Il villaggio, secondo il censimento del
2011, conta 58.079 abitanti.
- >-
['Tswaane è un villaggio del Botswana situato nel distretto di Kweneng,
sottodistretto di Kweneng West. Il villaggio, secondo il censimento del
2011, conta 603 abitanti.', 'Tshwaane è un villaggio del Botswana situato
nel distretto Meridionale, sottodistretto di Ngwaketse. Il villaggio,
secondo il censimento del 2011, conta 299 abitanti.']
- >-
Tswaaneng è un villaggio del Botswana situato nel distretto Meridionale,
sottodistretto di Barolong. Il villaggio, secondo il censimento del 2011,
conta 679 abitanti.
- source_sentence: In quali gare fu eliminato l'atleta nelle Olimpiadi di Parigi?
sentences:
- >-
Partecipò ai Giochi della II Olimpiade di Parigi nella gara di spada
individuale e sciabola individuale. In entrambe le gare fu eliminato alle
semifinali.
- >-
Partecipò ai Giochi della II Olimpiade di Parigi nelle gare di fioretto per
maestri, dove giunse al nono posto, e di spada per maestri, dove fu
eliminato in semifinale.
- >-
['Partecipò ai Giochi della II Olimpiade di Parigi alla gara di fioretto
individuale, in cui fu eliminato ai quarti, e alla gara di spada
individuale, in cui fu eliminato al primo turno.', 'Partecipò ai Giochi
della II Olimpiade di Parigi nelle gare di fioretto per maestri, in cui fu
eliminato ai ripescaggi, e di spada per maestri, in cui fu eliminato al
primo turno.']
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy
model-index:
- name: >-
SentenceTransformer based on
ibm-granite/granite-embedding-311m-multilingual-r2
results:
- task:
type: triplet
name: Triplet
dataset:
name: triplet eval it
type: triplet-eval-it
metrics:
- type: cosine_accuracy
value: 0.9995794892311096
name: Cosine Accuracy
license: apache-2.0
datasets:
- nickprock/it-wiki-retrieval-synthetic-hn
- mteb/stsb_multi_mt
- crux82/squad_it
language:
- it
---
# SentenceTransformer based on ibm-granite/granite-embedding-311m-multilingual-r2
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [ibm-granite/granite-embedding-311m-multilingual-r2](https://huggingface.co/ibm-granite/granite-embedding-311m-multilingual-r2) on the [it-wiki-retrieval-synthetic-hn](https://huggingface.co/datasets/nickprock/it-wiki-retrieval-synthetic-hn) dataset. It maps inputs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.
<p align="center">
<img src="https://huggingface.co/nickprock/granite-311m-italiano-matryoshka/raw/main/logo.svg" width="500" alt="Granite Matryoshka Logo">
</p>
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [ibm-granite/granite-embedding-311m-multilingual-r2](https://huggingface.co/ibm-granite/granite-embedding-311m-multilingual-r2) <!-- at revision 44399559930365213510b1ee2eb15ded83374f0e -->
- **Maximum Sequence Length:** 32768 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
- **Supported Modality:** Text
- **Training Dataset:**
- it-wiki-retrieval-synthetic-hn
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'ModernBertModel'})
(1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'cls', 'include_prompt': False})
(2): Normalize({'module_input_name': 'sentence_embedding', 'module_output_name': 'sentence_embedding'})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
"In quali gare fu eliminato l'atleta nelle Olimpiadi di Parigi?",
'Partecipò ai Giochi della II Olimpiade di Parigi nella gara di spada individuale e sciabola individuale. In entrambe le gare fu eliminato alle semifinali.',
"['Partecipò ai Giochi della II Olimpiade di Parigi alla gara di fioretto individuale, in cui fu eliminato ai quarti, e alla gara di spada individuale, in cui fu eliminato al primo turno.', 'Partecipò ai Giochi della II Olimpiade di Parigi nelle gare di fioretto per maestri, in cui fu eliminato ai ripescaggi, e di spada per maestri, in cui fu eliminato al primo turno.']",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.8895, 0.6944],
# [0.8895, 1.0000, 0.7186],
# [0.6944, 0.7186, 1.0000]])
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation & Benchmarks
To ensure full transparency, the model was evaluated across two distinct benchmarks: **Information Retrieval / RAG** (SQuAD-it) and **Semantic Textual Similarity** (STSb-it), compared against widely used Italian embedding models.
### 1. Information Retrieval & RAG Benchmark (SQuAD-it)
* **Dataset:** `crux82/squad_it` (Test Split - 1,000 queries matched against a unique passage corpus)
* **Objective:** Evaluate how effectively the model retrieves the exact paragraph containing the answer among 1,000 candidate passages.
| Modello | Dim. Vettore | Hit@1 / Precision (%) | MRR@10 | NDCG@10 | Latency (1k Queries) |
| :--- | :---: | :---: | :---: | :---: | :---: |
| `nickprock/sentence-bert-base-italian-uncased` | 768 | 36.40% | 0.4980 | 0.5723 | 2.55s |
| `nickprock/sentence-bert-base-italian-xxl-uncased` | 768 | 40.60% | 0.5347 | 0.6026 | 2.17s |
| `nickprock/multi-sentence-BERTino` | 768 | 39.30% | 0.4933 | 0.5465 | 1.11s |
| `DeepMount00/Ita-Search` | 1024 | 43.50% | 0.5465 | 0.6087 | 17.51s |
| **`granite-311m-italiano-matryoshka (Full)`** | **768** | **65.40%** | **0.7560** | **0.8009** | **1.71s** |
| **`granite-311m-italiano-matryoshka (Truncated)`** | **256** | **65.00%** | **0.7500** | **0.7957** | **1.61s** |
---
### 2. Semantic Textual Similarity Benchmark (STSb-it)
* **Dataset:** `stsb_multi_mt` (Italian Test Split - 1,379 sentence pairs with human scores from 0 to 5)
* **Objective:** Measure correlation between model cosine similarity and human judgment on sentence equivalence.
| Modello | Dim. Vettore | Spearman Cosine | Pearson Cosine | Throughput (Pairs/Sec) |
| :--- | :---: | :---: | :---: | :---: |
| `nickprock/sentence-bert-base-italian-uncased` | 768 | 0.8097 | 0.8098 | 596.9 |
| `nickprock/sentence-bert-base-italian-xxl-uncased` | 768 | 0.8205 | 0.8224 | 684.1 |
| `nickprock/multi-sentence-BERTino` | 768 | 0.8137 | 0.8163 | 1206.1 |
| `DeepMount00/Ita-Search` | 1024 | 0.7608 | 0.7702 | 120.2 |
| **`granite-311m-italiano-matryoshka (Full)`** | **768** | **0.7612** | **0.7574** | **588.2** |
| **`granite-311m-italiano-matryoshka (Truncated)`** | **256** | **0.7627** | **0.7599** | **572.0** |
---
## Training Details
### Training Setup
- **Dataset:** `nickprock/it-wiki-retrieval-synthetic-hn` (45,181 samples)
- **Epochs:** 1
- **Batch Size:** 16 (per device) x 16 (Gradient Accumulation) = 256 effective batch size
- **Optimizer:** `adamw_8bit`
- **Learning Rate:** 2e-5 with linear warmup (0.1)
- **Precision:** `bf16`
### Training Dataset
#### it-wiki-retrieval-synthetic-hn
* Dataset: it-wiki-retrieval-synthetic-hn
* Size: 45,181 training samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 100 samples:
| | anchor | positive | negative |
|:---------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
| type | string | string | string |
| modality | text | text | text |
| details | <ul><li>min: 12 tokens</li><li>mean: 20.64 tokens</li><li>max: 44 tokens</li></ul> | <ul><li>min: 36 tokens</li><li>mean: 119.38 tokens</li><li>max: 233 tokens</li></ul> | <ul><li>min: 80 tokens</li><li>mean: 257.07 tokens</li><li>max: 441 tokens</li></ul> |
* Samples:
| anchor | positive | negative |
|:--------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>Quali formati ha avuto l'album Dejavu della cantante giapponese Koda Kumi?</code> | <code>Dejavu è il nono album studio della cantante giapponese Koda Kumi, pubblicato il 2 marzo 2011. Descrizione L'album è stato pubblicato in due formati: CD e CD+2DVD (First Press Limited Edition); quando di quest'ultima si sono esaurite le copie, è stata venduta la sola edizione CD+DVD. La traccia Hey Baby! è stata utilizzata come canzone di apertura per la sigla della dodicesima stagione del famoso anime Crayon Shin-chan.</code> | <code>["è una serie di light novel scritta da Aoi Sekina e illustrata Kira Inugami. La serie è iniziata con la prubblicazione del primo volume il 19 gennaio 2008, edito dalla Fujimi Shobō per l'etichetta Fujimi Fantasia Bunko. Originariamente la serie era intitolata , ma fu successivamente intitolata con il sottotitolo del primo volume . Alla serie si fa anche riferimento con il titolo . Da essa sono stati tratti un manga nel 2009 e due serie anime nel 2009 e nel 2012.\n\nTrama \nI membri del consiglio studentesco dell'Accademia Hekiyou di Hokkaidō vengono selezionati attraverso un concorso di popolarità.", "è un manga di genere yaoi scritto ed illustrato da Hinako Takanaga. L'opera è stata serializzata tra il 2001 e il 2003 da Ōtō Shobō sulla rivista Gust e in seguito raccolta in tre volumi tankōbon.\n\nTrama \nQuando Kojima, allegro studente di scuola media, decide di fare amicizia col solitario Nakahara, viene a sapere che questi si trova praticamente senza famiglia: infatti il padre è lo...</code> |
| <code>Come sono state suddivise le aree dei Territori del Nord-Ovest nel censimento più recente?</code> | <code>La Regione 1 è una delle sei regioni censuarie dei Territori del Nord-Ovest in Canada, con capoluogo Inuvik. Al 2011 aveva 6.712 abitanti su una superficie di (1 chilometro quadro ogni 54 abitanti). È stata istituita con il censimento del 2011, quando l'area dei Territori è stata suddivisa in 6 nuove regioni censuarie.</code> | <code>['La municipalità di Northern Areas è una Local Government Area che si trova in Australia Meridionale. Essa si estende su una superficie di 3.070 chilometri quadrati e ha una popolazione di 4.866 abitanti. La sede del consiglio si trova a Jamestown.', 'Il sistema bibliotecario Sud ovest bresciano è una rete di biblioteche situate nei comuni della Bassa Bresciana occidentale.\nÈ parte della Rete Bibliotecaria Bresciana e Cremonese (RBBC). La convenzione che regola i rapporti tra i comuni aderenti è stata stipulata il 18 agosto del 2000.']</code> |
| <code>In quale anno Colosi ha donato i suoi estratti e opuscoli all'Istituto di Zoologia?</code> | <code>Docente all'università di Firenze dal 1926 al 1962, dal 1950 fu Socio dei Lincei. Fu autore di varie opere scientifiche come Fauna italiana (1933), Gli organismi ed il mondo esterno (1945) e Zoologia e biologia generale (1956). Biblioteca personale Nel 1975 Colosi donò all'Istituto di Zoologia dell'Università di Firenze circa 9.400 estratti ed opuscoli del sec.</code> | <code>["Fu autore delle editio princeps e della raccolta L'oceano delle fiumane delle novelle (1866).\n\nNel 1870 gli fu dedicata una medaglia (unitamente a Heinrich Leberecht Fleischer, August Friedrich Pott ed Emil Rödiger) in occasione del 25º anniversario della fondazione della Deutsche Morgenländische Gesellschaft.", 'Diresse il laboratorio istologico francese e fu docente al Collège de France dal 1875. Nel 1888 fu nominato Socio Straniero dei Lincei. Da lui prendono nome gli anelli di Ranvier e le croci latine di Ranvier.\n\nEbbe tra i suoi allievi Ferdinand-Jean Darier, Justin Marie Jolly, Joaquín Albarrán, Luis Simarro Lacabra e Fredrik Georg Gade.']</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "CachedMultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128
],
"matryoshka_weights": [
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Evaluation Dataset
#### it-wiki-retrieval-synthetic-hn
* Dataset: it-wiki-retrieval-synthetic-hn
* Size: 2,378 evaluation samples
* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
* Approximate statistics based on the first 100 samples:
| | anchor | positive | negative |
|:---------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
| type | string | string | string |
| modality | text | text | text |
| details | <ul><li>min: 11 tokens</li><li>mean: 20.12 tokens</li><li>max: 49 tokens</li></ul> | <ul><li>min: 35 tokens</li><li>mean: 119.73 tokens</li><li>max: 198 tokens</li></ul> | <ul><li>min: 104 tokens</li><li>mean: 266.03 tokens</li><li>max: 413 tokens</li></ul> |
* Samples:
| anchor | positive | negative |
|:-----------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>Cosa significava essere un marchese nel periodo feudale in Italia?</code> | <code>Berengario – nome proprio di persona italiano maschile Berengario del Friuli – marchese del Friuli (874-924), re d'Italia (888-924) e imperatore del Sacro Romano Impero (915-924) Berengario II d'Ivrea – marchese d'Ivrea (928-950) e re d'Italia (950-961) Berengario I di Tolosa detto il Saggio (? – 835) – conte di Tolosa e conte di Barcellona Berengario di Tours (1010-1088) – filosofo, dialettico ed eretico francese medievale</code> | <code>['Il titolo di conte di Richmond è un titolo nobiliare, ora estinto, dei pari del Regno Unito. Venne creato molte volte è ed è stato tenuto da famiglie bretoni, normanne, di stirpe plantageneta, capetingia, sabauda, Tudor e Stuart.', "Duca d'Orléans (in francese: Duc d'Orléans) è un titolo riservato alla famiglia reale francese, creato nel corso del XIV secolo. Legato al trattamento di Principe del sangue (princes du sang), il titolo di duca d'Orléans era dato, se possibile, al fratello minore del sovrano. In questo modo il titolare spesso formava una linea collaterale della famiglia reale francese, con un eventuale diritto di succedere al trono tra i principi più prossimi al trono.\n\nDurante il periodo dell'Ancien Régime il detentore del titolo spesso assumeva un ruolo politico."]</code> |
| <code>Quali sono le caratteristiche musicali dell'album Listen to Your Heart - Unplugged di D.H.T.?</code> | <code>Listen to Your Heart - Unplugged è il terzo album duo belga D.H.T.. È stato pubblicato solo digitalmente il 30 giugno 2006. Il disco L'album è costituito dalle stesse tracce del loro album Listen to Your Heart, arrangiate in chiave acustica. La versione di Listen to Your Heart presente in questo album è la stessa che chiudeva l'album di debutto, solo qui è la traccia d'apertura dell'album; le successive nove tracce sono arrangiamenti degli altri brani del primo album. L'undicesima ed ultima traccia è What if?, l'unico inedito, che sostituisce Depressed.</code> | <code>["Listen to Your Heart è l'album di debutto del duo dance-trance belga D.H.T., pubblicato il 18 luglio 2005.\n\nIl disco\nL'album prende il titolo dall'omonima Listen to Your Heart, canzone del gruppo pop svedese Roxette, della quale sono presenti due cover nella tracklist (la prima già precedentemente pubblicata come singolo). Oltre a Listen to Your Heart, l'album si compone di altre quattro cover e di sei brani originali.\n\nDa quest'album sono stati estratti quattro singoli, due dei quali prima della pubblicazione dell'album.", 'Listen to Your Heart è il secondo album del duo belga D.H.T., pubblicato solo digitalmente il 30 giugno 2006.\n\nIl disco\nL\'album riprende la tracklist del precedente Listen to Your Heart, riproponeno tutti gli undici brani in versione remixata.\n\nDa questo album è stato tratto un singolo, Sun "teuduh-duh-te-te", pubblicato l\'8 giugno 2005.\n\nTracce\n\nTesti e musiche di Edmée Daenen e Flor Theeuwes, tranne dove indicato.\n\n Listen to Your Heart (Hardb...</code> |
| <code>Conseguenze psicologiche del lavoro marittimo nel romanzo The Shadow Line</code> | <code>La linea d'ombra (The Shadow Line) – romanzo di Joseph Conrad del 1917 The Shadow Line – album dei Godhead del 2006 The Shadow Line – serie televisiva britannica del 2011</code> | <code>["Il mare (The Sea) è un romanzo di John Banville del 2005 vincitore del Booker Prize.\n\nLa vicenda è narrata da Max Morden, uno storico dell'arte in pensione che cerca di accettare le morti di coloro che ha amato da bambino e da adulto.\nLa narrazione è caratterizzata dai frequenti salti temporali tra presente e passato.\n\nTrama \nIl romanzo è ambientato nella città immaginaria di Ballymore, dove i ricordi della noiosa cittadina sono manipolati dall'immaginazione.", "Endless Ocean, detto anche Forever Blue, è un gioco di simulazione di immersione subacquea prodotto dalla Nintendo e compatibile con console Nintendo Wii. È il primo capitolo della omonima saga.\n\nModalità di gioco\nEsplorazione. L'esplorazione è libera e la si può praticare in qualsiasi momento del giorno.\nLezioni. Sono delle esplorazioni di durata breve in cui insieme a qualcun altro bisognerà trovare un pesce in particolare."]</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "CachedMultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128
],
"matryoshka_weights": [
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `per_device_train_batch_size`: 16
- `num_train_epochs`: 1
- `learning_rate`: 2e-05
- `warmup_steps`: 0.1
- `optim`: adamw_8bit
- `gradient_accumulation_steps`: 16
- `bf16`: True
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `per_device_train_batch_size`: 16
- `num_train_epochs`: 1
- `max_steps`: -1
- `learning_rate`: 2e-05
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: None
- `warmup_steps`: 0.1
- `optim`: adamw_8bit
- `optim_args`: None
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `optim_target_modules`: None
- `gradient_accumulation_steps`: 16
- `average_tokens_across_devices`: True
- `max_grad_norm`: 1.0
- `label_smoothing_factor`: 0.0
- `bf16`: True
- `fp16`: False
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `use_liger_kernel`: False
- `liger_kernel_config`: None
- `use_cache`: False
- `neftune_noise_alpha`: None
- `torch_empty_cache_steps`: None
- `auto_find_batch_size`: False
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `include_num_input_tokens_seen`: no
- `log_level`: passive
- `log_level_replica`: warning
- `disable_tqdm`: False
- `project`: huggingface
- `trackio_space_id`: None
- `trackio_bucket_id`: None
- `trackio_static_space_id`: None
- `per_device_eval_batch_size`: 8
- `prediction_loss_only`: True
- `eval_on_start`: False
- `eval_do_concat_batches`: True
- `eval_use_gather_object`: False
- `eval_accumulation_steps`: None
- `include_for_metrics`: []
- `batch_eval_metrics`: False
- `save_only_model`: False
- `save_on_each_node`: False
- `enable_jit_checkpoint`: False
- `push_to_hub`: False
- `hub_private_repo`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_always_push`: False
- `hub_revision`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `restore_callback_states_from_checkpoint`: False
- `full_determinism`: False
- `seed`: 42
- `data_seed`: None
- `use_cpu`: False
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `parallelism_config`: None
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `dataloader_prefetch_factor`: None
- `dataloader_multiprocessing_context`: None
- `dataloader_in_order`: True
- `remove_unused_columns`: True
- `label_names`: None
- `train_sampling_strategy`: random
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `ddp_static_graph`: None
- `ddp_backend`: None
- `ddp_timeout`: 1800
- `fsdp`: None
- `fsdp_config`: None
- `deepspeed`: None
- `debug`: []
- `skip_memory_metrics`: True
- `do_predict`: False
- `resume_from_checkpoint`: None
- `local_rank`: -1
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional
- `router_mapping`: {}
- `learning_rate_mapping`: {}
- `warmup_ratio`: None
</details>
### Training Logs
| Epoch | Step | Validation Loss | triplet-eval-it_cosine_accuracy |
|:------:|:----:|:---------------:|:-------------------------------:|
| 0.5666 | 100 | 0.4228 | 0.9975 |
| 1.0 | 177 | 0.2577 | 0.9996 |
### Training Time
- **Training**: 51.7 minutes
- **Evaluation**: 1.6 minutes
- **Total**: 53.4 minutes
### Framework Versions
- Python: 3.13.11
- Sentence Transformers: 6.1.0.dev0
- Transformers: 5.17.0
- PyTorch: 2.11.0+cu128
- Accelerate: 1.15.0
- Datasets: 5.0.1
- Tokenizers: 0.23.2
## Additional Resources
- [Training and Finetuning Embedding Models with Sentence Transformers](https://huggingface.co/blog/train-sentence-transformers): the end-to-end guide for training or finetuning Sentence Transformer models.
- [Introduction to Matryoshka Embedding Models](https://huggingface.co/blog/matryoshka): variable-size embeddings that can be truncated with minimal quality loss.
- [Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval](https://huggingface.co/blog/embedding-quantization): post-training compression of embedding vectors.
- [Multimodal Embedding & Reranker Models with Sentence Transformers](https://huggingface.co/blog/multimodal-sentence-transformers): use text, image, audio, and video models through the same API.
- [Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers](https://huggingface.co/blog/train-multimodal-sentence-transformers): train multimodal embedding models, with a Visual Document Retrieval walkthrough.
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### MatryoshkaLoss
```bibtex
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
```
#### CachedMultipleNegativesRankingLoss
```bibtex
@misc{gao2021scaling,
title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
year={2021},
eprint={2101.06983},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
```
#### MultipleNegativesRankingLoss
```bibtex
@misc{oord2019representationlearningcontrastivepredictive,
title={Representation Learning with Contrastive Predictive Coding},
author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
year={2019},
eprint={1807.03748},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/1807.03748},
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
--> |