nickprock/granite-311m-italiano-matryoshka

SentenceTransformer based on ibm-granite/granite-embedding-311m-multilingual-r2

This is a sentence-transformers model finetuned from ibm-granite/granite-embedding-311m-multilingual-r2 on the it-wiki-retrieval-synthetic-hn dataset. It maps inputs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: ibm-granite/granite-embedding-311m-multilingual-r2
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Dataset:
  • it-wiki-retrieval-synthetic-hn

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'ModernBertModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'cls', 'include_prompt': False})
  (2): Normalize({'module_input_name': 'sentence_embedding', 'module_output_name': 'sentence_embedding'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    "In quali gare fu eliminato l'atleta nelle Olimpiadi di Parigi?",
    'Partecipò ai Giochi della II Olimpiade di Parigi nella gara di spada individuale e sciabola individuale. In entrambe le gare fu eliminato alle semifinali.',
    "['Partecipò ai Giochi della II Olimpiade di Parigi alla gara di fioretto individuale, in cui fu eliminato ai quarti, e alla gara di spada individuale, in cui fu eliminato al primo turno.', 'Partecipò ai Giochi della II Olimpiade di Parigi nelle gare di fioretto per maestri, in cui fu eliminato ai ripescaggi, e di spada per maestri, in cui fu eliminato al primo turno.']",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.8895, 0.6944],
#         [0.8895, 1.0000, 0.7186],
#         [0.6944, 0.7186, 1.0000]])

Evaluation & Benchmarks

To ensure full transparency, the model was evaluated across two distinct benchmarks: Information Retrieval / RAG (SQuAD-it) and Semantic Textual Similarity (STSb-it), compared against widely used Italian embedding models.

1. Information Retrieval & RAG Benchmark (SQuAD-it)

• Dataset: crux82/squad_it (Test Split - 1,000 queries matched against a unique passage corpus)
• Objective: Evaluate how effectively the model retrieves the exact paragraph containing the answer among 1,000 candidate passages.

Modello	Dim. Vettore	Hit@1 / Precision (%)	MRR@10	NDCG@10	Latency (1k Queries)
nickprock/sentence-bert-base-italian-uncased	768	36.40%	0.4980	0.5723	2.55s
nickprock/sentence-bert-base-italian-xxl-uncased	768	40.60%	0.5347	0.6026	2.17s
nickprock/multi-sentence-BERTino	768	39.30%	0.4933	0.5465	1.11s
DeepMount00/Ita-Search	1024	43.50%	0.5465	0.6087	17.51s
granite-311m-italiano-matryoshka (Full)	768	65.40%	0.7560	0.8009	1.71s
granite-311m-italiano-matryoshka (Truncated)	256	65.00%	0.7500	0.7957	1.61s

---

2. Semantic Textual Similarity Benchmark (STSb-it)

• Dataset: stsb_multi_mt (Italian Test Split - 1,379 sentence pairs with human scores from 0 to 5)
• Objective: Measure correlation between model cosine similarity and human judgment on sentence equivalence.

Modello	Dim. Vettore	Spearman Cosine	Pearson Cosine	Throughput (Pairs/Sec)
nickprock/sentence-bert-base-italian-uncased	768	0.8097	0.8098	596.9
nickprock/sentence-bert-base-italian-xxl-uncased	768	0.8205	0.8224	684.1
nickprock/multi-sentence-BERTino	768	0.8137	0.8163	1206.1
DeepMount00/Ita-Search	1024	0.7608	0.7702	120.2
granite-311m-italiano-matryoshka (Full)	768	0.7612	0.7574	588.2
granite-311m-italiano-matryoshka (Truncated)	256	0.7627	0.7599	572.0

---

Training Details

Training Setup

• Dataset: nickprock/it-wiki-retrieval-synthetic-hn (45,181 samples)
• Epochs: 1
• Batch Size: 16 (per device) x 16 (Gradient Accumulation) = 256 effective batch size
• Optimizer: adamw_8bit
• Learning Rate: 2e-5 with linear warmup (0.1)
• Precision: bf16

Training Dataset

it-wiki-retrieval-synthetic-hn

• Dataset: it-wiki-retrieval-synthetic-hn
• Size: 45,181 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 12 tokens mean: 20.64 tokens max: 44 tokens	min: 36 tokens mean: 119.38 tokens max: 233 tokens	min: 80 tokens mean: 257.07 tokens max: 441 tokens

• Samples:

  anchor	positive	negative
  Quali formati ha avuto l'album Dejavu della cantante giapponese Koda Kumi?	Dejavu è il nono album studio della cantante giapponese Koda Kumi, pubblicato il 2 marzo 2011. Descrizione L'album è stato pubblicato in due formati: CD e CD+2DVD (First Press Limited Edition); quando di quest'ultima si sono esaurite le copie, è stata venduta la sola edizione CD+DVD. La traccia Hey Baby! è stata utilizzata come canzone di apertura per la sigla della dodicesima stagione del famoso anime Crayon Shin-chan.	["è una serie di light novel scritta da Aoi Sekina e illustrata Kira Inugami. La serie è iniziata con la prubblicazione del primo volume il 19 gennaio 2008, edito dalla Fujimi Shobō per l'etichetta Fujimi Fantasia Bunko. Originariamente la serie era intitolata , ma fu successivamente intitolata con il sottotitolo del primo volume . Alla serie si fa anche riferimento con il titolo . Da essa sono stati tratti un manga nel 2009 e due serie anime nel 2009 e nel 2012.\n\nTrama \nI membri del consiglio studentesco dell'Accademia Hekiyou di Hokkaidō vengono selezionati attraverso un concorso di popolarità.", "è un manga di genere yaoi scritto ed illustrato da Hinako Takanaga. L'opera è stata serializzata tra il 2001 e il 2003 da Ōtō Shobō sulla rivista Gust e in seguito raccolta in tre volumi tankōbon.\n\nTrama \nQuando Kojima, allegro studente di scuola media, decide di fare amicizia col solitario Nakahara, viene a sapere che questi si trova praticamente senza famiglia: infatti il padre è lo...
  Come sono state suddivise le aree dei Territori del Nord-Ovest nel censimento più recente?	La Regione 1 è una delle sei regioni censuarie dei Territori del Nord-Ovest in Canada, con capoluogo Inuvik. Al 2011 aveva 6.712 abitanti su una superficie di (1 chilometro quadro ogni 54 abitanti). È stata istituita con il censimento del 2011, quando l'area dei Territori è stata suddivisa in 6 nuove regioni censuarie.	['La municipalità di Northern Areas è una Local Government Area che si trova in Australia Meridionale. Essa si estende su una superficie di 3.070 chilometri quadrati e ha una popolazione di 4.866 abitanti. La sede del consiglio si trova a Jamestown.', 'Il sistema bibliotecario Sud ovest bresciano è una rete di biblioteche situate nei comuni della Bassa Bresciana occidentale.\nÈ parte della Rete Bibliotecaria Bresciana e Cremonese (RBBC). La convenzione che regola i rapporti tra i comuni aderenti è stata stipulata il 18 agosto del 2000.']
  In quale anno Colosi ha donato i suoi estratti e opuscoli all'Istituto di Zoologia?	Docente all'università di Firenze dal 1926 al 1962, dal 1950 fu Socio dei Lincei. Fu autore di varie opere scientifiche come Fauna italiana (1933), Gli organismi ed il mondo esterno (1945) e Zoologia e biologia generale (1956). Biblioteca personale Nel 1975 Colosi donò all'Istituto di Zoologia dell'Università di Firenze circa 9.400 estratti ed opuscoli del sec.	["Fu autore delle editio princeps e della raccolta L'oceano delle fiumane delle novelle (1866).\n\nNel 1870 gli fu dedicata una medaglia (unitamente a Heinrich Leberecht Fleischer, August Friedrich Pott ed Emil Rödiger) in occasione del 25º anniversario della fondazione della Deutsche Morgenländische Gesellschaft.", 'Diresse il laboratorio istologico francese e fu docente al Collège de France dal 1875. Nel 1888 fu nominato Socio Straniero dei Lincei. Da lui prendono nome gli anelli di Ranvier e le croci latine di Ranvier.\n\nEbbe tra i suoi allievi Ferdinand-Jean Darier, Justin Marie Jolly, Joaquín Albarrán, Luis Simarro Lacabra e Fredrik Georg Gade.']

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

it-wiki-retrieval-synthetic-hn

• Dataset: it-wiki-retrieval-synthetic-hn
• Size: 2,378 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 11 tokens mean: 20.12 tokens max: 49 tokens	min: 35 tokens mean: 119.73 tokens max: 198 tokens	min: 104 tokens mean: 266.03 tokens max: 413 tokens

• Samples:

  anchor	positive	negative
  Cosa significava essere un marchese nel periodo feudale in Italia?	Berengario – nome proprio di persona italiano maschile Berengario del Friuli – marchese del Friuli (874-924), re d'Italia (888-924) e imperatore del Sacro Romano Impero (915-924) Berengario II d'Ivrea – marchese d'Ivrea (928-950) e re d'Italia (950-961) Berengario I di Tolosa detto il Saggio (? – 835) – conte di Tolosa e conte di Barcellona Berengario di Tours (1010-1088) – filosofo, dialettico ed eretico francese medievale	['Il titolo di conte di Richmond è un titolo nobiliare, ora estinto, dei pari del Regno Unito. Venne creato molte volte è ed è stato tenuto da famiglie bretoni, normanne, di stirpe plantageneta, capetingia, sabauda, Tudor e Stuart.', "Duca d'Orléans (in francese: Duc d'Orléans) è un titolo riservato alla famiglia reale francese, creato nel corso del XIV secolo. Legato al trattamento di Principe del sangue (princes du sang), il titolo di duca d'Orléans era dato, se possibile, al fratello minore del sovrano. In questo modo il titolare spesso formava una linea collaterale della famiglia reale francese, con un eventuale diritto di succedere al trono tra i principi più prossimi al trono.\n\nDurante il periodo dell'Ancien Régime il detentore del titolo spesso assumeva un ruolo politico."]
  Quali sono le caratteristiche musicali dell'album Listen to Your Heart - Unplugged di D.H.T.?	Listen to Your Heart - Unplugged è il terzo album duo belga D.H.T.. È stato pubblicato solo digitalmente il 30 giugno 2006. Il disco L'album è costituito dalle stesse tracce del loro album Listen to Your Heart, arrangiate in chiave acustica. La versione di Listen to Your Heart presente in questo album è la stessa che chiudeva l'album di debutto, solo qui è la traccia d'apertura dell'album; le successive nove tracce sono arrangiamenti degli altri brani del primo album. L'undicesima ed ultima traccia è What if?, l'unico inedito, che sostituisce Depressed.	["Listen to Your Heart è l'album di debutto del duo dance-trance belga D.H.T., pubblicato il 18 luglio 2005.\n\nIl disco\nL'album prende il titolo dall'omonima Listen to Your Heart, canzone del gruppo pop svedese Roxette, della quale sono presenti due cover nella tracklist (la prima già precedentemente pubblicata come singolo). Oltre a Listen to Your Heart, l'album si compone di altre quattro cover e di sei brani originali.\n\nDa quest'album sono stati estratti quattro singoli, due dei quali prima della pubblicazione dell'album.", 'Listen to Your Heart è il secondo album del duo belga D.H.T., pubblicato solo digitalmente il 30 giugno 2006.\n\nIl disco\nL'album riprende la tracklist del precedente Listen to Your Heart, riproponeno tutti gli undici brani in versione remixata.\n\nDa questo album è stato tratto un singolo, Sun "teuduh-duh-te-te", pubblicato l'8 giugno 2005.\n\nTracce\n\nTesti e musiche di Edmée Daenen e Flor Theeuwes, tranne dove indicato.\n\n Listen to Your Heart (Hardb...
  Conseguenze psicologiche del lavoro marittimo nel romanzo The Shadow Line	La linea d'ombra (The Shadow Line) – romanzo di Joseph Conrad del 1917 The Shadow Line – album dei Godhead del 2006 The Shadow Line – serie televisiva britannica del 2011	["Il mare (The Sea) è un romanzo di John Banville del 2005 vincitore del Booker Prize.\n\nLa vicenda è narrata da Max Morden, uno storico dell'arte in pensione che cerca di accettare le morti di coloro che ha amato da bambino e da adulto.\nLa narrazione è caratterizzata dai frequenti salti temporali tra presente e passato.\n\nTrama \nIl romanzo è ambientato nella città immaginaria di Ballymore, dove i ricordi della noiosa cittadina sono manipolati dall'immaginazione.", "Endless Ocean, detto anche Forever Blue, è un gioco di simulazione di immersione subacquea prodotto dalla Nintendo e compatibile con console Nintendo Wii. È il primo capitolo della omonima saga.\n\nModalità di gioco\nEsplorazione. L'esplorazione è libera e la si può praticare in qualsiasi momento del giorno.\nLezioni. Sono delle esplorazioni di durata breve in cui insieme a qualcun altro bisognerà trovare un pesce in particolare."]

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• num_train_epochs: 1
• learning_rate: 2e-05
• warmup_steps: 0.1
• optim: adamw_8bit
• gradient_accumulation_steps: 16
• bf16: True

All Hyperparameters

Click to expand

• per_device_train_batch_size: 16
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_8bit
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 16
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• dataloader_multiprocessing_context: None
• dataloader_in_order: True
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}
• warmup_ratio: None

Training Logs

Epoch	Step	Validation Loss	triplet-eval-it_cosine_accuracy
0.5666	100	0.4228	0.9975
1.0	177	0.2577	0.9996

Training Time

• Training: 51.7 minutes
• Evaluation: 1.6 minutes
• Total: 53.4 minutes

Framework Versions

• Python: 3.13.11
• Sentence Transformers: 6.1.0.dev0
• Transformers: 5.17.0
• PyTorch: 2.11.0+cu128
• Accelerate: 1.15.0
• Datasets: 5.0.1
• Tokenizers: 0.23.2

Additional Resources

• Training and Finetuning Embedding Models with Sentence Transformers: the end-to-end guide for training or finetuning Sentence Transformer models.
• Introduction to Matryoshka Embedding Models: variable-size embeddings that can be truncated with minimal quality loss.
• Binary and Scalar Embedding Quantization for Significantly Faster & Cheaper Retrieval: post-training compression of embedding vectors.
• Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video models through the same API.
• Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: train multimodal embedding models, with a Visual Document Retrieval walkthrough.

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}