nickprock
/

granite-311m-italiano-matryoshka

@@ -1,91 +1,126 @@
----
-tags:
-- sentence-transformers
-- sentence-similarity
-- feature-extraction
-- dense
-- generated_from_trainer
-- dataset_size:45181
-- loss:MatryoshkaLoss
-- loss:CachedMultipleNegativesRankingLoss
-- loss:MultipleNegativesRankingLoss
-base_model: ibm-granite/granite-embedding-311m-multilingual-r2
-widget:
-- source_sentence: In quali anni ha partecipato Carriera ai Campionati europei?
-  sentences:
-  - Mokgomane è un villaggio del Botswana situato nel distretto Meridionale, sottodistretto
-    di Barolong. Il villaggio, secondo il censimento del 2011, conta 708 abitanti.
-  - '[''Carriera\nCon la ha disputato i Campionati europei del 2001 e i Campionati
-    mondiali del 2002.\n\nCon la ha disputato due edizioni dei Campionati europei
-    (2003, 2005).'', ''Carriera\nCon la ha disputato i Campionati mondiali del 2002
-    e tre edizioni dei Campionati europei (1997, 1999, 2001).\n\nCon la ha disputato
-    i Campionati europei del 2003.'']'
-  - Carriera Con la ha disputato i Giochi olimpici di Montréal 1976, i Campionati
-    mondiali del 1975 e tre edizioni dei Campionati europei (1974, 1976, 1978).
-- source_sentence: Quali sono le caratteristiche geografiche e demografiche della
-    prefettura di Avé in Togo?
-  sentences:
-  - La prefettura di Avé è una prefettura del Togo situato nella regione Marittima
-    con 97.830 abitanti al censimento 2010. Il capoluogo è la città di Kévé.
-  - '[''La prefettura di Haho è una prefettura del Togo situato nella regione degli
-    Altopiani con 247.817 abitanti al censimento 2010. Il capoluogo è la città di
-    Notsé.'', ''La prefettura di Lacs è una prefettura del Togo situato nella regione
-    Marittima con 172.148 abitanti al censimento 2010. Il capoluogo è la città di
-    Aneho.'']'
-  - Mmathethe è un villaggio del Botswana situato nel distretto Meridionale, sottodistretto
-    di Barolong. Il villaggio, secondo il censimento del 2011, conta 5.078 abitanti.
-- source_sentence: Quali sono i nomi alternativi per il comune Těrlicko?
-  sentences:
-  - Malotwana Siding è un villaggio del Botswana situato nel distretto di Kgatleng,
-    sottodistretto di Kgatleng. Il villaggio, secondo il censimento del 2011, conta
-    608 abitanti.
-  - '[''Il toponimo Rohoznice può riferirsi a diverse località della Repubblica Ceca:\n\nRohoznice,
-    comune del distretto di Jičín\nRohoznice, comune del distretto di Pardubice'',
-    "Biskupice (in tedesco Biskupitz) è un comune della Repubblica Ceca facente parte
-    del distretto di Zlín, nella regione di Zlín.\n\nQua è nato l''ex calciatore ed
-    allenatore Milan Máčala."]'
-  - Těrlicko (in polacco Cierlicko, in tedesco Tierlitzko) è un comune della Repubblica
-    Ceca facente parte del distretto di Karviná, nella regione della Moravia-Slesia.
-- source_sentence: Quante persone habita nel villaggio Tswaaneng al censimento del
-    2011?
-  sentences:
-  - Mogoditshane è un villaggio del Botswana situato nel distretto di Kweneng, sottodistretto
-    di Kweneng East. Il villaggio, secondo il censimento del 2011, conta 58.079 abitanti.
-  - '[''Tswaane è un villaggio del Botswana situato nel distretto di Kweneng, sottodistretto
-    di Kweneng West. Il villaggio, secondo il censimento del 2011, conta 603 abitanti.'',
-    ''Tshwaane è un villaggio del Botswana situato nel distretto Meridionale, sottodistretto
-    di Ngwaketse. Il villaggio, secondo il censimento del 2011, conta 299 abitanti.'']'
-  - Tswaaneng è un villaggio del Botswana situato nel distretto Meridionale, sottodistretto
-    di Barolong. Il villaggio, secondo il censimento del 2011, conta 679 abitanti.
-- source_sentence: In quali gare fu eliminato l'atleta nelle Olimpiadi di Parigi?
-  sentences:
-  - Partecipò ai Giochi della II Olimpiade di Parigi nella gara di spada individuale
-    e sciabola individuale. In entrambe le gare fu eliminato alle semifinali.
-  - Partecipò ai Giochi della II Olimpiade di Parigi nelle gare di fioretto per maestri,
-    dove giunse al nono posto, e di spada per maestri, dove fu eliminato in semifinale.
-  - '[''Partecipò ai Giochi della II Olimpiade di Parigi alla gara di fioretto individuale,
-    in cui fu eliminato ai quarti, e alla gara di spada individuale, in cui fu eliminato
-    al primo turno.'', ''Partecipò ai Giochi della II Olimpiade di Parigi nelle gare
-    di fioretto per maestri, in cui fu eliminato ai ripescaggi, e di spada per maestri,
-    in cui fu eliminato al primo turno.'']'
-pipeline_tag: sentence-similarity
-library_name: sentence-transformers
-metrics:
-- cosine_accuracy
-model-index:
-- name: SentenceTransformer based on ibm-granite/granite-embedding-311m-multilingual-r2
-  results:
-  - task:
-      type: triplet
-      name: Triplet
-    dataset:
-      name: triplet eval it
-      type: triplet-eval-it
-    metrics:
-    - type: cosine_accuracy
-      value: 0.9995794892311096
-      name: Cosine Accuracy
----
 # SentenceTransformer based on ibm-granite/granite-embedding-311m-multilingual-r2
@@ -176,34 +211,51 @@ You can finetune this model on your own dataset.
 *List how the model may foreseeably be misused and address what users ought not to do with the model.*
 -->
-## Evaluation
-### Metrics
-#### Triplet
-* Dataset: `triplet-eval-it`
-* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.sentence_transformer.evaluation.TripletEvaluator)
-| Metric              | Value      |
-|:--------------------|:-----------|
-| **cosine_accuracy** | **0.9996** |
-<!--
-## Bias, Risks and Limitations
-*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
--->
-<!--
-### Recommendations
-*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
--->
 ## Training Details
 ### Training Dataset
 #### it-wiki-retrieval-synthetic-hn

+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:45181
+- loss:MatryoshkaLoss
+- loss:CachedMultipleNegativesRankingLoss
+- loss:MultipleNegativesRankingLoss
+base_model: ibm-granite/granite-embedding-311m-multilingual-r2
+widget:
+- source_sentence: In quali anni ha partecipato Carriera ai Campionati europei?
+  sentences:
+  - >-
+    Mokgomane è un villaggio del Botswana situato nel distretto Meridionale,
+    sottodistretto di Barolong. Il villaggio, secondo il censimento del 2011,
+    conta 708 abitanti.
+  - >-
+    ['Carriera\nCon la ha disputato i Campionati europei del 2001 e i Campionati
+    mondiali del 2002.\n\nCon la ha disputato due edizioni dei Campionati
+    europei (2003, 2005).', 'Carriera\nCon la ha disputato i Campionati mondiali
+    del 2002 e tre edizioni dei Campionati europei (1997, 1999, 2001).\n\nCon la
+    ha disputato i Campionati europei del 2003.']
+  - >-
+    Carriera Con la ha disputato i Giochi olimpici di Montréal 1976, i
+    Campionati mondiali del 1975 e tre edizioni dei Campionati europei (1974,
+    1976, 1978).
+- source_sentence: >-
+    Quali sono le caratteristiche geografiche e demografiche della prefettura di
+    Avé in Togo?
+  sentences:
+  - >-
+    La prefettura di Avé è una prefettura del Togo situato nella regione
+    Marittima con 97.830 abitanti al censimento 2010. Il capoluogo è la città di
+    Kévé.
+  - >-
+    ['La prefettura di Haho è una prefettura del Togo situato nella regione
+    degli Altopiani con 247.817 abitanti al censimento 2010. Il capoluogo è la
+    città di Notsé.', 'La prefettura di Lacs è una prefettura del Togo situato
+    nella regione Marittima con 172.148 abitanti al censimento 2010. Il
+    capoluogo è la città di Aneho.']
+  - >-
+    Mmathethe è un villaggio del Botswana situato nel distretto Meridionale,
+    sottodistretto di Barolong. Il villaggio, secondo il censimento del 2011,
+    conta 5.078 abitanti.
+- source_sentence: Quali sono i nomi alternativi per il comune Těrlicko?
+  sentences:
+  - >-
+    Malotwana Siding è un villaggio del Botswana situato nel distretto di
+    Kgatleng, sottodistretto di Kgatleng. Il villaggio, secondo il censimento
+    del 2011, conta 608 abitanti.
+  - >-
+    ['Il toponimo Rohoznice può riferirsi a diverse località della Repubblica
+    Ceca:\n\nRohoznice, comune del distretto di Jičín\nRohoznice, comune del
+    distretto di Pardubice', "Biskupice (in tedesco Biskupitz) è un comune della
+    Repubblica Ceca facente parte del distretto di Zlín, nella regione di
+    Zlín.\n\nQua è nato l'ex calciatore ed allenatore Milan Máčala."]
+  - >-
+    Těrlicko (in polacco Cierlicko, in tedesco Tierlitzko) è un comune della
+    Repubblica Ceca facente parte del distretto di Karviná, nella regione della
+    Moravia-Slesia.
+- source_sentence: Quante persone habita nel villaggio Tswaaneng al censimento del 2011?
+  sentences:
+  - >-
+    Mogoditshane è un villaggio del Botswana situato nel distretto di Kweneng,
+    sottodistretto di Kweneng East. Il villaggio, secondo il censimento del
+    2011, conta 58.079 abitanti.
+  - >-
+    ['Tswaane è un villaggio del Botswana situato nel distretto di Kweneng,
+    sottodistretto di Kweneng West. Il villaggio, secondo il censimento del
+    2011, conta 603 abitanti.', 'Tshwaane è un villaggio del Botswana situato
+    nel distretto Meridionale, sottodistretto di Ngwaketse. Il villaggio,
+    secondo il censimento del 2011, conta 299 abitanti.']
+  - >-
+    Tswaaneng è un villaggio del Botswana situato nel distretto Meridionale,
+    sottodistretto di Barolong. Il villaggio, secondo il censimento del 2011,
+    conta 679 abitanti.
+- source_sentence: In quali gare fu eliminato l'atleta nelle Olimpiadi di Parigi?
+  sentences:
+  - >-
+    Partecipò ai Giochi della II Olimpiade di Parigi nella gara di spada
+    individuale e sciabola individuale. In entrambe le gare fu eliminato alle
+    semifinali.
+  - >-
+    Partecipò ai Giochi della II Olimpiade di Parigi nelle gare di fioretto per
+    maestri, dove giunse al nono posto, e di spada per maestri, dove fu
+    eliminato in semifinale.
+  - >-
+    ['Partecipò ai Giochi della II Olimpiade di Parigi alla gara di fioretto
+    individuale, in cui fu eliminato ai quarti, e alla gara di spada
+    individuale, in cui fu eliminato al primo turno.', 'Partecipò ai Giochi
+    della II Olimpiade di Parigi nelle gare di fioretto per maestri, in cui fu
+    eliminato ai ripescaggi, e di spada per maestri, in cui fu eliminato al
+    primo turno.']
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy
+model-index:
+- name: >-
+    SentenceTransformer based on
+    ibm-granite/granite-embedding-311m-multilingual-r2
+  results:
+  - task:
+      type: triplet
+      name: Triplet
+    dataset:
+      name: triplet eval it
+      type: triplet-eval-it
+    metrics:
+    - type: cosine_accuracy
+      value: 0.9995794892311096
+      name: Cosine Accuracy
+license: apache-2.0
+datasets:
+- nickprock/it-wiki-retrieval-synthetic-hn
+- mteb/stsb_multi_mt
+- crux82/squad_it
+language:
+- it
+---
 # SentenceTransformer based on ibm-granite/granite-embedding-311m-multilingual-r2
 *List how the model may foreseeably be misused and address what users ought not to do with the model.*
 -->
+## Evaluation & Benchmarks
+To ensure full transparency, the model was evaluated across two distinct benchmarks: **Information Retrieval / RAG** (SQuAD-it) and **Semantic Textual Similarity** (STSb-it), compared against widely used Italian embedding models.
+### 1. Information Retrieval & RAG Benchmark (SQuAD-it)
+* **Dataset:** `crux82/squad_it` (Test Split - 1,000 queries matched against a unique passage corpus)
+* **Objective:** Evaluate how effectively the model retrieves the exact paragraph containing the answer among 1,000 candidate passages.
+| Modello | Dim. Vettore | Hit@1 / Precision (%) | MRR@10 | NDCG@10 | Latency (1k Queries) |
+| :--- | :---: | :---: | :---: | :---: | :---: |
+| `nickprock/sentence-bert-base-italian-uncased` | 768 | 36.40% | 0.4980 | 0.5723 | 2.55s |
+| `nickprock/sentence-bert-base-italian-xxl-uncased` | 768 | 40.60% | 0.5347 | 0.6026 | 2.17s |
+| `nickprock/multi-sentence-BERTino` | 768 | 39.30% | 0.4933 | 0.5465 | 1.11s |
+| `DeepMount00/Ita-Search` | 1024 | 43.50% | 0.5465 | 0.6087 | 17.51s |
+| **`granite-311m-italiano-matryoshka (Full)`** | **768** | **65.40%** | **0.7560** | **0.8009** | **1.71s** |
+| **`granite-311m-italiano-matryoshka (Truncated)`** | **256** | **65.00%** | **0.7500** | **0.7957** | **1.61s** |
+---
+### 2. Semantic Textual Similarity Benchmark (STSb-it)
+* **Dataset:** `stsb_multi_mt` (Italian Test Split - 1,379 sentence pairs with human scores from 0 to 5)
+* **Objective:** Measure correlation between model cosine similarity and human judgment on sentence equivalence.
+| Modello | Dim. Vettore | Spearman Cosine | Pearson Cosine | Throughput (Pairs/Sec) |
+| :--- | :---: | :---: | :---: | :---: |
+| `nickprock/sentence-bert-base-italian-uncased` | 768 | 0.8097 | 0.8098 | 596.9 |
+| `nickprock/sentence-bert-base-italian-xxl-uncased` | 768 | 0.8205 | 0.8224 | 684.1 |
+| `nickprock/multi-sentence-BERTino` | 768 | 0.8137 | 0.8163 | 1206.1 |
+| `DeepMount00/Ita-Search` | 1024 | 0.7608 | 0.7702 | 120.2 |
+| **`granite-311m-italiano-matryoshka (Full)`** | **768** | **0.7612** | **0.7574** | **588.2** |
+| **`granite-311m-italiano-matryoshka (Truncated)`** | **256** | **0.7627** | **0.7599** | **572.0** |
+---
 ## Training Details
+### Training Setup
+- **Dataset:** `nickprock/it-wiki-retrieval-synthetic-hn` (45,181 samples)
+- **Epochs:** 1
+- **Batch Size:** 16 (per device) x 16 (Gradient Accumulation) = 256 effective batch size
+- **Optimizer:** `adamw_8bit`
+- **Learning Rate:** 2e-5 with linear warmup (0.1)
+- **Precision:** `bf16`
 ### Training Dataset
 #### it-wiki-retrieval-synthetic-hn