wilfredomartel/embeddinggemma-300m-legal-spanish-420k-v2

EmbeddingGemma-300m trained on 420k Legal Spanish Retrieval Dataset.

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • spanish-legal-dataset
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/embeddinggemma-300m-legal-spanish-420k-v2")
# Run inference
queries = [
    "\u00bfCu\u00e1l fue la base legal y f\u00e1ctica para que la Corte Provincial de Pichincha revocara la sentencia de primera instancia y declarara la vulneraci\u00f3n de derechos en el caso de Francisco Vivanco Riofr\u00edo contra el Banco Pichincha?",
]
documents = [
    'La base fáctica para la revocatoria de la sentencia de primera instancia radicó en la constatación de que el Banco Pichincha C.A. no cumplió de manera oportuna con una disposición administrativa emitida por la Superintendencia de Compañías, Valores y Seguros, que ordenaba el levantamiento de una medida cautelar de retención sobre los fondos depositados en la cuenta del accionante, los cuales provenían de su pensión jubilatoria. El tribunal apreció que esta demora y la falta de información adecuada y motivada sobre el retraso afectaron el derecho a recibir respuestas motivadas y la atención prioritaria debida al accionante. Legalmente, el tribunal se fundamentó en los artículos 66.23, 35 y 36 de la Constitución de la República, que garantizan el derecho a recibir respuestas motivadas y la atención prioritaria para grupos vulnerables, así como en la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC) que regula la acción de protección.',
    'La Sala Especializada Penal de la Corte Provincial de Guayas, al aceptar el recurso de apelación en el caso No. 09802-2022-00522, revocó la sentencia de primera instancia y declaró la violación del derecho al debido proceso en la garantía básica del derecho a la defensa del Dr. Henry Wilmer Moran Moran. Específicamente, se identificaron como vulneradas las garantías contempladas en el Art. 76 Numeral 7 literales a), c), d) y h) de la Constitución de la República. Como reparación integral, se dispuso retrotraer el Sumario Administrativo N° 023-2013, seguido en su contra en calidad de Juez Provincial, al momento en que se produjo la vulneración del derecho a la defensa, es decir, la falta de notificación con el informe motivado del Director Provincial de Control Disciplinario del Guayas. Se determinó que todo lo actuado posteriormente a dicho informe carecía de valor jurídico, debiendo notificarse al accionante y continuar el trámite respetando el debido proceso.',
    'La Corte Constitucional resolvió negar la consulta de norma planteada por el juez de la Unidad Judicial Primera de Contravenciones de Quito. Sin embargo, definió que la aplicación de la Disposición General Octava del Reglamento Interno del Régimen de Transición del Seguro de Invalidez, Vejez y Muerte debe interpretarse de forma que se cumpla el requisito de "total y permanente dependencia económica" en casos donde la persona que reclama la pensión de orfandad padece una discapacidad que le impide trabajar, dependía económicamente solo del causante y de otra pensión por orfandad que ya percibía. Esta interpretación se aplica a casos análogos, garantizando así la protección de los derechos constitucionales de las personas en situaciones de vulnerabilidad.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6199, -0.0122, -0.0438]])

Evaluation

Metrics

Information Retrieval

• Datasets: legal-spanish-eval-80kq-50kd and legal-spanish-eval-30kq-50kd
• Evaluated with InformationRetrievalEvaluator

Metric	legal-spanish-eval-80kq-50kd	legal-spanish-eval-30kq-50kd
cosine_accuracy@1	0.939	0.9488
cosine_accuracy@3	0.9755	0.9802
cosine_accuracy@5	0.9832	0.9871
cosine_accuracy@10	0.9911	0.9937
cosine_precision@1	0.939	0.9488
cosine_precision@3	0.3252	0.3267
cosine_precision@5	0.1966	0.1974
cosine_precision@10	0.0991	0.0994
cosine_recall@1	0.939	0.9488
cosine_recall@3	0.9755	0.9802
cosine_recall@5	0.9832	0.9871
cosine_recall@10	0.9911	0.9937
cosine_ndcg@10	0.9667	0.9727
cosine_mrr@10	0.9586	0.9658
cosine_map@100	0.9591	0.9662

Training Details

Training Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 420,000 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 28 tokens mean: 55.26 tokens max: 103 tokens	min: 73 tokens mean: 240.75 tokens max: 592 tokens

• Samples:

  query	pos
  ¿Cuál fue la base legal y el argumento principal para la acción de protección interpuesta por el Ing. Paúl Ángel Soto Fuertes contra la Secretaría de Gestión de Riesgos en Loja?	El Ing. Paúl Ángel Soto Fuertes interpuso una Acción de Protección argumentando la violación de sus derechos constitucionales a la seguridad jurídica, al debido proceso en la garantía de la motivación, y al trabajo. Fundamentó su reclamo en la notificación intempestiva y unilateral de la cesación de sus funciones como Analista de Tecnologías de la Información y Comunicación Zonal 3 (Servidor Público 7) de la Secretaría de Gestión de Riesgos en Loja. La base legal principal para su acción se encuentra en el Art. 88 de la Constitución de la República y los artículos 39 y 40 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Específicamente, el accionante señala que su nombramiento provisional, garantizado hasta la posesión del ganador del concurso de méritos y oposición según el Art. 18 literal c) del Reglamento a la LOSEP, fue terminado sin que existiera constancia de dicho ganador. El acto violatorio se materializó mediante el Memorando Nro. SNGRE-CZ7GR-2019-152...
  ¿Bajo qué criterios la Primera Sala de la Suprema Corte de Justicia de la Nación decide no reasumir competencia en el amparo en revisión 198/2020, relacionado con la Ley Nacional de Extinción de Dominio?	La Primera Sala de la Suprema Corte de Justicia de la Nación determinó no reasumir su competencia originaria en el amparo en revisión 198/2020 porque el asunto no cumplió con los requisitos materiales de interés y trascendencia. Se argumentó que las temáticas centrales del caso, relativas a la naturaleza autoaplicativa o heteroaplicativa de los artículos reclamados de la Ley Nacional de Extinción de Dominio y la acreditación del interés legítimo por parte del promovente, ya cuentan con una amplia doctrina jurisprudencial emitida por la propia Suprema Corte. El Tribunal Colegiado solicitante, el Séptimo Tribunal Colegiado en Materia Civil del Primer Circuito, posee las bases doctrinales y jurisprudenciales suficientes para resolver el asunto. La existencia de criterios como los rubros: “INTERÉS LEGÍTIMO. CONTENIDO Y ALCANCE PARA EFECTOS DE LA PROCEDENCIA DEL JUICIO DE AMPARO (INTERPRETACIÓN DEL ARTÍCULO 107, FRACCIÓN I, DE LA CONSTITUCIÓN POLÍTICA DE LOS ESTADOS UNIDOS MEXICANOS)”, “INT...
  Según las resoluciones del Ministerio de Industrias y Productividad (MIPRO) y del Servicio de Rentas Internas (SRI) de enero de 2012, ¿cuáles son los requisitos para que los recicladores y centros de acopio obtengan la devolución del impuesto redimible sobre botellas plásticas no retornables y cuál es la tarifa establecida para dicho impuesto?	Para poder solicitar la devolución del valor correspondiente a la tarifa del impuesto redimible a las botellas plásticas no retornables, los recicladores y centros de acopio, independientemente de si son personas naturales o jurídicas, deben cumplir con un requisito previo fundamental: obtener su registro y certificación ante el Ministerio de Industrias y Productividad (MIPRO). Los requisitos específicos varían según la naturaleza del solicitante. Para las personas naturales, la documentación exigida incluye una copia del Registro Único de Contribuyentes (RUC) en Régimen General, copias de la cédula de ciudadanía y de la papeleta de votación, además de una licencia o permiso ambiental válido, el cual debe ser otorgado por el Ministerio de Ambiente o por la Autoridad Ambiental de Aplicación Responsable (AAAR) que esté debidamente acreditada en el Sistema Descentralizado de Gestión Ambiental. En el caso de las personas jurídicas, se requiere la presentación de una copia del RUC, el nombr...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Evaluation Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 50,000 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 27 tokens mean: 55.01 tokens max: 99 tokens	min: 80 tokens mean: 237.46 tokens max: 747 tokens

• Samples:

  query	pos
  ¿Por qué la Sala de lo Civil de Pichincha desestimó la acción de protección del suboficial Martínez Castro, argumentando que su pretensión era de mera legalidad y no de control constitucional?	La Sala desestimó la acción de protección al determinar que la pretensión del suboficial Martínez Castro no se encuadraba en los supuestos de procedencia de la acción de protección, sino que planteaba un asunto de mera legalidad. El accionante buscaba que el Tribunal asumiera las funciones del Consejo de Clases y Policías de la Policía Nacional para discernir sobre la concesión de una condecoración, lo cual implicaría un control de legalidad de procedimientos reglamentarios y no una vulneración manifiesta de derechos constitucionales. La Sala recordó que, conforme al Artículo 173 de la Constitución, este tipo de impugnaciones deben ventilarse en la vía administrativa o ante el contencioso administrativo.
  ¿Bajo qué condiciones específicas un socio de la Cooperativa de Transporte en Taxis "12 DE FEBRERO" puede ser excluido o expulsado según sus estatutos reformados en enero de 2006?	Según los estatutos reformados de la Cooperativa de Transporte en Taxis "12 DE FEBRERO", un socio puede ser excluido por el Consejo de Administración o la asamblea general en casos de infringir reiteradamente las disposiciones legales, reglamentarias, estatutarias o las resoluciones de los organismos de la cooperativa, siempre que estas faltas no constituyan motivo de expulsión. También procede la exclusión por incumplimiento en el pago de certificados de aportación y cuotas aprobadas en asamblea general, después de haber sido requerido por escrito por la Gerencia en más de tres ocasiones, mediando ocho días entre cada requerimiento. Se considera mora cuando un socio deja de pagar tres mensualidades consecutivas. La expulsión, que es una sanción más grave, puede ser acordada por el Consejo de Administración o la asamblea general previa comprobación de cargos, en casos como actividad política o religiosa dentro de la cooperativa, mala conducta notoria, malversación de fondos, delitos co...
  ¿Cuál fue la decisión del Pleno de la Corte Constitucional respecto a la publicación del Registro Oficial y sus productos en el año 2019?	El Pleno de la Corte Constitucional, a través de la Resolución Administrativa No. 010-AD-CC-2019, determinó la gratuidad de la publicación virtual del Registro Oficial y sus productos. Adicionalmente, se resolvió la eliminación de la publicación en sustrato de papel, estableciendo esto como un derecho de acceso gratuito a la información para la ciudadanía ecuatoriana.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• learning_rate: 1.5e-05
• num_train_epochs: 1
• warmup_ratio: 0.03
• fp16: True
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.03
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	legal-spanish-eval-80kq-50kd_cosine_ndcg@10	legal-spanish-eval-30kq-50kd_cosine_ndcg@10
-1	-1	-	-	0.8946	-
0.0061	20	0.0876	-	-	-
0.0122	40	0.0184	-	-	-
0.0183	60	0.016	-	-	-
0.0244	80	0.0155	-	-	-
0.0305	100	0.016	0.0168	0.9347	-
0.0366	120	0.0156	-	-	-
0.0427	140	0.0166	-	-	-
0.0488	160	0.0146	-	-	-
0.0548	180	0.0225	-	-	-
0.0609	200	0.0151	0.0155	0.9370	-
0.0670	220	0.0182	-	-	-
0.0731	240	0.0141	-	-	-
0.0792	260	0.0154	-	-	-
0.0853	280	0.0142	-	-	-
0.0914	300	0.0141	0.0143	0.9395	-
0.0975	320	0.0161	-	-	-
0.1036	340	0.0178	-	-	-
0.1097	360	0.0151	-	-	-
0.1158	380	0.0098	-	-	-
0.1219	400	0.0095	0.0103	0.9459	-
0.1280	420	0.0121	-	-	-
0.1341	440	0.0113	-	-	-
0.1402	460	0.0093	-	-	-
0.1463	480	0.0107	-	-	-
0.1523	500	0.0128	0.0128	0.9426	-
0.1584	520	0.0112	-	-	-
0.1645	540	0.0117	-	-	-
0.1706	560	0.0103	-	-	-
0.1767	580	0.0111	-	-	-
0.1828	600	0.0114	0.0111	0.9447	-
0.1889	620	0.0098	-	-	-
0.1950	640	0.0151	-	-	-
0.2011	660	0.0161	-	-	-
0.2072	680	0.0157	-	-	-
0.2133	700	0.0078	0.0111	0.9427	-
0.2194	720	0.0107	-	-	-
0.2255	740	0.012	-	-	-
0.2316	760	0.0109	-	-	-
0.2377	780	0.0115	-	-	-
0.2438	800	0.0103	0.0103	0.9467	-
0.2498	820	0.007	-	-	-
0.2559	840	0.0099	-	-	-
0.2620	860	0.0091	-	-	-
0.2681	880	0.0096	-	-	-
0.2742	900	0.0078	0.0086	0.9516	-
0.2803	920	0.0099	-	-	-
0.2864	940	0.0112	-	-	-
0.2925	960	0.0121	-	-	-
0.2986	980	0.0087	-	-	-
0.3047	1000	0.0131	0.0083	0.9502	-
0.3108	1020	0.0097	-	-	-
0.3169	1040	0.009	-	-	-
0.3230	1060	0.0066	-	-	-
0.3291	1080	0.0082	-	-	-
0.3352	1100	0.0087	0.0081	0.9498	-
0.3413	1120	0.0074	-	-	-
0.3473	1140	0.0084	-	-	-
0.3534	1160	0.0097	-	-	-
0.3595	1180	0.0067	-	-	-
0.3656	1200	0.0071	0.0085	0.9518	-
0.3717	1220	0.0073	-	-	-
0.3778	1240	0.01	-	-	-
0.3839	1260	0.0072	-	-	-
0.3900	1280	0.0059	-	-	-
0.3961	1300	0.006	0.0070	0.9557	-
0.4022	1320	0.0048	-	-	-
0.4083	1340	0.0068	-	-	-
0.4144	1360	0.0061	-	-	-
0.4205	1380	0.0041	-	-	-
0.4266	1400	0.0067	0.0071	0.9558	-
0.4327	1420	0.0082	-	-	-
0.4388	1440	0.0068	-	-	-
0.4449	1460	0.0055	-	-	-
0.4509	1480	0.0043	-	-	-
0.4570	1500	0.0037	0.0069	0.9542	-
0.4631	1520	0.0109	-	-	-
0.4692	1540	0.0088	-	-	-
0.4753	1560	0.0068	-	-	-
0.4814	1580	0.0044	-	-	-
0.4875	1600	0.0045	0.0065	0.9577	-
0.4936	1620	0.0066	-	-	-
0.4997	1640	0.0058	-	-	-
0.5058	1660	0.0032	-	-	-
0.5119	1680	0.0068	-	-	-
0.5180	1700	0.0041	0.0066	0.9587	-
0.5241	1720	0.0076	-	-	-
0.5302	1740	0.0061	-	-	-
0.5363	1760	0.0055	-	-	-
0.5424	1780	0.0082	-	-	-
0.5484	1800	0.0065	0.0059	0.9582	-
0.5545	1820	0.0048	-	-	-
0.5606	1840	0.0067	-	-	-
0.5667	1860	0.0076	-	-	-
0.5728	1880	0.0041	-	-	-
0.5789	1900	0.0044	0.0058	0.9590	-
0.5850	1920	0.0079	-	-	-
0.5911	1940	0.0059	-	-	-
0.5972	1960	0.0068	-	-	-
0.6033	1980	0.0041	-	-	-
0.6094	2000	0.0099	0.0056	0.9589	-
0.6155	2020	0.008	-	-	-
0.6216	2040	0.0068	-	-	-
0.6277	2060	0.0103	-	-	-
0.6338	2080	0.0046	-	-	-
0.6399	2100	0.006	0.0054	0.9618	-
0.6459	2120	0.0039	-	-	-
0.6520	2140	0.0037	-	-	-
0.6581	2160	0.0044	-	-	-
0.6642	2180	0.0077	-	-	-
0.6703	2200	0.0052	0.0052	0.9608	-
0.6764	2220	0.0035	-	-	-
0.6825	2240	0.0031	-	-	-
0.6886	2260	0.0039	-	-	-
0.6947	2280	0.003	-	-	-
0.7008	2300	0.0063	0.0050	0.9634	-
0.7069	2320	0.0027	-	-	-
0.7130	2340	0.0052	-	-	-
0.7191	2360	0.0055	-	-	-
0.7252	2380	0.0049	-	-	-
0.7313	2400	0.0047	0.0048	0.9637	-
0.7374	2420	0.0032	-	-	-
0.7434	2440	0.0048	-	-	-
0.7495	2460	0.0043	-	-	-
0.7556	2480	0.0042	-	-	-
0.7617	2500	0.0055	0.0047	0.9630	-
0.7678	2520	0.0045	-	-	-
0.7739	2540	0.0039	-	-	-
0.7800	2560	0.0054	-	-	-
0.7861	2580	0.0054	-	-	-
0.7922	2600	0.0057	0.0047	0.9640	-
0.7983	2620	0.0053	-	-	-
0.8044	2640	0.0047	-	-	-
0.8105	2660	0.0049	-	-	-
0.8166	2680	0.0046	-	-	-
0.8227	2700	0.0036	0.0046	0.9654	-
0.8288	2720	0.0026	-	-	-
0.8349	2740	0.0071	-	-	-
0.8410	2760	0.0033	-	-	-
0.8470	2780	0.0029	-	-	-
0.8531	2800	0.0038	0.0045	0.9651	-
0.8592	2820	0.0042	-	-	-
0.8653	2840	0.0033	-	-	-
0.8714	2860	0.0034	-	-	-
0.8775	2880	0.0025	-	-	-
0.8836	2900	0.0045	0.0045	0.9651	-
0.8897	2920	0.0025	-	-	-
0.8958	2940	0.0042	-	-	-
0.9019	2960	0.0041	-	-	-
0.9080	2980	0.0051	-	-	-
0.9141	3000	0.0028	0.0043	0.9660	-
0.9202	3020	0.0034	-	-	-
0.9263	3040	0.0031	-	-	-
0.9324	3060	0.0048	-	-	-
0.9385	3080	0.0035	-	-	-
0.9445	3100	0.0034	0.0042	0.9663	-
0.9506	3120	0.0056	-	-	-
0.9567	3140	0.0037	-	-	-
0.9628	3160	0.0038	-	-	-
0.9689	3180	0.0056	-	-	-
0.9750	3200	0.0062	0.0041	0.9666	-
0.9811	3220	0.0029	-	-	-
0.9872	3240	0.0022	-	-	-
0.9933	3260	0.0028	-	-	-
0.9994	3280	0.0027	-	-	-
-1	-1	-	-	0.9667	0.9727

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.0.dev0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}