johnweak132/improve_halong

SentenceTransformer based on hiieu/halong_embedding

This is a sentence-transformers model finetuned from hiieu/halong_embedding. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: hiieu/halong_embedding
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("johnweak132/improve_halong")
# Run inference
sentences = [
    'Trách nhiệm của Ban Điều hành cấp Trường đối với CTTN là gì?',
    'Điều  5.\tTrách nhiệm của Ban Điều hành cấp Trường\nĐề xuất phương hướng và xét duyệt kế hoạch phát triển CTTN của Trường để trình Ban Giám hiệu trường và BĐH của ĐHQG HCM. \nChuẩn bị các điều kiện cơ sở vật chất; tài chính; chương trình đào tạo; tổ chức xây dựng qui chế quy định liên quan tới việc tuyển chọn và chế độ chính sách phục vụ nhằm đảm bảo cho chương trình hoạt động có hiệu quả.\nTổ chức xét tuyển và triển khai hoạt động của chương trình theo quy định.\nChỉ đạo và theo dõi việc thực hiện chương trình tại các đơn vị.\nĐịnh kỳ báo cáo Ban Giám hiệu về các hoạt động của chương trình.',
    'Điều  3. Quy định về tổ chức đào tạo \n1) Đăng ký học phần\n- Các đối tượng được đăng ký học các lớp học phần mở theo quy định này: \na) Sinh viên chính quy đã quá hạn theo thiết kế chương trình đào tạo;  \nb) Sinh viên chính quy chưa quá hạn theo thiết kế chương trình đào tạo chỉ được phép đăng ký học lại, học cải thiện; ngoại trừ trường hợp với các môn ngoại ngữ thì được phép đăng ký học mới; \nc) Người học không phải sinh viên chính quy của Trường nhưng được Trường cho phép đăng ký học tập để tích lũy kiến thức hoặc để hoàn thành chương trình đào tạo; \nd) Các tình huống đặc biệt khác cần có sự đồng ý của Trưởng phòng Đào tạo Đại học.\n- Dựa trên kết quả đăng ký học phần, các lớp được duyệt mở với số lượng tối thiểu là 15 người học, trường hợp đặc biệt do Hiệu trưởng xem xét, phê duyệt.\n- Các lớp ngoài giờ hành chính có thể được mở nhiều đợt trong năm học.\n- Người học thực hiện đăng ký học phần trên hệ thống phần mềm của Trường. \n2) Hình thức giảng dạy, trách nhiệm của cán bộ giảng dạy\n- Thời gian dạy - học theo khung sau: \n+ 17g45 - 20g30 từ thứ hai đến thứ bảy,\n+ 7g30 – 11g30, 13g00 – 17g00 và 17g45 - 20g30 ngày chủ nhật.\n- Thời khóa biểu mỗi lớp phải đảm bảo đủ thời lượng phân bổ của môn học trong chương trình đào tạo. Phần lý thuyết tổ chức giảng dạy như trong đề cương của môn học. Phần thực hành có thể tổ chức giảng dạy theo hình thức 1 (giảng dạy theo thời khóa biểu) hoặc hình thức 2 (tổ chức ít nhất 3 buổi gặp trực tiếp sinh viên để hướng dẫn và giải đáp thắc mắc của sinh viên trong quá trình thực hiện các nội dung thực hành) tùy theo tính chất của môn học. \n- Hình thức dạy - học có thể là trực tiếp hoặc trực tuyến. Đơn vị quản lý chuyên môn của môn học quyết định hình thức giảng dạy.\n3) Quản lý quá trình học tập\n- Đối với sinh viên đang học của Trường: Các đơn vị liên quan trong Trường thực hiện quản lý như các lớp chính quy học trong giờ hành chính.\n- Đối với người học khác: Trường cấp mã người học cùng các tài khoản liên quan để tham gia học tập. Phòng Đào tạo Đại học có trách nhiệm quản lý chung đối với người học thuộc diện này.\n4) Kiểm tra, đánh giá môn học\n- Việc tổ chức kiểm tra, đánh giá môn học được thực hiện theo những quy định đào tạo đại học hiện hành như áp dụng đối với các lớp chính quy trong giờ hành chính. \n- Dựa trên thời điểm mở lớp và kết thúc lớp, Phòng Đào tạo Đại học quyết định việc tính điểm học phần cho học kỳ nào.\n5) Cấp bảng điểm\n- Người học được quyền yêu cầu cung cấp bảng điểm của học phần đã hoàn thành theo quy định.\n- Các đơn vị chức năng của Trường có trách nhiệm cấp bảng điểm theo yêu cầu của người học.     ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768 and dim_512
• Evaluated with InformationRetrievalEvaluator

Metric	dim_768	dim_512
cosine_accuracy@1	0.8005	0.8005
cosine_accuracy@3	0.9567	0.9582
cosine_accuracy@5	0.9865	0.9875
cosine_accuracy@10	0.9992	0.9988
cosine_precision@1	0.8005	0.8005
cosine_precision@3	0.3195	0.3201
cosine_precision@5	0.1978	0.198
cosine_precision@10	0.1002	0.1002
cosine_recall@1	0.7996	0.7996
cosine_recall@3	0.9564	0.958
cosine_recall@5	0.9864	0.9874
cosine_recall@10	0.9992	0.9988
cosine_ndcg@10	0.9108	0.9111
cosine_mrr@10	0.8812	0.8816
cosine_map@100	0.8812	0.8817

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,731 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 7 tokens mean: 21.45 tokens max: 64 tokens	min: 21 tokens mean: 342.77 tokens max: 512 tokens

• Samples:

  anchor	positive
  Sinh viên dự bị không trở thành sinh viên chính thức bao nhiêu học kỳ sẽ bị loại khỏi CTTN?	Điều 9. Tuyển bổ sung và loại ra khỏi chương trình, xét chính thức và dự bị Đối tượng tham gia CTTN là những sinh viên có năng lực xuất sắc, do đó, sau mỗi học kỳ BĐH quyết định việc loại sinh viên khỏi lớp tài năng, tuyển bổ sung sinh viên từ chương trình chuẩn vào lớp tài năng, xét chuyển đổi sinh viên chính thức và dự bị. Đầu mỗi học kỳ, Khoa xét và đề nghị lên BĐH các danh sách sinh viên tuyển bổ sung, bị loại ra khỏi các lớp CTTN hoặc danh sách sinh viên chính thức và dự bị theo các tiêu chuẩn như sau: 1. Loại khỏi chương trình Tại thời điểm xem xét, sinh viên rơi vào một trong các trường hợp sau: - Chưa tốt nghiệp khi đã quá thời gian thiết kế của khóa học và không có lý do đặc biệt. - Không đăng ký học đầy đủ các môn học CTTN bắt buộc trong học kỳ. - ĐTBTL nhỏ hơn 6,5 – tính tương ứng sau học kỳ 1 và sau học kỳ hè (kết quả học tập của học kỳ hè sẽ được tính chung vào kết quả học tập học kỳ 2 của năm học tương ứng). - Số tín chỉ tích lũy (STCTL) so với tiến độ CTĐT nhỏ hơn 80% n...
  Các mức điểm xếp lớp tiếng Anh được Hiệu trưởng quyết định điều chỉnh như thế nào?	Điều 4. Kiểm tra xếp lớp đầu khóa cho sinh viên thuộc CTC, CTTN, CTTT 1. Vào đầu khóa học, Trường tổ chức kiểm tra tiếng Anh để xếp lớp cho tất cả sinh viên khóa tuyển mới. Đề kiểm tra xếp lớp đầu khóa có dạng thức như đề thi TOEIC 2 kỹ năng (nghe và đọc). Căn cứ vào kết quả kiểm tra tiếng Anh, sinh viên được xếp vào lớp tiếng Anh phù hợp với trình độ của sinh viên theo thông tin xếp lớp đầu khoá. Tùy theo tình hình thực tế, các mức điểm có thể được Hiệu trưởng quyết định điều chỉnh theo đề xuất hợp lý của bộ phận chuyên môn. 2. Xếp lớp đầu khóa Điểm kiểm tra(dạng thức TOEIC nghe và đọc) Dưới 300 điểm sẽ không được học Anh văn 1 (mã môn ENG01), được đăng ký học Anh văn sơ cấp ngoài CTĐT chính quy do Trung tâm Ngoại ngữ phụ trách (không bắt buộc). Từ 300 – 345 điểm sẽ Học Anh Văn 1 (Mã môn ENG01) Từ 350 – 395 điểm sẽ Miễn Anh văn 1 (mã môn ENG01) và Học Anh văn 2 (mã môn ENG02). Từ 400-445 sẽ miễn anh văn 1 (mã môn ENG01), anh văn 2 (mã môn ENG02) và học anh văn 3 ...
  Trình độ tiếng Nhật đạt N mấy mới thì sinh viên CT CLC mới được công nhận xét tốt nghiệp được?	Điều 5. Chương trình đào tạo CT CLC được xây dựng trên nền chương trình đào tạo đại trà tương ứng và theo quy định xây dựng chương trình đào tạo của Trường ĐHCNTT. CT CLC có sự khác biệt so với chương trình đại trà ở những điểm dưới đây: - Chuẩn đầu ra của CT CLC phải cao hơn chuẩn đầu ra của chương trình đại trà tương ứng về năng lực chuyên môn; năng lực ngoại ngữ; năng lực làm việc nhóm; khả năng thích nghi với môi trường công tác. - Chuẩn đầu ra ngoại ngữ: để được xét tốt nghiệp, sinh viên phải hoàn tất chương trình ngoại ngữ bắt buộc trong chương trình đào tạo và có một trong các chứng chỉ ngoại ngữ đạt trình độ tối thiểu: • Tiếng Anh: bậc 4/6 theo khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam. Cụ thể mức quy đổi sang các chứng chỉ quốc tế được quy định trong Quy định đào tạo ngoại ngữ hiện hành của Trường. • Tiếng Nhật: tương đương JLPT N3. - Để đảm bảo tính liên thông giữa CT CLC và chương trình đại trà, chương trình đào tạo của CT CL...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_eval_batch_size: 4
• gradient_accumulation_steps: 4
• learning_rate: 2e-05
• num_train_epochs: 10
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10
0	0	-	0.7318	0.7214
0.0414	10	0.7368	0.7343	0.7227
0.0827	20	0.5688	0.7401	0.7312
0.1241	30	0.498	0.7500	0.7409
0.1655	40	0.5769	0.7591	0.7507
0.2068	50	0.4096	0.7665	0.7586
0.2482	60	0.4239	0.7727	0.7652
0.2896	70	0.4151	0.7786	0.7727
0.3309	80	0.3503	0.7819	0.7756
0.3723	90	0.4208	0.7826	0.7783
0.4137	100	0.3938	0.7859	0.7804
0.4550	110	0.4076	0.7919	0.7875
0.4964	120	0.3198	0.7977	0.7929
0.5377	130	0.406	0.8035	0.8002
0.5791	140	0.2225	0.8061	0.8043
0.6205	150	0.2815	0.8062	0.8047
0.6618	160	0.2484	0.8084	0.8080
0.7032	170	0.2434	0.8083	0.8073
0.7446	180	0.3225	0.8129	0.8118
0.7859	190	0.3237	0.8219	0.8204
0.8273	200	0.2703	0.8292	0.8283
0.8687	210	0.3543	0.8330	0.8309
0.9100	220	0.3548	0.8323	0.8298
0.9514	230	0.2903	0.8323	0.8307
0.9928	240	0.2923	0.8349	0.8324
1.0331	250	0.3055	0.8366	0.8359
1.0745	260	0.2413	0.8413	0.8390
1.1158	270	0.2249	0.8399	0.8355
1.1572	280	0.2143	0.8412	0.8390
1.1986	290	0.2215	0.8469	0.8460
1.2399	300	0.193	0.8516	0.8490
1.2813	310	0.1589	0.8511	0.8486
1.3226	320	0.1542	0.8445	0.8403
1.3640	330	0.1936	0.8426	0.8395
1.4054	340	0.1796	0.8375	0.8345
1.4467	350	0.2159	0.8403	0.8373
1.4881	360	0.1197	0.8440	0.8426
1.5295	370	0.2057	0.8534	0.8528
1.5708	380	0.1223	0.8583	0.8584
1.6122	390	0.1257	0.8556	0.8562
1.6536	400	0.1403	0.8576	0.8577
1.6949	410	0.1042	0.8566	0.8555
1.7363	420	0.1181	0.8568	0.8564
1.7777	430	0.1587	0.8600	0.8594
1.8190	440	0.1112	0.8623	0.8641
1.8604	450	0.1347	0.8635	0.8657
1.9018	460	0.1572	0.8670	0.8675
1.9431	470	0.0916	0.8671	0.8669
1.9845	480	0.1084	0.8700	0.8697
2.0248	490	0.1029	0.8700	0.8696
2.0662	500	0.094	0.8753	0.8738
2.1075	510	0.0858	0.8710	0.8693
2.1489	520	0.0793	0.8784	0.8761
2.1903	530	0.07	0.8777	0.8772
2.2316	540	0.0884	0.8740	0.8734
2.2730	550	0.0636	0.8765	0.8750
2.3144	560	0.0486	0.8728	0.8720
2.3557	570	0.0993	0.8722	0.8718
2.3971	580	0.0637	0.8712	0.8710
2.4385	590	0.0751	0.8701	0.8697
2.4798	600	0.0888	0.8690	0.8681
2.5212	610	0.0759	0.8649	0.8655
2.5626	620	0.0746	0.8700	0.8692
2.6039	630	0.0546	0.8686	0.8697
2.6453	640	0.0446	0.8722	0.8735
2.6867	650	0.0586	0.8689	0.8721
2.7280	660	0.0406	0.8725	0.8739
2.7694	670	0.0545	0.8745	0.8735
2.8108	680	0.0559	0.8753	0.8747
2.8521	690	0.0601	0.8763	0.8774
2.8935	700	0.0703	0.8830	0.8829
2.9349	710	0.025	0.8866	0.8864
2.9762	720	0.0497	0.8869	0.8852
3.0165	730	0.0581	0.8855	0.8846
3.0579	740	0.0433	0.8809	0.8818
3.0993	750	0.0379	0.8827	0.8828
3.1406	760	0.0329	0.8818	0.8819
3.1820	770	0.0335	0.8856	0.8840
3.2234	780	0.0538	0.8872	0.8874
3.2647	790	0.0203	0.8850	0.8822
3.3061	800	0.0311	0.8836	0.8822
3.3475	810	0.0446	0.8812	0.8796
3.3888	820	0.0298	0.8808	0.8801
3.4302	830	0.0349	0.8808	0.8802
3.4716	840	0.027	0.8809	0.8808
3.5129	850	0.03	0.8801	0.8806
3.5543	860	0.032	0.8834	0.8832
3.5957	870	0.0177	0.8839	0.8836
3.6370	880	0.0241	0.8835	0.8837
3.6784	890	0.0314	0.8836	0.8843
3.7198	900	0.0125	0.8854	0.8867
3.7611	910	0.0201	0.8850	0.8861
3.8025	920	0.0213	0.8881	0.8879
3.8438	930	0.0202	0.8857	0.8855
3.8852	940	0.0326	0.8849	0.8860
3.9266	950	0.0169	0.8856	0.8870
3.9679	960	0.0413	0.8903	0.8907
4.0083	970	0.0137	0.8935	0.8945
4.0496	980	0.038	0.8948	0.8956
4.0910	990	0.0227	0.8926	0.8946
4.1324	1000	0.0138	0.8924	0.8920
4.1737	1010	0.0156	0.8933	0.8940
4.2151	1020	0.0364	0.8948	0.8955
4.2565	1030	0.0152	0.8961	0.8966
4.2978	1040	0.0108	0.8930	0.8931
4.3392	1050	0.0283	0.8888	0.8905
4.3806	1060	0.0151	0.8929	0.8933
4.4219	1070	0.0196	0.8926	0.8931
4.4633	1080	0.0175	0.8947	0.8957
4.5047	1090	0.0145	0.8952	0.8942
4.5460	1100	0.0177	0.8962	0.8970
4.5874	1110	0.0067	0.8971	0.8971
4.6287	1120	0.0098	0.8972	0.8976
4.6701	1130	0.0163	0.8950	0.8950
4.7115	1140	0.007	0.8927	0.8931
4.7528	1150	0.0055	0.8929	0.8935
4.7942	1160	0.0141	0.8940	0.8951
4.8356	1170	0.0086	0.8913	0.8940
4.8769	1180	0.0174	0.8949	0.8947
4.9183	1190	0.0106	0.8968	0.8974
4.9597	1200	0.0143	0.8984	0.9000
5.0	1210	0.0083	0.9002	0.9012
5.0414	1220	0.0185	0.9020	0.9022
5.0827	1230	0.0073	0.9035	0.9039
5.1241	1240	0.0075	0.9035	0.9047
5.1655	1250	0.0096	0.9029	0.9034
5.2068	1260	0.0212	0.9012	0.9017
5.2482	1270	0.0071	0.9012	0.9025
5.2896	1280	0.0064	0.9031	0.9039
5.3309	1290	0.0058	0.9031	0.9036
5.3723	1300	0.0132	0.9015	0.9029
5.4137	1310	0.0067	0.9020	0.9030
5.4550	1320	0.0108	0.9023	0.9034
5.4964	1330	0.0062	0.9003	0.9017
5.5377	1340	0.0112	0.8998	0.9017
5.5791	1350	0.0034	0.9018	0.9035
5.6205	1360	0.0042	0.9025	0.9043
5.6618	1370	0.0084	0.9033	0.9050
5.7032	1380	0.0047	0.9022	0.9043
5.7446	1390	0.0039	0.9010	0.9017
5.7859	1400	0.0076	0.9021	0.9029
5.8273	1410	0.0042	0.9012	0.9027
5.8687	1420	0.0108	0.9023	0.9026
5.9100	1430	0.0057	0.9037	0.9037
5.9514	1440	0.0078	0.9044	0.9053
5.9928	1450	0.0048	0.9044	0.9053
6.0331	1460	0.0225	0.9049	0.9047
6.0745	1470	0.0046	0.9052	0.9046
6.1158	1480	0.0046	0.9062	0.9061
6.1572	1490	0.006	0.9083	0.9082
6.1986	1500	0.0051	0.9081	0.9084
6.2399	1510	0.0233	0.9082	0.9081
6.2813	1520	0.0032	0.9093	0.9096
6.3226	1530	0.0031	0.9079	0.9086
6.3640	1540	0.0067	0.9073	0.9074
6.4054	1550	0.0056	0.9065	0.9067
6.4467	1560	0.0042	0.9053	0.9063
6.4881	1570	0.0044	0.9048	0.9055
6.5295	1580	0.0054	0.9048	0.9060
6.5708	1590	0.0038	0.9049	0.9060
6.6122	1600	0.0034	0.9058	0.9070
6.6536	1610	0.0032	0.9063	0.9078
6.6949	1620	0.0021	0.9062	0.9078
6.7363	1630	0.0023	0.9057	0.9075
6.7777	1640	0.0032	0.9061	0.9071
6.8190	1650	0.0026	0.9057	0.9070
6.8604	1660	0.0055	0.9056	0.9067
6.9018	1670	0.0042	0.9060	0.9063
6.9431	1680	0.0025	0.9065	0.9066
6.9845	1690	0.0038	0.9076	0.9086
7.0248	1700	0.018	0.9076	0.9085
7.0662	1710	0.0027	0.9084	0.9094
7.1075	1720	0.0024	0.9093	0.9092
7.1489	1730	0.0033	0.9101	0.9102
7.1903	1740	0.0022	0.9104	0.9106
7.2316	1750	0.0235	0.9109	0.9113
7.2730	1760	0.0022	0.9108	0.9116
7.3144	1770	0.0017	0.9109	0.9112
7.3557	1780	0.0042	0.9101	0.9103
7.3971	1790	0.0033	0.9090	0.9094
7.4385	1800	0.0025	0.9086	0.9092
7.4798	1810	0.0032	0.9084	0.9093
7.5212	1820	0.0029	0.9082	0.9088
7.5626	1830	0.0033	0.9083	0.9089
7.6039	1840	0.0022	0.9084	0.9085
7.6453	1850	0.0016	0.9084	0.9089
7.6867	1860	0.0027	0.9086	0.9089
7.7280	1870	0.0018	0.9087	0.9094
7.7694	1880	0.0022	0.9090	0.9092
7.8108	1890	0.0024	0.9085	0.9092
7.8521	1900	0.0052	0.9088	0.9092
7.8935	1910	0.0032	0.9087	0.9089
7.9349	1920	0.0012	0.9091	0.9097
7.9762	1930	0.0025	0.9100	0.9103
8.0165	1940	0.0135	0.9101	0.9106
8.0579	1950	0.0022	0.9104	0.9109
8.0993	1960	0.0022	0.9105	0.9110
8.1406	1970	0.0023	0.9113	0.9115
8.1820	1980	0.0019	0.9111	0.9118
8.2234	1990	0.023	0.9115	0.9121
8.2647	2000	0.0016	0.9118	0.9120
8.3061	2010	0.0015	0.9123	0.9129
8.3475	2020	0.0027	0.9124	0.9129
8.3888	2030	0.004	0.9124	0.9125
8.4302	2040	0.0021	0.9126	0.9123
8.4716	2050	0.0025	0.9123	0.9122
8.5129	2060	0.0019	0.9118	0.9122
8.5543	2070	0.0039	0.9112	0.9119
8.5957	2080	0.0013	0.9111	0.9119
8.6370	2090	0.0015	0.9108	0.9114
8.6784	2100	0.003	0.9108	0.9113
8.7198	2110	0.0013	0.9108	0.9116
8.7611	2120	0.0021	0.9109	0.9109
8.8025	2130	0.002	0.9103	0.9110
8.8438	2140	0.0016	0.9102	0.9107
8.8852	2150	0.0033	0.9102	0.9107
8.9266	2160	0.0011	0.9102	0.9110
8.9679	2170	0.002	0.9105	0.9109
9.0083	2180	0.0017	0.9102	0.9109
9.0496	2190	0.0107	0.9101	0.9110
9.0910	2200	0.0021	0.9106	0.9107
9.1324	2210	0.0019	0.9105	0.9108
9.1737	2220	0.002	0.9105	0.9108
9.2151	2230	0.0223	0.9104	0.9108
9.2565	2240	0.0017	0.9110	0.9111
9.2978	2250	0.0012	0.9110	0.9111
9.3392	2260	0.0031	0.9109	0.9112
9.3806	2270	0.003	0.9111	0.9114
9.4219	2280	0.0019	0.9112	0.9112
9.4633	2290	0.0023	0.9112	0.9111
9.5047	2300	0.0016	0.9110	0.9110
9.5460	2310	0.0026	0.9112	0.9112
9.5874	2320	0.0011	0.9108	0.9111
9.6287	2330	0.0018	0.9112	0.9111
9.6701	2340	0.0019	0.9111	0.9111
9.7115	2350	0.0011	0.9111	0.9112
9.7528	2360	0.0013	0.9110	0.9111
9.7942	2370	0.0023	0.9110	0.9112
9.8356	2380	0.0018	0.9110	0.9110
9.8769	2390	0.0028	0.9113	0.9113
9.9183	2400	0.002	0.9108	0.9113
9.9597	2410	0.0025	0.9108	0.9111

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}