Upload README.md with huggingface_hub

README.md

@@ -1,377 +1,92 @@
 ---
+language:
+- ru
+license: apache-2.0
+library_name: sentence-transformers
 tags:
 - sentence-transformers
-- sentence-similarity
 - feature-extraction
-- generated_from_trainer
-- dataset_size:20000
-- loss:TripletLoss
+- sentence-similarity
+- semantic-search
+- russian
+- domain-adaptation
 base_model: sentence-transformers/all-MiniLM-L6-v2
-widget:
-- source_sentence: С 19 декабря 2014 по 16 марта 2016 года являлся заместителем акима
-    г. Астана.
-  sentences:
-  - Прохладные места ему нравятся, почвы слабо кислые или нейтральные, не очень требователен
-    к почвам.
-  - Являлся заместителем акима г. Астана с 19 декабря 2014 по 16 марта 2016 года.
-  - Никогда не был заместителем акима г. Астана.
-- source_sentence: Вновь игроку предстоит управлять действиями сверхчеловека, Коула
-    МакГрата, получившего способность управлять электричеством при взрыве «лучевой
-    сферы».
-  sentences:
-  - Широкие у талии штаны и рубашка европейского покроя - это классическая мужская
-    одежда.
-  - Игрок больше не сможет управлять действиями сверхчеловека, Коула МакГрата, который
-    потерял способность управлять электричеством после взрыва «лучевой сферы».
-  - Игроку снова придется управлять поступками сверхчеловека, Коула МакГрата, который
-    получил способность манипулировать электричеством после взрыва «лучевой сферы».
-- source_sentence: Дире́ктор (от  — от "di" и "regere" — «управлять», мн. ч. — директора́;
-    устар. жен. — директриса) — управляющий, руководитель, начальник компании, предприятия
-    или учебного заведения.
-  sentences:
-  - В возрасте трёх лет, Муад’Диб в битве за власть над Арракисом, убил барона Владимира
-    Харконнена гом джаббаром Атрейдесов.
-  - Работник (от  — от "di" и "regere" — «управлять», мн. ч. — работники; устар. жен.
-    — работница) — подчинённый, исполнитель, служащий компании, предприятия или учебного
-    заведения.
-  - Управляющий (от  — от "di" и "regere" — «управлять», мн. ч. — управляющие; устар.
-    жен. — управляющая) — директор, руководитель, начальник компании, предприятия
-    или учебного заведения.
-- source_sentence: Чтобы хоть как-то обезопасить себя, гитлеровцы посадили за руль
-    автомашин советских военнопленных.
-  sentences:
-  - Генеральный директор Национального медико-хирургического центра имени Н. И. Пирогова
-    с 2006 года и по сегодняшний день.
-  - Гитлеровцы посадили за руль автомашин советских военнопленных, чтобы обезопасить
-    себя хоть как-то.
-  - Гитлеровцы не обезопасили себя, посадив за руль автомашин советских военнопленных.
-- source_sentence: 'Данные по статусу эксплуатации и распределению составов по номерам
-    по состоянию на июль 2018 года приведены в таблице: Первые два электропоезда ЭШ2
-    в конце 2014 года поступили в депо имени Ильича и вскоре были отправлены для проведения
-    опытных поездок на кольцо ВНИИЖТа в Щербинке.'
-  sentences:
-  - У истока ручья Ольшанец, впадающего в реку Залегощь, находится в 12 км от райцентра
-    Залегощи.
-  - 'Данные по статусу эксплуатации и распределению составов по номерам по состоянию
-    на июль 2018 года не указаны в таблице: Первые два электропоезда ЭШ2 в конце 2014
-    года не были отправлены в депо имени Ильича и не совершали опытных поездок на
-    кольцо ВНИИЖТа в Щербинке.'
-  - 'В таблице представлены данные о состоянии эксплуатации и распределении составов
-    по номерам на июль 2018 года: Первые два поезда ЭШ2 были доставлены в депо имени
-    Ильича в конце 2014 года и затем отправлены на кольцо ВНИИЖТа в Щербинке для проведения
-    тестовых поездок.'
+datasets:
+- deepvk/ru-HNP
+- ai-forever/rubq-retrieval
+metrics:
+- recall
 pipeline_tag: sentence-similarity
-library_name: sentence-transformers
 ---
 
-# SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2
-
-This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for retrieval.
+# all-MiniLM-L6-v2-ru-adapted
 
-## Model Details
+Это доменно-адаптированная версия модели sentence-transformers/all-MiniLM-L6-v2, дообученная для работы с русскоязычными текстами в задаче семантического поиска.
 
-### Model Description
-- **Model Type:** Sentence Transformer
-- **Base model:** [sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2) <!-- at revision 1110a243fdf4706b3f48f1d95db1a4f5529b4d41 -->
-- **Maximum Sequence Length:** 256 tokens
-- **Output Dimensionality:** 384 dimensions
-- **Similarity Function:** Cosine Similarity
-- **Supported Modality:** Text
-<!-- - **Training Dataset:** Unknown -->
-<!-- - **Language:** Unknown -->
-<!-- - **License:** Unknown -->
-
-### Model Sources
-
-- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
-- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
-- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
-
-### Full Model Architecture
-
-```
-SentenceTransformer(
-  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
-  (1): Pooling({'embedding_dimension': 384, 'pooling_mode': 'mean', 'include_prompt': True})
-  (2): Normalize({})
-)
-```
+Базовая модель обучалась только на английских данных. Данная адаптация направлена на улучшение качества получаемых эмбеддингов для русского языка с помощью дообучения на парафразах.
 
-## Usage
+## Описание модели
 
-### Direct Usage (Sentence Transformers)
+- Базовая модель: sentence-transformers/all-MiniLM-L6-v2
+- Размерность эмбеддингов: 384
+- Максимальная длина последовательности: 256 токенов
+- Функция потерь: TripletLoss (Cosine Distance, margin=0.5)
+- Датасет для дообучения: deepvk/ru-HNP (20000 примеров, якорь/позитив/негатив)
+- Эпохи обучения: 3
+- Batch size: 16
+- Warmup steps: 100
 
-First install the Sentence Transformers library:
+## Как использовать
 
-```bash
-pip install -U sentence-transformers
-```
-Then you can load this model and run inference.
 ```python
 from sentence_transformers import SentenceTransformer
 
-# Download from the 🤗 Hub
 model = SentenceTransformer("AtesiT/all-MiniLM-L6-v2-ru-adapted")
-# Run inference
+
 sentences = [
-    'Данные по статусу эксплуатации и распределению составов по номерам по состоянию на июль 2018 года приведены в таблице: Первые два электропоезда ЭШ2 в конце 2014 года поступили в депо имени Ильича и вскоре были отправлены для проведения опытных поездок на кольцо ВНИИЖТа в Щербинке.',
-    'В таблице представлены данные о состоянии эксплуатации и распределении составов по номерам на июль 2018 года: Первые два поезда ЭШ2 были доставлены в депо имени Ильича в конце 2014 года и затем отправлены на кольцо ВНИИЖТа в Щербинке ��ля проведения тестовых поездок.',
-    'Данные по статусу эксплуатации и распределению составов по номерам по состоянию на июль 2018 года не указаны в таблице: Первые два электропоезда ЭШ2 в конце 2014 года не были отправлены в депо имени Ильича и не совершали опытных поездок на кольцо ВНИИЖТа в Щербинке.',
+    "Какая столица России?",
+    "Москва — столица Российской Федерации",
+    "Кошки — популярные домашние животные"
 ]
-embeddings = model.encode(sentences)
+
+embeddings = model.encode(sentences, normalize_embeddings=True)
 print(embeddings.shape)
-# [3, 384]
 
-# Get the similarity scores for the embeddings
-similarities = model.similarity(embeddings, embeddings)
-print(similarities)
-# tensor([[ 1.0000,  0.8392, -0.2606],
-#         [ 0.8392,  1.0000, -0.3014],
-#         [-0.2606, -0.3014,  1.0000]])
+similarity = embeddings[0] @ embeddings[1].T
+print("Сходство между вопросом и ответом:", similarity)
 ```
-<!--
-### Direct Usage (Transformers)
-
-<details><summary>Click to see the direct usage in Transformers</summary>
-
-</details>
--->
-
-<!--
-### Downstream Usage (Sentence Transformers)
-
-You can finetune this model on your own dataset.
-
-<details><summary>Click to expand</summary>
-
-</details>
--->
 
-<!--
-### Out-of-Scope Use
+## Оценка качества (базовая модель, до дообучения)
 
-*List how the model may foreseeably be misused and address what users ought not to do with the model.*
--->
+Оценка проводилась на датасете ai-forever/rubq-retrieval (1692 вопроса, 56826 документов в базе знаний) с использованием FAISS (IndexFlatIP) и метрики Recall@K.
 
-<!--
-## Bias, Risks and Limitations
+| Метрика | Базовая модель (all-MiniLM-L6-v2) |
+|---------|:----------------------------------:|
+| Recall@5 | 0.0272 |
+| Recall@10 | 0.0350 |
 
-*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
--->
+Метрики дообученной модели будут добавлены после завершения полного цикла оценки.
 
-<!--
-### Recommendations
-
-*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
--->
-
-## Training Details
-
-### Training Dataset
-
-#### Unnamed Dataset
-
-* Size: 20,000 training samples
-* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
-* Approximate statistics based on the first 100 samples:
-  |          | sentence_0                                                                           | sentence_1                                                                           | sentence_2                                                                          |
-  |:---------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
-  | type     | string                                                                               | string                                                                               | string                                                                              |
-  | modality | text                                                                                 | text                                                                                 | text                                                                                |
-  | details  | <ul><li>min: 33 tokens</li><li>mean: 113.73 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 30 tokens</li><li>mean: 104.28 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 30 tokens</li><li>mean: 95.88 tokens</li><li>max: 256 tokens</li></ul> |
-* Samples:
-  | sentence_0                                                                                                                                                                                                                                                                                                   | sentence_1                                                                                                                                                                                                                                                                                        | sentence_2                                                                                                                                                                                                                 |
-  |:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
-  | <code>Органы следствия не установили, какое именно подразделение должно нести ответственность за совершенное преступление, обвинение в совершении указанных преступлений никому не предъявлялось.</code>                                                                                                     | <code>Органы следствия не выяснили, какое именно подразделение должно отвечать за совершенное преступление, обвинение в совершении данных преступлений никому не выдвигалось.</code>                                                                                                              | <code>Органы следствия определили, какое подразделение несет ответственность за совершенное преступление, обвинение в совершении указанных преступлений было предъявлено.</code>                                           |
-  | <code>В 1976 году пришла на киностудию «Союзмультфильм», где в период до 1992, в качестве режиссёра, создала свои основные анимационные фильмы, в частности полнометражный мультфильм (70 минут), включающий в себя, многие виды анимационных технологий «Кошка, которая гуляла сама по себе» (1988).</code> | <code>В 1976 году на киностудию «Союзмультфильм» пришла, где в период до 1992 года, как режиссёр, создала свои основные анимационные фильмы, включая полнометражный мультфильм (70 минут), с использованием различных анимационных технологий «Кошка, которая гуляла сама по себе» (1988).</code> | <code>В 1976 году она не пришла на киностудию «Союзмультфильм» и не работала над анимационными фильмами, в том числе не создавала полнометражный мультфильм (70 минут) «Кошка, которая гуляла сама по себе» (1988).</code> |
-  | <code>После выпуска альбома в ряде европейских стран его еженедельные продажи стали суммироваться с продажами альбома "The Fame", в то время как в чартах Америки, Канады и Японии можно встретить оба альбома.</code>                                                                                       | <code>Еженедельные продажи альбома начали суммироваться с продажами альбома "The Fame" после его выпуска в ряде европейских стран.</code>                                                                                                                                                         | <code>Несмотря на выпуск альбома в ряде европейских стран, его продажи не изменились и продолжают оставаться незначительными.</code>                                                                                       |
-* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
-  ```json
-  {
-      "distance_metric": "TripletDistanceMetric.COSINE",
-      "triplet_margin": 0.5
-  }
-  ```
-
-### Training Hyperparameters
-#### Non-Default Hyperparameters
-
-- `per_device_train_batch_size`: 16
-- `per_device_eval_batch_size`: 16
-- `multi_dataset_batch_sampler`: round_robin
-
-#### All Hyperparameters
-<details><summary>Click to expand</summary>
-
-- `per_device_train_batch_size`: 16
-- `num_train_epochs`: 3
-- `max_steps`: -1
-- `learning_rate`: 5e-05
-- `lr_scheduler_type`: linear
-- `lr_scheduler_kwargs`: None
-- `warmup_steps`: 0
-- `optim`: adamw_torch_fused
-- `optim_args`: None
-- `weight_decay`: 0.0
-- `adam_beta1`: 0.9
-- `adam_beta2`: 0.999
-- `adam_epsilon`: 1e-08
-- `optim_target_modules`: None
-- `gradient_accumulation_steps`: 1
-- `average_tokens_across_devices`: True
-- `max_grad_norm`: 1
-- `label_smoothing_factor`: 0.0
-- `bf16`: False
-- `fp16`: False
-- `bf16_full_eval`: False
-- `fp16_full_eval`: False
-- `tf32`: None
-- `gradient_checkpointing`: False
-- `gradient_checkpointing_kwargs`: None
-- `torch_compile`: False
-- `torch_compile_backend`: None
-- `torch_compile_mode`: None
-- `use_liger_kernel`: False
-- `liger_kernel_config`: None
-- `use_cache`: False
-- `neftune_noise_alpha`: None
-- `torch_empty_cache_steps`: None
-- `auto_find_batch_size`: False
-- `log_on_each_node`: True
-- `logging_nan_inf_filter`: True
-- `include_num_input_tokens_seen`: no
-- `log_level`: passive
-- `log_level_replica`: warning
-- `disable_tqdm`: False
-- `project`: huggingface
-- `trackio_space_id`: None
-- `trackio_bucket_id`: None
-- `trackio_static_space_id`: None
-- `per_device_eval_batch_size`: 16
-- `prediction_loss_only`: True
-- `eval_on_start`: False
-- `eval_do_concat_batches`: True
-- `eval_use_gather_object`: False
-- `eval_accumulation_steps`: None
-- `include_for_metrics`: []
-- `batch_eval_metrics`: False
-- `save_only_model`: False
-- `save_on_each_node`: False
-- `enable_jit_checkpoint`: False
-- `push_to_hub`: False
-- `hub_private_repo`: None
-- `hub_model_id`: None
-- `hub_strategy`: every_save
-- `hub_always_push`: False
-- `hub_revision`: None
-- `load_best_model_at_end`: False
-- `ignore_data_skip`: False
-- `restore_callback_states_from_checkpoint`: False
-- `full_determinism`: False
-- `seed`: 42
-- `data_seed`: None
-- `use_cpu`: False
-- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
-- `parallelism_config`: None
-- `dataloader_drop_last`: False
-- `dataloader_num_workers`: 0
-- `dataloader_pin_memory`: True
-- `dataloader_persistent_workers`: False
-- `dataloader_prefetch_factor`: None
-- `remove_unused_columns`: True
-- `label_names`: None
-- `train_sampling_strategy`: random
-- `length_column_name`: length
-- `ddp_find_unused_parameters`: None
-- `ddp_bucket_cap_mb`: None
-- `ddp_broadcast_buffers`: False
-- `ddp_static_graph`: None
-- `ddp_backend`: None
-- `ddp_timeout`: 1800
-- `fsdp`: None
-- `fsdp_config`: None
-- `deepspeed`: None
-- `debug`: []
-- `skip_memory_metrics`: True
-- `do_predict`: False
-- `resume_from_checkpoint`: None
-- `warmup_ratio`: None
-- `local_rank`: -1
-- `prompts`: None
-- `batch_sampler`: batch_sampler
-- `multi_dataset_batch_sampler`: round_robin
-- `router_mapping`: {}
-- `learning_rate_mapping`: {}
-
-</details>
-
-### Training Logs
-| Epoch | Step | Training Loss |
-|:-----:|:----:|:-------------:|
-| 0.4   | 500  | 0.2142        |
-| 0.8   | 1000 | 0.1386        |
-| 1.2   | 1500 | 0.1298        |
-| 1.6   | 2000 | 0.1165        |
-| 2.0   | 2500 | 0.1143        |
-| 2.4   | 3000 | 0.1064        |
-| 2.8   | 3500 | 0.1077        |
-
-
-### Training Time
-- **Training**: 28.5 minutes
-
-### Framework Versions
-- Python: 3.12.13
-- Sentence Transformers: 5.6.0
-- Transformers: 5.13.1
-- PyTorch: 2.11.0+cu128
-- Accelerate: 1.14.0
-- Datasets: 4.0.0
-- Tokenizers: 0.22.2
-
-## Citation
-
-### BibTeX
-
-#### Sentence Transformers
-```bibtex
-@inproceedings{reimers-2019-sentence-bert,
-    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
-    author = "Reimers, Nils and Gurevych, Iryna",
-    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
-    month = "11",
-    year = "2019",
-    publisher = "Association for Computational Linguistics",
-    url = "https://arxiv.org/abs/1908.10084",
-}
-```
-
-#### TripletLoss
-```bibtex
-@misc{hermans2017defense,
-    title={In Defense of the Triplet Loss for Person Re-Identification},
-    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
-    year={2017},
-    eprint={1703.07737},
-    archivePrefix={arXiv},
-    primaryClass={cs.CV}
-}
-```
+### Кривая обучения (Training Loss)
 
-<!--
-## Glossary
+| Step | Loss |
+|------|------|
+| 500  | 0.214 |
+| 1000 | 0.139 |
+| 1500 | 0.130 |
+| 2000 | 0.117 |
+| 2500 | 0.114 |
+| 3000 | 0.106 |
+| 3500 | 0.108 |
 
-*Clearly define terms in order to be accessible across audiences.*
--->
+## Ограничения
 
-<!--
-## Model Card Authors
+- Модель дообучалась на ограниченной выборке (20000 примеров) и небольшом числе эпох (3), что типично для образовательного проекта.
+- Данные для обучения (ru-HNP, парафразы) отличаются по своей природе от задачи QA-поиска (rubq-retrieval), что ограничивает степень переноса качества между задачами (domain shift).
+- Для промышленного использования рекомендуется дообучение на большем объёме данных, более близких по структуре к целевой задаче, а также подбор гиперпараметров.
 
-*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
--->
+## Обучающий пайплайн
 
-<!--
-## Model Card Contact
+Модель была получена в рамках учебного задания по доменной адаптации энкодерных моделей.
 
-*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
--->
+Автор: AtesiT