eric0009/klue-roberta-base-klue-sts

SentenceTransformer based on klue/roberta-base

This is a sentence-transformers model finetuned from klue/roberta-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: klue/roberta-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'RobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '삼성의 마케팅 사례만 담아 집필한 책은?',
    '앞으로 10년, 한국 없는 중국은 있어도 중국 없는 한국은 없다KOTRA 베이징·상하이 무역관장을 지낸 저자의 중국 비즈니스론. 한·중 자유무역협정(FTA)을 계기로 양국 협력의 양과 질을 확대해야 한다고 주장한다. (김상철 지음, 한스미디어, 396쪽, 1만8000원)웜홀 달팽이에게 들키다선임 직원들을 조직에 헌신하는 지원자로 만드는 과정을 생생하게 전달한다. ‘조직의 빅마우스를 열렬한 충성자로 변화시킬 수 있는가’에 대한 해법을 제시한다. (양은하·양은호 지음, 클릭출판, 176쪽, 1만5000원)마케팅 성공사례 상식사전삼성, 현대, P&G 등 국내외 대표 기업들의 독특하고 창의적인 마케팅 성공 사례 56가지를 담았다. 다양한 광고 사진, 만화는 물론 QR코드를 통해 관련 동영상도 감상할 수 있다. (정재학·케빈 리 지음, 길벗, 288쪽, 1만3500원)먼짓길 인생에 장자를 만나다혼란과 분열의 전국시대를 살았던 장자의 눈으로 빈부 격차, 욕망과 만족, 경쟁과 실패 등 현대인의 삶을 바라본다. (왕이자 지음, 박성희 옮김, 북스넛, 406쪽, 1만5000원)미친 포로원정대1941년 연합군 전쟁 포로가 됐다가 수용소를 탈출해 케냐 레나나 봉을 등정한 뒤 다시 수용소로 돌아온 세 명의 이탈리아인 이야기. 산악 논픽션의 고전으로 꼽히는 책이다. (펠리체 베누치 지음, 윤석영 옮김, 박하, 424쪽, 1만2500원)팽목항에서 불어오는 바람김동춘, 천정환, 진태원 등 인문사회학자 13명이 세월호 참사가 인간과 사회에 던진 질문에 대해 사유하고 성찰한 글을 모았다. (노명우 외 지음, 현실문화, 376쪽, 1만4000원)시간 사용법우연히 타임머신을 얻게 된 소년이 멋들어진 미래를 꿈꾸다 뜻하지 않은 사고와 맞닥뜨린다. ‘지금 이 순간’이 얼마나 소중한지를 알려주는 판타지 동화다. (낸시 에치멘디 글, 오윤화 그림, 김세혁 옮김, 라임, 180쪽, 9800원)백성을 사랑한 충신이야기고구려 시대 빈민 구제책을 시행한 재상 을파소, 소를 타고 다닌 청백리 정승 맹사성, 재치와 해학이 넘친 오성 대감 이항복 등 명재상·명정승을 소개한다. (신현배 글, 양동석 그림, 현문미디어, 236쪽, 1만2000원)황금으로 만든 나라는 왜 사라졌을까',
    '2010년 7월 31일 일본 현지 언론에 따르면, 사쿠라코 양 과 가에다 군 남매는 30일 아파트 안에서 굶어 죽어 일부 시신이 부패한 상태로 발견되자 이와 유사한 일이 벌어졌던 것은 해당 아이들의 엄마이자 유흥 업소 종업원인 시모무라 사나에씨가 지난 2010년 6월 하순, 해당 아이들을 집안에 가두어 둔 채 친구의 집에 가버렸기 때문인 것으로 보인다. 그리고 보관중인 음식은 물론, 냉장고에 있는 마실 물 조차 남기지 않고 아동을 내버려두면서 방임시키는 일을 저질렀던 것으로 보고되어 있다. 이유는 육아 적응력이 떨어져서 그렇다. 이와 같은 23세 짜리의 철없고 비정한 모친이 아닌 일본인은 물론 일본 사회 당국을 더 낙담하게 하는 무성의한 태도로 결론지었다.\n\n그 결과 피해를 당하게 하고 있는 두 아이의 행적을 보면 지난 2010년 3월, 해당 맨션 내 자택에서 이상한 소리가 들린다고 오사카시에서 운영중인 아동학대 상담전화를 통해 3번씩 신고하였으나, 최종적인 신고는 같은 해 5월 18일 자로 접수되었고, 오사카시 관계자에 따르면 그날 오후 집을 방문하였다가 울음 소리가 더 이상 들리지 않고 집주인을 만나지 못하게 되자 어쩔 수 없이 되돌아간 바 있다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9061, 0.2744],
#         [0.9061, 1.0000, 0.3982],
#         [0.2744, 0.3982, 1.0000]])

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.3477
spearman_cosine	0.3556

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8121
spearman_cosine	0.8201

Training Details

Training Dataset

Unnamed Dataset

• Size: 35,108 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	int
  details	min: 8 tokens mean: 17.78 tokens max: 35 tokens	min: 242 tokens mean: 436.13 tokens max: 512 tokens	0: ~51.40% 1: ~48.60%

• Samples:

  sentence_0	sentence_1	label
  선진국이 외국 기업을 대우하기 위한 제도는?	현오석 부총리 겸 기획재정부 장관이 중소기업 보호를 위해 공공조달 시장에서 ‘국내외 대기업에 대한 동등 규제’ 원칙을 밝힘에 따라 정부가 세부 규제 방안 마련에 들어갔다. 정부는 특히 이 같은 규제는 외국 기업만을 대상으로 한 규제와 달리 세계무역기구(WTO) 43개 가입국이 맺고 있는 정부조달협정(GPA)에 위배되지 않는다는 입장을 분명히 했다. ▶본지 11월11일자 A1, 3면 참고○정부, “공공시장 역차별 시정”기재부 관계자는 11일 “내부 검토 결과 국내 대기업과 외국 대기업을 동등하게 규제하는 것은 국제적으로 문제가 안 된다”며 “선진국도 세제 지원, 진입 장벽 설치, 재정 지원 등을 통해 자국 중소기업을 100% 보호하고 있다”고 말했다. 외국 기업을 차별 대우하면 문제가 되지만 그렇지 않으면 국제법상 문제가 없다는 것이다.이 관계자는 이어 “중소기업 보호를 위해 국내 대기업을 배제했는데 (국내 대기업보다 덩치가 큰) 외국계 대기업이 들어오는 건 문제가 있다는 점이 국정감사에서도 여러 번 지적됐다”며 “이런 현상을 방치할 수 없다는 게 정부 방침”이라고 강조했다. 일부에서 ‘외국계 대기업 규제가 국내 시장을 지키려다 해외 시장을 잃는 조치 아니냐’는 지적이 나오는 데 대해서도 “해외 시장 포기가 아니라 국내 기업이 받는 역차별 해소 차원”이라고 적극 반박했다. 중소기업을 위해 남겨둔 자리를 외국계 기업이 치고 들어오면 국내 대기업이 역차별을 받는 것은 물론 중소기업 사이에서도 ‘외국계 기업과 제휴를 하느냐 못하느냐’에 따라 공공조달 시장에서 차별을 받을 수 있다는 이유에서다. 기재부는 이에 따라 조만간 산업통상자원부 중소기업청 조달청 등 관계부처와 협의해 현 부총리가 밝힌 규제 방안을 다듬는 작업에 나서기로 했다. 기재부 내부적으로는 이미 지난주에 검토 작업을 한 차례 했다. 통상 주무부처인 산업부도 이미 내부적으로는 이 같은 국내외 동등 규제는 WTO 협정에 위배되지 않는다는 판단을 내렸다. 산업부의 관계자는 “중소기업 보호를 위한 예외 적용은 정...	1
  워렌이 스스로 영화를 제작할 수 있음을 입증하여 승부에서 이긴 상대는 누구인가?	“마노스: 운명의 손”은 워렌의 고향인 텍사스주 엘 파소에 있는 카프리 극장에서 1966년 11월 15일 시사회를 가졌다. 워렌은 시사회에 쓰려고 서치라이트를 구했으며 헐리우드 분위기를 내기 위해 캐스트가 탈 리무진을 대여했다. 하지만 리무진 한 대 밖에 대여가 안 되었으므로, 캐스트를 반으로 나누어 한 그룹을 시사회로 태우고, 다시 리무진을 돌려 기다리고 있던 나머지 그룹을 근처 모퉁이에서 태우고 시사회로 데려와야했다. 시사회에는 시장, 지역 보안관 등 지역의 주요 인사들이 다수 초대되었다. 영화가 시작한 지 얼마 지나지 않아, 시사회장은 웃음으로 가득찼다. 워렌과 나머지 출연진은 민망해진 채로 재빨리 출구를 통해 빠져나갔다. 시사회 후, 워렌은 자신이 보기에도 “마노스”가 최악의 영화라고 생각하지만 그래도 자랑스럽다고 밝혔다. 또한, 잘만 다듬으면 재밌는 코미디 영화로 만들 수 있을 것 같다는 얘기도 인터뷰에서 하였다 이 영화는 에머슨 사가 배포를 맡았다. 또한 카프리 극장에서 잠시 동안 상영되었으며, 텍사스 서부의 드라이브인 극장에서도 상영이 되었다. 어떤 보고에 따르면 작업의 대가를 받은 스탭은 잭키 니먼 존스와 그녀의 강아지 뿐이었으며, 그 대가도 자전거와 다량의 강아지 음식이었다고 하는데, 이는 영화가 재정적으로 얼마나 크게 실패했는지를 보여준다 공식 박스오피스 집계는 알려져있지 않다. 영화에 대한 반응은 좋지 않았으나, 워렌은 자신이 혼자 영화를 만들 수 있음을 증명하여, 스털링 실리펀트와의 내기에서 승리하였다	1
  장편소설 분야에 지원할 때, 작품 외에 별도로 써야 하는 글은 몇 장인가?	부산대 철학과에 다니는 홍준성 씨(24)는 지난해 가을 학생 신분으로 제3회 한경 청년신춘문예의 문을 두드렸다. 홍씨는 철학과 책을 좋아하는 평범한 학생이었다. 신춘문예 장편소설 부문에 당선되며 그의 삶은 변했다. 상금을 여비 삼아 전국을 여행하며 이야기를 수집했다. 강원 호남 영남 등 역사적 비극을 지닌 곳을 찾아다니며 이야기를 들었다. 당선 전까지만 해도 말하기를 좋아했던 젊은 청년은 어느새 타인의 말을 귀 기울여 듣는 젊은 작가로 변신했다. 홍씨는 올해 문학동네 작가상 본심에 이름을 올리는 등 신춘문예 당선이 우연이 아니었음을 증명해 나가고 있다. 그의 청년신춘문예 당선작 열등의 계보(은행나무)는 퇴고를 거듭해 이달 정식 출간된다.좋은 작품은 그것을 읽는 사람의 인생은 물론 만든 사람의 인생도 바꾼다. 가장 좋은 사례가 신춘문예다. 문학 지망생으로서 끝없는 습작의 나날을 보내던 이들은 신춘문예라는 관문을 거쳐 작가로 변신한다.제2회 장편소설 당선자인 김의경 씨(36)의 당선작 청춘파산(민음사)은 젊은 세대가 겪는 어려움을 솔직하게 표현해 호평받은 작품이다. 이 소설에는 김씨가 겪은 일들이 상당 부분 녹아 있다. 김씨는 집안이 어려워지는 바람에 어린 시절 해 보지 않은 아르바이트가 없을 정도였다.김씨는 지난 2월 한국문화예술위원회와 서울 프린스호텔이 후원하는 창작집필실 입주작가 프로그램에 선정돼 한 달 동안 호텔에서 집필에 전념했다. 호텔에서 펜을 잡자 대학생 시절 호텔 주방에서 설거지했던 기억이 떠올랐다. “호텔에서 글을 쓰니 옛날 생각이 나서 기분이 묘했어요. 호텔에서 일할 때는 정문으로 들어갈 수도 없는 신세였는데 말이죠.” 정식 작가가 된 뒤 더 큰 책임감을 느끼고 있다는 그는 이달 두 번째 작품을 탈고할 계획이다.제3회 시 부문 당선자 김민율 씨(37)는 등단 이전과 별다를 것 없어 보이는 일상을 보내고 있다. 하지만 그에게도 분명한 변화가 생겼다. “등단 전에는 좀 편안하게 시를 썼는데 등단한 뒤로는 책임감 있게 시를 쓰려고 한다”고 김씨는 말했...	1

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss",
      "cos_score_transformation": "torch.nn.modules.linear.Identity"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	spearman_cosine
-1	-1	-	0.3556
0.2278	500	0.0872	-
0.4556	1000	0.0691	0.8201

Training Time

• Training: 5.8 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.0
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}