Hugging Face's logo

eric0009
/
klue-roberta-base-klue-sts

Sentence Similarity
sentence-transformers
Safetensors
roberta
feature-extraction
Generated from Trainer
dataset_size:35108
loss:CosineSimilarityLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community
eric0009 commited on
Commit
aab2661
·
verified ·
1 Parent(s): 3b28a0e

Upload folder using huggingface_hub

Browse files
Files changed (3) hide show
  1. README.md +54 -55
  2. eval/similarity_evaluation_results.csv +4 -4
  3. model.safetensors +1 -1
README.md CHANGED
@@ -4,35 +4,35 @@ tags:
4
  - sentence-similarity
5
  - feature-extraction
6
  - generated_from_trainer
7
- - dataset_size:9450
8
  - loss:CosineSimilarityLoss
9
  base_model: klue/roberta-base
10
  widget:
11
- - source_sentence: 다시 피렌체에 간다면 저는 또 여기 숙소를 선택할 것 입니다.
12
  sentences:
13
- - 중국의 꿈이 한국에 기회가 되듯이, 한국의 꿈이 중국에 도움이 되기를 바랍니다.
14
- - 만약 내가 다시 플로렌스에 간다면, 나는 다시 여기에 머물기로 선택할 것입니다.
15
- - 나쁜 생각 말고 긍정적으로 사고합시다. 불쾌지수 높을 때는.
16
- - source_sentence: 일단 숙소 위치는 신주쿠에서 좋았습니다.
17
  sentences:
18
- - 하루에 꼭 삼십분말고 한 시간 이상 라디오 들어야해
19
- - 먼저, 신주쿠에서 숙소의 위치가 좋았습니다.
20
- - 만나기로 한 곳이 어디로 바뀌었죠?
21
- - source_sentence: 정말 저와 제 친구는 만족하는 숙소였습니다.
22
  sentences:
23
- - 이번달과 다음달 중 언제 가족 여행을 가시는 겁니까?
24
- - 저와 제 남자친구는 위치가 마음에 들었어요.
25
- - 그래도 7일 숙박일동안 너무 좋았습니다
26
- - source_sentence: 엔드라이브 연동이 고장나서 네이버 메일에 지드라이브와 연동을 할 수 밖에 없어
27
  sentences:
28
- - 며칠입니까? 진해 벚꽃 축제 기간은.
29
- - 코로나19 확산에도 5G가입자 500만명 넘어
30
- - 네이버 메일 사용시 엔드라이브 보다 지드라이브가 이점이 많이 때문에 지드라이브 연동을 권해
31
- - source_sentence: 어떤 토픽이 광고 메일 중 가장 비중이 높아?
32
  sentences:
33
- - 광고 메일들을 분류했을 때 가장 비중 높은 토픽은 뭐였어?
34
- - 장마 전에 미루지 말고 하수구 청소 하렴.
35
- - 열대야가 싫어? 아니면 높은 습도가 싫어?
36
  pipeline_tag: sentence-similarity
37
  library_name: sentence-transformers
38
  metrics:
@@ -49,16 +49,16 @@ model-index:
49
  type: unknown
50
  metrics:
51
  - type: pearson_cosine
52
- value: 0.8356993770201736
53
  name: Pearson Cosine
54
  - type: spearman_cosine
55
- value: 0.8387812504867751
56
  name: Spearman Cosine
57
  - type: pearson_cosine
58
- value: 0.9613003454186424
59
  name: Pearson Cosine
60
  - type: spearman_cosine
61
- value: 0.918263072296317
62
  name: Spearman Cosine
63
  ---
64
 
@@ -111,9 +111,9 @@ from sentence_transformers import SentenceTransformer
111
  model = SentenceTransformer("sentence_transformers_model_id")
112
  # Run inference
113
  sentences = [
114
- '어떤 토픽이 광고 메일 중 가장 비중이 높아?',
115
- '광고 메일들을 분류했을 때 가장 비중 높은 토픽은 뭐였어?',
116
- '열대야가 싫어? 아니면 높은 습도가 싫어?',
117
  ]
118
  embeddings = model.encode(sentences)
119
  print(embeddings.shape)
@@ -122,9 +122,9 @@ print(embeddings.shape)
122
  # Get the similarity scores for the embeddings
123
  similarities = model.similarity(embeddings, embeddings)
124
  print(similarities)
125
- # tensor([[ 1.0000, 0.7521, 0.0651],
126
- # [ 0.7521, 1.0000, -0.0341],
127
- # [ 0.0651, -0.0341, 1.0000]])
128
  ```
129
  <!--
130
  ### Direct Usage (Transformers)
@@ -160,8 +160,8 @@ You can finetune this model on your own dataset.
160
 
161
  | Metric | Value |
162
  |:--------------------|:-----------|
163
- | pearson_cosine | 0.8357 |
164
- | **spearman_cosine** | **0.8388** |
165
 
166
  #### Semantic Similarity
167
 
@@ -169,8 +169,8 @@ You can finetune this model on your own dataset.
169
 
170
  | Metric | Value |
171
  |:--------------------|:-----------|
172
- | pearson_cosine | 0.9613 |
173
- | **spearman_cosine** | **0.9183** |
174
 
175
  <!--
176
  ## Bias, Risks and Limitations
@@ -190,19 +190,19 @@ You can finetune this model on your own dataset.
190
 
191
  #### Unnamed Dataset
192
 
193
- * Size: 9,450 training samples
194
  * Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
195
  * Approximate statistics based on the first 1000 samples:
196
- | | sentence_0 | sentence_1 | label |
197
- |:--------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:---------------------------------------------------------------|
198
- | type | string | string | float |
199
- | details | <ul><li>min: 6 tokens</li><li>mean: 20.29 tokens</li><li>max: 60 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 19.66 tokens</li><li>max: 68 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.43</li><li>max: 1.0</li></ul> |
200
  * Samples:
201
- | sentence_0 | sentence_1 | label |
202
- |:-----------------------------------------------------|:--------------------------------------------------|:---------------------------------|
203
- | <code>확실이 사진보다는 좁다는 느낌은 지울 수 없었어요.</code> | <code>여러모로 단점은 전혀 느낄 수 없었던 공간이었어요</code> | <code>0.0</code> |
204
- | <code>사장님 약속 자리에서 근무 조정 관련 얘기 할거니까 늦지 마셔야 해요.</code> | <code>사장님이 출장 가서 사오신 비싼 고량주 따신다니까 약속 늦지 마.</code> | <code>0.27999999999999997</code> |
205
- | <code>폭우 일 때 레프팅 하지 말자.</code> | <code>폭우가 내릴 땐 레프팅 할 수 없습니다.</code> | <code>0.64</code> |
206
  * Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
207
  ```json
208
  {
@@ -326,19 +326,18 @@ You can finetune this model on your own dataset.
326
  ### Training Logs
327
  | Epoch | Step | Training Loss | spearman_cosine |
328
  |:------:|:----:|:-------------:|:---------------:|
329
- | -1 | -1 | - | 0.8388 |
330
- | 0.8460 | 500 | 0.0263 | - |
331
- | 1.0 | 591 | - | 0.9142 |
332
- | 1.6920 | 1000 | 0.0072 | 0.9114 |
333
- | 2.0 | 1182 | - | 0.9165 |
334
- | 2.5381 | 1500 | 0.0045 | - |
335
- | 3.0 | 1773 | - | 0.9159 |
336
- | 3.3841 | 2000 | 0.0030 | 0.9173 |
337
- | 4.0 | 2364 | - | 0.9183 |
338
 
339
 
340
  ### Training Time
341
- - **Training**: 3.3 minutes
342
 
343
  ### Framework Versions
344
  - Python: 3.12.13
 
4
  - sentence-similarity
5
  - feature-extraction
6
  - generated_from_trainer
7
+ - dataset_size:10501
8
  - loss:CosineSimilarityLoss
9
  base_model: klue/roberta-base
10
  widget:
11
+ - source_sentence: 제가몰랐던 것은 개인실이기 때문에 같은 층에 다른 게스트가 있고 부엌은 그 게스트와 같이 공유하는 것입니다.
12
  sentences:
13
+ - 개인 방이라서 몰랐는데, 같은 층에 다른 손님이 계셔서 부엌을 손님과 같이 쓰게 되었어요.
14
+ - 뉴욕과 함께 저지 시티의 매력을 느낄 수 있는 최적의 장소라고 생각합니다.
15
+ - 인테리어, 공간 크기, 청결도가 가장 좋았습니다.
16
+ - source_sentence: 어제 입은 비옷의 색깔을 알려주십시오.
17
  sentences:
18
+ - 정말 훌륭한 전망이 펼쳐지는 집이더군요.
19
+ - 우선, 꽃잎, 페퍼민트 사탕, 그리고 화려한 휴가와 같은 대표적인 상업 영화들은 항상 감동적입니다.
20
+ - 알려줘. 어제 입은 비옷 색깔.
21
+ - source_sentence: 좋은 위치 좋은 호스트 귀여운 고양이 그리고 맛있는 음식점 근처에 많고 모든 것이 좋은 숙소
22
  sentences:
23
+ - 11월에는 대전시 유성구청 인력 120명을 대상으로 반려식물을 제공할 계획이다.
24
+ - 좋은 위치는 귀여운 고양이와 맛있는 레스토랑 근처에 있는 많은 좋은 숙박시설입니다.
25
+ - 결제 메일이 다른 메일에 섞이지 않도록 즐겨찾기로 지정해주세요.
26
+ - source_sentence: 문제가 생길 때마다 빠른 답변과 문제해결을 도왔습니다.
27
  sentences:
28
+ - 문제가 생길 때마다, 저는 빠른 대답을 했고 문제를 해결하도록 도왔습니다.
29
+ - 두번째로 에어비앤비 이용하는데 좋았어요!
30
+ - 코로나바이러스 감염 중앙재난안전대책본부는 22일 정례 브리핑에서 꽃과 친환경 농산물 재배농가에 대한 지원 대책을 설명했습니다.
31
+ - source_sentence: 체크아웃 이후 짐을 맡길 수도 있었어요
32
  sentences:
33
+ - 체크아웃 후에 짐을 맡길 수도 있었어요.
34
+ - 다음에 숙소 쓸땐 이런 일이 없었으면 합니다.
35
+ - 2월(예비)부터는 특허 및 실용신안 신청 시 제출해야 하는 사양서 제출 형식이 다양해집니다.
36
  pipeline_tag: sentence-similarity
37
  library_name: sentence-transformers
38
  metrics:
 
49
  type: unknown
50
  metrics:
51
  - type: pearson_cosine
52
+ value: 0.34770709824935425
53
  name: Pearson Cosine
54
  - type: spearman_cosine
55
+ value: 0.35560473197486514
56
  name: Spearman Cosine
57
  - type: pearson_cosine
58
+ value: 0.9608254847656712
59
  name: Pearson Cosine
60
  - type: spearman_cosine
61
+ value: 0.9202325648278208
62
  name: Spearman Cosine
63
  ---
64
 
 
111
  model = SentenceTransformer("sentence_transformers_model_id")
112
  # Run inference
113
  sentences = [
114
+ '체크아웃 이후 짐을 맡길 수도 있었어요',
115
+ '체크아웃 후에 짐을 맡길 수도 있���어요.',
116
+ '다음에 숙소 쓸땐 이런 일이 없었으면 합니다.',
117
  ]
118
  embeddings = model.encode(sentences)
119
  print(embeddings.shape)
 
122
  # Get the similarity scores for the embeddings
123
  similarities = model.similarity(embeddings, embeddings)
124
  print(similarities)
125
+ # tensor([[1.0000, 0.9790, 0.1348],
126
+ # [0.9790, 1.0000, 0.1390],
127
+ # [0.1348, 0.1390, 1.0000]])
128
  ```
129
  <!--
130
  ### Direct Usage (Transformers)
 
160
 
161
  | Metric | Value |
162
  |:--------------------|:-----------|
163
+ | pearson_cosine | 0.3477 |
164
+ | **spearman_cosine** | **0.3556** |
165
 
166
  #### Semantic Similarity
167
 
 
169
 
170
  | Metric | Value |
171
  |:--------------------|:-----------|
172
+ | pearson_cosine | 0.9608 |
173
+ | **spearman_cosine** | **0.9202** |
174
 
175
  <!--
176
  ## Bias, Risks and Limitations
 
190
 
191
  #### Unnamed Dataset
192
 
193
+ * Size: 10,501 training samples
194
  * Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
195
  * Approximate statistics based on the first 1000 samples:
196
+ | | sentence_0 | sentence_1 | label |
197
+ |:--------|:---------------------------------------------------------------------------------|:---------------------------------------------------------------------------------|:---------------------------------------------------------------|
198
+ | type | string | string | float |
199
+ | details | <ul><li>min: 7 tokens</li><li>mean: 20.3 tokens</li><li>max: 81 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 19.7 tokens</li><li>max: 65 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.46</li><li>max: 1.0</li></ul> |
200
  * Samples:
201
+ | sentence_0 | sentence_1 | label |
202
+ |:---------------------------------------------------|:----------------------------------------------------|:------------------|
203
+ | <code>집에 조명등 켜지 말고 그냥 꺼둬</code> | <code>당신 잊지말고 집안 조명 끄지말고 밝게 유지하세요.</code> | <code>0.4</code> |
204
+ | <code>한류 문화의 우수성을 또 한 번 세계에 보여준 쾌거입니다.</code> | <code>한류 문화의 우수성을 다시 한번 세계에 알리는 것은 큰 성과입니다.</code> | <code>0.74</code> |
205
+ | <code>취사나 세탁기사용은 안되지만 아침식사를 할 수 있는 쿠폰을 줍니다.</code> | <code>공용주방은 식재료 보관공간이나 요리할 수 있는 작업대가 충분했습니다.</code> | <code>0.0</code> |
206
  * Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
207
  ```json
208
  {
 
326
  ### Training Logs
327
  | Epoch | Step | Training Loss | spearman_cosine |
328
  |:------:|:----:|:-------------:|:---------------:|
329
+ | -1 | -1 | - | 0.3556 |
330
+ | 0.7610 | 500 | 0.0268 | - |
331
+ | 1.0 | 657 | - | 0.9043 |
332
+ | 1.5221 | 1000 | 0.0080 | 0.9124 |
333
+ | 2.0 | 1314 | - | 0.9160 |
334
+ | 2.2831 | 1500 | 0.0050 | - |
335
+ | 3.0 | 1971 | - | 0.9198 |
336
+ | 3.0441 | 2000 | 0.0034 | 0.9202 |
 
337
 
338
 
339
  ### Training Time
340
+ - **Training**: 2.9 minutes
341
 
342
  ### Framework Versions
343
  - Python: 3.12.13
eval/similarity_evaluation_results.csv CHANGED
@@ -1,5 +1,5 @@
1
  epoch,steps,cosine_pearson,cosine_spearman
2
- 1.0,591,0.9593981279144923,0.91424312818368
3
- 2.0,1182,0.9583982415892354,0.9164508451174058
4
- 3.0,1773,0.9598973284651179,0.9158505474267611
5
- 4.0,2364,0.9613003454186424,0.918263072296317
 
1
  epoch,steps,cosine_pearson,cosine_spearman
2
+ 1.0,657,0.953685694408013,0.9043437650117438
3
+ 2.0,1314,0.9591367086424393,0.9159684808824391
4
+ 3.0,1971,0.9606652076165402,0.9198357707357137
5
+ 4.0,2628,0.9608120050081257,0.9193565351137655
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:772c05eebbf6f64875ad2910f9a59ba658b79ec4d237f39fe1e0afb966f8537b
3
  size 442494792
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a5367fd6fefa4c74cdba929113b271c77f87fc2d5d4a85449a9a4192ab97a986
3
  size 442494792