hoin1218/bge-m3-merchant-region-pair-adapter

BGE-M3 Merchant Region Pair Similarity Adapter

hoin1218/bge-m3-business-compact-card-context-v2 기반의 가맹점 pair 유사도 adapter입니다.

Interactive demo: https://huggingface.co/spaces/hoin1218/bge-m3-merchant-region-pair-demo

입력은 아래처럼 가맹점명 + 업종명 + 지역 두 개가 들어오는 상황을 가정했습니다.

가맹점명: 스타벅스 강남역점 | 업종명: 커피전문점 | 지역: 서울 강남구
가맹점명: 이디야커피 역삼점 | 업종명: 커피전문점 | 지역: 서울 강남구

Current Version

adapter/에는 최신 adapter를 넣었습니다.

최신 adapter는 다음 순서로 학습되었습니다.

1. synthetic merchant pair dataset으로 projection adapter 학습
2. 실제 상가정보 row 기반 pair dataset으로 추가 학습

이전 synthetic-only adapter는 synthetic_adapter/에 보관했습니다. 최신 real-data continued adapter는 real_adapter/에도 동일하게 들어 있습니다.

Included Files

• adapter/: latest real-data continued adapter
• synthetic_adapter/: previous synthetic-only adapter
• real_adapter/: latest real-data continued adapter copy
• data/: synthetic pair dataset
• real_data/: real merchant row based pair dataset
• results/: synthetic pair evaluation
• real_results/: real pair evaluation
• real_results/judgement_check_ko.md: manual judgement check summary
• scripts/: download/build/train/evaluation scripts
• DATASETS_USED.md: used and candidate dataset details

Real Merchant Pair Dataset

실제 학습에 추가로 사용한 데이터는 소상공인시장진흥공단_상가(상권)정보_202506 공개 mirror에서 일부 권역을 받아 pair로 변환한 데이터입니다.

Raw source mirror:

• Hugging Face dataset: ginipick/market
• Original source: 소상공인시장진흥공단_상가(상권)정보
• Regions used:
  • 세종
  • 울산
  • 제주
  • 광주
  • 대전

Raw CSV 전체를 이 repo에 다시 포함하지는 않았습니다. 대신 학습에 사용한 pair 데이터와 source manifest를 포함했습니다.

Real pair dataset:

• sampled source records: 53,748
• total pair rows: 24,500
• train: 19,600
• eval: 2,450
• test: 2,450

Pair label policy:

Pair 유형	Score
같은 가맹점 / 같은 업종 / 같은 지역	1.00
같은 상호명 / 같은 업종 / 다른 지역	0.72
같은 소분류 업종 / 같은 지역	0.82
같은 소분류 업종 / 다른 지역	0.58
같은 중분류 업종 / 다른 소분류 / 같은 지역	0.35
다른 대분류 업종 / 같은 지역	0.10
다른 대분류 업종 / 다른 지역	0.02

Evaluation On Real Pair Test Set

Model	Pearson	Spearman	MAE	RMSE
previous_synthetic_pair_adapter	0.9156	0.9033	0.1720	0.2228
real_pair_continued_adapter	0.9257	0.9081	0.1569	0.2082

Mean score by reason:

Reason	Previous synthetic adapter	Real-data continued adapter
different_large_industry_different_region	0.1141	0.0549
different_large_industry_same_region	0.1152	0.0580
same_mid_industry_different_small_same_region	0.5015	0.4290
same_name_same_industry_different_region	0.9906	0.9884
same_small_industry_different_region	0.9719	0.9674
same_small_industry_same_region	0.9800	0.9771

Manual Check

Detailed Korean judgement report: real_results/judgement_check_ko.md

Manual examples using older synthetic labels:

Pair	Synthetic adapter	Real-data continued adapter
커피전문점 vs 커피전문점, 같은 지역	0.9226	0.9428
커피전문점 vs 커피전문점, 다른 지역	0.8614	0.8948
커피전문점 vs 제과점, 같은 지역	0.0499	0.2866
커피전문점 vs 주유소, 같은 지역	0.0893	0.1526
커피전문점 vs 주유소, 다른 지역	0.0259	0.0798

The real-data continued adapter improves the real pair test set, but it is tuned to the public store dataset's industry taxonomy. If production input uses labels like 커피전문점, 주유소, or card-company industry names, those labels should be included in the next training pass.

Usage

from scripts.load_merchant_region_pair_adapter import load_pair_similarity_model, similarity

model = load_pair_similarity_model("adapter")

text1 = "가맹점명: 스타벅스 강남역점 | 업종명: 커피전문점 | 지역: 서울 강남구"
text2 = "가맹점명: 이디야커피 역삼점 | 업종명: 커피전문점 | 지역: 서울 강남구"

print(similarity(model, text1, text2))

Limitation

This is still a proof-of-concept adapter. The new training data uses real merchant rows, but pair scores are automatically generated from industry/region rules. For production, add labeled or policy-approved pairs from the actual card merchant taxonomy.