Spaces:
Sleeping
Sleeping
Commit ·
24cbd41
1
Parent(s): 3ac4be5
Add RAGAS eval results: 27-question golden set, avg 0.811
Browse files- README.md +9 -9
- data/golden_set_pdf.json +140 -133
- eval_results.json +159 -151
README.md
CHANGED
|
@@ -11,7 +11,7 @@ pinned: false
|
|
| 11 |
|
| 12 |
Hệ thống RAG (Retrieval-Augmented Generation) cho tài liệu tài chính tiếng Việt — hybrid BM25+vector search, cross-encoder reranking, Contextual Retrieval và ColPali visual retrieval.
|
| 13 |
|
| 14 |
-
**Kết quả nổi bật:**
|
| 15 |
|
| 16 |
## Demo trực tuyến
|
| 17 |
|
|
@@ -200,16 +200,16 @@ python evaluate_colpali.py
|
|
| 200 |
|
| 201 |
## Đánh giá RAGAS (LLM-as-judge)
|
| 202 |
|
| 203 |
-
Đánh giá trên **
|
| 204 |
|
| 205 |
-
|
|
| 206 |
-
|--------
|
| 207 |
-
|
|
| 208 |
-
|
|
|
|
|
|
|
|
| 209 |
|
| 210 |
-
**Nhận xét:**
|
| 211 |
-
|
| 212 |
-
> Context Recall baseline thấp (0.40) phản ánh điểm yếu của pypdf với bảng tài chính — đúng khoảng trống mà ColPali nhắm tới.
|
| 213 |
|
| 214 |
## Hạn chế & Hướng phát triển
|
| 215 |
|
|
|
|
| 11 |
|
| 12 |
Hệ thống RAG (Retrieval-Augmented Generation) cho tài liệu tài chính tiếng Việt — hybrid BM25+vector search, cross-encoder reranking, Contextual Retrieval và ColPali visual retrieval.
|
| 13 |
|
| 14 |
+
**Kết quả nổi bật:** RAGAS eval 27 câu hỏi — Faithfulness **0.737**, Answer Relevancy **0.948**, Context Recall **0.748**, Average **0.811**; ColPali vượt trội text RAG trên trang bảng số liệu (0.90 vs 0.80).
|
| 15 |
|
| 16 |
## Demo trực tuyến
|
| 17 |
|
|
|
|
| 200 |
|
| 201 |
## Đánh giá RAGAS (LLM-as-judge)
|
| 202 |
|
| 203 |
+
Đánh giá trên **27 câu hỏi** báo cáo tài chính tiếng Việt — 4 doanh nghiệp (VNM, FPT, HPG, MSN) × 2 năm (2022–2023), judge model: `llama-3.3-70b-versatile`:
|
| 204 |
|
| 205 |
+
| Metric | Score |
|
| 206 |
+
|--------|-------|
|
| 207 |
+
| Faithfulness | **0.737** |
|
| 208 |
+
| Answer Relevancy | **0.948** |
|
| 209 |
+
| Context Recall | **0.748** |
|
| 210 |
+
| **Trung bình** | **0.811** |
|
| 211 |
|
| 212 |
+
**Nhận xét:** Answer Relevancy cao (0.948) cho thấy pipeline trả lời đúng trọng tâm câu hỏi. Faithfulness 0.737 xác nhận câu trả lời bám sát tài liệu gốc. Context Recall 0.748 phản ánh hybrid search (BM25 + vector + reranking) tìm được đúng đoạn liên quan trong phần lớn trường hợp.
|
|
|
|
|
|
|
| 213 |
|
| 214 |
## Hạn chế & Hướng phát triển
|
| 215 |
|
data/golden_set_pdf.json
CHANGED
|
@@ -1,212 +1,219 @@
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
-
"id": "
|
| 4 |
"type": "lookup",
|
| 5 |
-
"source": "
|
| 6 |
-
"question": "
|
| 7 |
-
"answer": "
|
| 8 |
},
|
| 9 |
{
|
| 10 |
-
"id": "
|
| 11 |
"type": "lookup",
|
| 12 |
-
"source": "
|
| 13 |
-
"question": "Lợi nhuận sau thuế
|
| 14 |
-
"answer": "Lợi nhuận sau thuế
|
| 15 |
},
|
| 16 |
{
|
| 17 |
-
"id": "
|
| 18 |
"type": "lookup",
|
| 19 |
-
"source": "
|
| 20 |
-
"question": "Doanh thu
|
| 21 |
-
"answer": "Doanh thu
|
| 22 |
},
|
| 23 |
{
|
| 24 |
-
"id": "
|
| 25 |
-
"type": "
|
| 26 |
-
"source": "
|
| 27 |
-
"question": "
|
| 28 |
-
"answer": "
|
| 29 |
},
|
| 30 |
{
|
| 31 |
-
"id": "
|
| 32 |
-
"type": "
|
| 33 |
-
"source": "
|
| 34 |
-
"question": "
|
| 35 |
-
"answer": "
|
| 36 |
},
|
| 37 |
{
|
| 38 |
-
"id": "
|
| 39 |
"type": "general",
|
| 40 |
-
"source": "
|
| 41 |
-
"question": "
|
| 42 |
-
"answer": "
|
| 43 |
},
|
| 44 |
{
|
| 45 |
-
"id": "
|
| 46 |
"type": "general",
|
| 47 |
-
"source": "
|
| 48 |
-
"question": "Tổng
|
| 49 |
-
"answer": "Tổng
|
| 50 |
},
|
| 51 |
{
|
| 52 |
-
"id": "
|
| 53 |
-
"type": "
|
| 54 |
-
"source": "
|
| 55 |
-
"question": "Doanh thu của FPT
|
| 56 |
-
"answer": "
|
| 57 |
},
|
| 58 |
{
|
| 59 |
-
"id": "
|
| 60 |
"type": "lookup",
|
| 61 |
-
"source": "
|
| 62 |
-
"question": "
|
| 63 |
-
"answer": "
|
| 64 |
},
|
| 65 |
{
|
| 66 |
-
"id": "
|
| 67 |
-
"type": "
|
| 68 |
-
"source": "
|
| 69 |
-
"question": "
|
| 70 |
-
"answer": "
|
| 71 |
},
|
| 72 |
{
|
| 73 |
-
"id": "
|
| 74 |
-
"type": "
|
| 75 |
-
"source": "",
|
| 76 |
-
"question": "
|
| 77 |
-
"answer": ""
|
| 78 |
},
|
| 79 |
{
|
| 80 |
-
"id": "
|
| 81 |
-
"type": "
|
| 82 |
-
"source": "",
|
| 83 |
-
"question": "
|
| 84 |
-
"answer": ""
|
| 85 |
},
|
| 86 |
{
|
| 87 |
-
"id": "
|
| 88 |
-
"type": "
|
| 89 |
-
"source": "
|
| 90 |
-
"question": "
|
| 91 |
-
"answer": "
|
| 92 |
},
|
| 93 |
{
|
| 94 |
-
"id": "
|
| 95 |
"type": "lookup",
|
| 96 |
-
"source": "
|
| 97 |
-
"question": "
|
| 98 |
-
"answer": "
|
| 99 |
},
|
| 100 |
{
|
| 101 |
-
"id": "
|
| 102 |
"type": "lookup",
|
| 103 |
-
"source": "
|
| 104 |
-
"question": "
|
| 105 |
-
"answer": "
|
| 106 |
},
|
| 107 |
{
|
| 108 |
-
"id": "
|
| 109 |
-
"type": "
|
| 110 |
-
"source": "
|
| 111 |
-
"question": "
|
| 112 |
-
"answer": "
|
| 113 |
},
|
| 114 |
{
|
| 115 |
-
"id": "
|
| 116 |
-
"type": "
|
| 117 |
-
"source": "
|
| 118 |
-
"question": "
|
| 119 |
-
"answer": "
|
| 120 |
},
|
| 121 |
{
|
| 122 |
-
"id": "
|
| 123 |
-
"type": "
|
| 124 |
-
"source": "
|
| 125 |
-
"question": "
|
| 126 |
-
"answer": "
|
| 127 |
},
|
| 128 |
{
|
| 129 |
-
"id": "
|
| 130 |
"type": "lookup",
|
| 131 |
-
"source": "
|
| 132 |
-
"question": "
|
| 133 |
-
"answer": "
|
| 134 |
},
|
| 135 |
{
|
| 136 |
-
"id": "
|
| 137 |
"type": "lookup",
|
| 138 |
-
"source": "
|
| 139 |
-
"question": "
|
| 140 |
-
"answer": "
|
| 141 |
},
|
| 142 |
{
|
| 143 |
-
"id": "
|
| 144 |
"type": "lookup",
|
| 145 |
-
"source": "
|
| 146 |
-
"question": "
|
| 147 |
-
"answer": "
|
| 148 |
},
|
| 149 |
{
|
| 150 |
-
"id": "
|
| 151 |
-
"type": "
|
| 152 |
-
"source": "
|
| 153 |
-
"question": "
|
| 154 |
-
"answer": "
|
| 155 |
},
|
| 156 |
{
|
| 157 |
-
"id": "
|
| 158 |
"type": "lookup",
|
| 159 |
-
"source": "
|
| 160 |
-
"question": "
|
| 161 |
-
"answer": "
|
| 162 |
},
|
| 163 |
{
|
| 164 |
-
"id": "
|
| 165 |
-
"type": "
|
| 166 |
-
"source": "
|
| 167 |
-
"question": "
|
| 168 |
-
"answer": "
|
| 169 |
},
|
| 170 |
{
|
| 171 |
-
"id": "
|
| 172 |
"type": "general",
|
| 173 |
-
"source": "
|
| 174 |
-
"question": "
|
| 175 |
-
"answer": "
|
| 176 |
},
|
| 177 |
{
|
| 178 |
-
"id": "
|
| 179 |
-
"type": "
|
| 180 |
-
"source": "
|
| 181 |
-
"question": "
|
| 182 |
-
"answer": "
|
| 183 |
},
|
| 184 |
{
|
| 185 |
-
"id": "
|
| 186 |
-
"type": "
|
| 187 |
-
"source": "
|
| 188 |
-
"question": "
|
| 189 |
-
"answer": "
|
| 190 |
},
|
| 191 |
{
|
| 192 |
-
"id": "
|
| 193 |
"type": "general",
|
| 194 |
-
"source": "
|
| 195 |
-
"question": "
|
| 196 |
-
"answer": "
|
| 197 |
},
|
| 198 |
{
|
| 199 |
-
"id": "
|
| 200 |
-
"type": "
|
| 201 |
-
"source": "
|
| 202 |
-
"question": "
|
| 203 |
-
"answer": "
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 204 |
},
|
| 205 |
{
|
| 206 |
-
"id": "
|
| 207 |
"type": "out_of_scope",
|
| 208 |
"source": "",
|
| 209 |
-
"question": "Lãi suất cho vay
|
| 210 |
"answer": ""
|
| 211 |
}
|
| 212 |
]
|
|
|
|
| 1 |
[
|
| 2 |
{
|
| 3 |
+
"id": "vnm23_001",
|
| 4 |
"type": "lookup",
|
| 5 |
+
"source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
|
| 6 |
+
"question": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
|
| 7 |
+
"answer": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 đạt 60.479 tỷ đồng, tăng 404 tỷ đồng so với cùng kỳ và hoàn thành 95% kế hoạch."
|
| 8 |
},
|
| 9 |
{
|
| 10 |
+
"id": "vnm23_002",
|
| 11 |
"type": "lookup",
|
| 12 |
+
"source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
|
| 13 |
+
"question": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
|
| 14 |
+
"answer": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 đạt 9.019 tỷ đồng, tăng 472 tỷ đồng so với cùng kỳ và vượt kế hoạch 5%."
|
| 15 |
},
|
| 16 |
{
|
| 17 |
+
"id": "vnm23_003",
|
| 18 |
"type": "lookup",
|
| 19 |
+
"source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
|
| 20 |
+
"question": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 là bao nhiêu?",
|
| 21 |
+
"answer": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 đạt 50.617 tỷ đồng, ổn định so với cùng kỳ."
|
| 22 |
},
|
| 23 |
{
|
| 24 |
+
"id": "vnm23_004",
|
| 25 |
+
"type": "comparison",
|
| 26 |
+
"source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
|
| 27 |
+
"question": "Vinamilk hoàn thành bao nhiêu phần trăm kế hoạch doanh thu và lợi nhuận năm 2023?",
|
| 28 |
+
"answer": "Vinamilk hoàn thành 95% kế hoạch doanh thu và vượt kế hoạch lợi nhuận sau thuế 5% trong năm 2023."
|
| 29 |
},
|
| 30 |
{
|
| 31 |
+
"id": "vnm22_001",
|
| 32 |
+
"type": "general",
|
| 33 |
+
"source": "vinamilk_ar_2022.pdf",
|
| 34 |
+
"question": "Vinamilk hoạt động trong lĩnh vực kinh doanh chính nào?",
|
| 35 |
+
"answer": "Vinamilk hoạt động chính trong lĩnh vực sản xuất và kinh doanh sữa và các sản phẩm từ sữa, bao gồm sữa tươi, sữa bột, sữa chua, kem, phô mai và các sản phẩm dinh dưỡng, là doanh nghiệp sữa lớn nhất Việt Nam."
|
| 36 |
},
|
| 37 |
{
|
| 38 |
+
"id": "vnm22_002",
|
| 39 |
"type": "general",
|
| 40 |
+
"source": "vinamilk_ar_2022.pdf",
|
| 41 |
+
"question": "Các thương hiệu sản phẩm nổi bật của Vinamilk là gì?",
|
| 42 |
+
"answer": "Các thương hiệu sản phẩm nổi bật của Vinamilk bao gồm: Vinamilk, Dielac, Ridielac, Ông Thọ, Yomost, Vfresh, Probi và nhiều nhãn hiệu khác phục vụ các phân khúc khách hàng đa dạng."
|
| 43 |
},
|
| 44 |
{
|
| 45 |
+
"id": "vnm22_003",
|
| 46 |
"type": "general",
|
| 47 |
+
"source": "vinamilk_ar_2022.pdf",
|
| 48 |
+
"question": "Tổng giám đốc của Vinamilk trong báo cáo thường niên 2022 là ai?",
|
| 49 |
+
"answer": "Tổng giám đốc Vinamilk là Bà Mai Kiều Liên, người gắn bó và lãnh đạo công ty trong nhiều thập kỷ phát triển."
|
| 50 |
},
|
| 51 |
{
|
| 52 |
+
"id": "fpt23_001",
|
| 53 |
+
"type": "lookup",
|
| 54 |
+
"source": "FPT_Baocaothuongnien_2023.pdf",
|
| 55 |
+
"question": "Doanh thu của FPT năm 2023 là bao nhiêu và tăng trưởng bao nhiêu so với năm trước?",
|
| 56 |
+
"answer": "Doanh thu của FPT năm 2023 đạt 52.618 tỷ đồng, tăng 19,6% so với cùng kỳ năm 2022."
|
| 57 |
},
|
| 58 |
{
|
| 59 |
+
"id": "fpt23_002",
|
| 60 |
"type": "lookup",
|
| 61 |
+
"source": "FPT_Baocaothuongnien_2023.pdf",
|
| 62 |
+
"question": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 là bao nhiêu?",
|
| 63 |
+
"answer": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 đạt 6.465 tỷ đồng, tăng 21,8% so với cùng kỳ."
|
| 64 |
},
|
| 65 |
{
|
| 66 |
+
"id": "fpt23_003",
|
| 67 |
+
"type": "lookup",
|
| 68 |
+
"source": "FPT_Baocaothuongnien_2023.pdf",
|
| 69 |
+
"question": "FPT đạt cột mốc quan trọng nào về doanh thu dịch vụ CNTT từ nước ngoài năm 2023?",
|
| 70 |
+
"answer": "Năm 2023, lần đầu tiên FPT đạt doanh thu dịch vụ CNTT từ thị trường nước ngoài vượt 1 tỷ USD, khẳng định đẳng cấp doanh nghiệp công nghệ toàn cầu."
|
| 71 |
},
|
| 72 |
{
|
| 73 |
+
"id": "fpt23_004",
|
| 74 |
+
"type": "lookup",
|
| 75 |
+
"source": "FPT_Baocaothuongnien_2023.pdf",
|
| 76 |
+
"question": "EPS (thu nhập trên cổ phiếu) của FPT năm 2023 là bao nhiêu?",
|
| 77 |
+
"answer": "EPS của FPT năm 2023 đạt 4.661 VNĐ, tăng 21,2% so với cùng kỳ năm 2022."
|
| 78 |
},
|
| 79 |
{
|
| 80 |
+
"id": "fpt22_001",
|
| 81 |
+
"type": "general",
|
| 82 |
+
"source": "BCTN2022_20230327.pdf",
|
| 83 |
+
"question": "FPT kỷ niệm bao nhiêu năm thành lập vào năm 2022 và chủ đề báo cáo là gì?",
|
| 84 |
+
"answer": "Năm 2022, FPT kỷ niệm 35 năm thành lập với chủ đề báo cáo thường niên là '35 năm kiến tạo hạnh phúc'."
|
| 85 |
},
|
| 86 |
{
|
| 87 |
+
"id": "fpt22_002",
|
| 88 |
+
"type": "general",
|
| 89 |
+
"source": "BCTN2022_20230327.pdf",
|
| 90 |
+
"question": "Trụ sở chính của Công ty Cổ phần FPT ở đâu?",
|
| 91 |
+
"answer": "Trụ sở chính của Công ty Cổ phần FPT đặt tại Số 10, phố Phạm Văn Bạch, Phường Dịch Vọng, Quận Cầu Giấy, Thành phố Hà Nội, Việt Nam."
|
| 92 |
},
|
| 93 |
{
|
| 94 |
+
"id": "hpg23_001",
|
| 95 |
"type": "lookup",
|
| 96 |
+
"source": "bao-cao-thuong-nien-2023.pdf",
|
| 97 |
+
"question": "Doanh thu của Tập đoàn Hòa Phát năm 2023 là bao nhiêu và thay đổi thế nào so với năm 2022?",
|
| 98 |
+
"answer": "Doanh thu của Hòa Phát năm 2023 đạt 120.355 tỷ đồng, giảm 16% so với năm 2022 do ảnh hưởng của thị trường thép khó khăn."
|
| 99 |
},
|
| 100 |
{
|
| 101 |
+
"id": "hpg23_002",
|
| 102 |
"type": "lookup",
|
| 103 |
+
"source": "bao-cao-thuong-nien-2023.pdf",
|
| 104 |
+
"question": "Lợi nhuận sau thuế của Hòa Phát năm 2023 là bao nhiêu?",
|
| 105 |
+
"answer": "Lợi nhuận sau thuế của Hòa Phát năm 2023 đạt 6.800 tỷ đồng, giảm 19% so với năm 2022 và đạt 85% kế hoạch đề ra."
|
| 106 |
},
|
| 107 |
{
|
| 108 |
+
"id": "hpg23_003",
|
| 109 |
+
"type": "lookup",
|
| 110 |
+
"source": "bao-cao-thuong-nien-2023.pdf",
|
| 111 |
+
"question": "Tổng tài sản của Hòa Phát cuối năm 2023 là bao nhiêu?",
|
| 112 |
+
"answer": "Tổng tài sản của Hòa Phát tính đến cuối năm 2023 đạt 187.783 tỷ đồng, tăng 10% so với năm 2022."
|
| 113 |
},
|
| 114 |
{
|
| 115 |
+
"id": "hpg23_004",
|
| 116 |
+
"type": "lookup",
|
| 117 |
+
"source": "bao-cao-thuong-nien-2023.pdf",
|
| 118 |
+
"question": "Thị phần thép xây dựng của Hòa Phát tại Việt Nam năm 2023 là bao nhiêu?",
|
| 119 |
+
"answer": "Hòa Phát giữ vững thị phần số 1 Việt Nam với gần 35% thị phần thép xây dựng, sản lượng bán hàng đạt 3,8 triệu tấn trong năm 2023."
|
| 120 |
},
|
| 121 |
{
|
| 122 |
+
"id": "hpg23_005",
|
| 123 |
+
"type": "general",
|
| 124 |
+
"source": "bao-cao-thuong-nien-2023.pdf",
|
| 125 |
+
"question": "Tầm nhìn chiến lược của Tập đoàn Hòa Phát đến năm 2025 là gì?",
|
| 126 |
+
"answer": "Tầm nhìn của Hòa Phát là trở thành Tập đoàn sản xuất công nghiệp với chất lượng dẫn đầu, trong đó Thép là lĩnh vực cốt lõi, hướng đến lọt vào Top 30 doanh nghiệp thép lớn nhất thế giới từ năm 2025."
|
| 127 |
},
|
| 128 |
{
|
| 129 |
+
"id": "hpg22_001",
|
| 130 |
"type": "lookup",
|
| 131 |
+
"source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
|
| 132 |
+
"question": "Doanh thu thuần của Hòa Phát năm 2022 là bao nhiêu?",
|
| 133 |
+
"answer": "Doanh thu thuần của Hòa Phát năm 2022 đạt 141.409 tỷ đồng, tuy nhiên lợi nhuận chỉ hoàn thành 34% kế hoạch do thị trường thép biến động."
|
| 134 |
},
|
| 135 |
{
|
| 136 |
+
"id": "hpg22_002",
|
| 137 |
"type": "lookup",
|
| 138 |
+
"source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
|
| 139 |
+
"question": "Lợi nhuận sau thuế của Hòa Phát năm 2022 là bao nhiêu?",
|
| 140 |
+
"answer": "Lợi nhuận sau thuế của Hòa Phát năm 2022 đạt 8.444 tỷ đồng, hoàn thành 34% kế hoạch, giảm so với năm 2021 do ngành thép gặp khó khăn."
|
| 141 |
},
|
| 142 |
{
|
| 143 |
+
"id": "hpg22_003",
|
| 144 |
"type": "lookup",
|
| 145 |
+
"source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
|
| 146 |
+
"question": "Sản lượng thép bán hàng của Hòa Phát năm 2022 đạt bao nhiêu tấn?",
|
| 147 |
+
"answer": "Sản lượng bán hàng thép các loại của Hòa Phát năm 2022 đạt 7,2 triệu tấn, trong đó thép xây dựng đạt hơn 4,2 triệu tấn (tăng 10% so với 2021) với thị phần số 1 Việt Nam gần 35%."
|
| 148 |
},
|
| 149 |
{
|
| 150 |
+
"id": "hpg22_004",
|
| 151 |
+
"type": "general",
|
| 152 |
+
"source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
|
| 153 |
+
"question": "Hòa Phát niêm yết trên sàn chứng khoán nào và từ bao giờ?",
|
| 154 |
+
"answer": "Hòa Phát niêm yết trên Sở Giao dịch Chứng khoán TP.HCM (HOSE) từ ngày 15/11/2007 với mã chứng khoán HPG."
|
| 155 |
},
|
| 156 |
{
|
| 157 |
+
"id": "msn23_001",
|
| 158 |
"type": "lookup",
|
| 159 |
+
"source": "a420975a57382d3fa0a93a431c72a824.pdf",
|
| 160 |
+
"question": "Hệ thống bán lẻ WinCommerce của Masan có bao nhiêu điểm bán tính đến cuối năm 2023?",
|
| 161 |
+
"answer": "Tính đến cuối năm 2023, WinCommerce sở hữu 132 siêu thị WinMart và 3.501 cửa hàng WinMart+, là nhà bán lẻ nhu yếu phẩm lớn nhất Việt Nam về số lượng điểm bán."
|
| 162 |
},
|
| 163 |
{
|
| 164 |
+
"id": "msn23_002",
|
| 165 |
+
"type": "general",
|
| 166 |
+
"source": "a420975a57382d3fa0a93a431c72a824.pdf",
|
| 167 |
+
"question": "Các mảng kinh doanh chính của Masan Group là gì?",
|
| 168 |
+
"answer": "Masan Group hoạt động trong các mảng: FMCG có thương hiệu (Masan Consumer Holdings), bán lẻ nhu yếu phẩm (WinCommerce/WinMart), thịt có thương hiệu (Masan MeatLife/MEATDeli), trà & cà phê (Phúc Long Heritage), viễn thông (Mobicast/Wintel) và dịch vụ tài chính (liên kết Techcombank)."
|
| 169 |
},
|
| 170 |
{
|
| 171 |
+
"id": "msn23_003",
|
| 172 |
"type": "general",
|
| 173 |
+
"source": "a420975a57382d3fa0a93a431c72a824.pdf",
|
| 174 |
+
"question": "Chiến lược POL (Point of Life) của Masan nhằm mục tiêu gì?",
|
| 175 |
+
"answer": "Chiến lược POL của Masan nhằm xây dựng mô hình mini-mall 'WIN' tích hợp các sản phẩm và dịch vụ thiết yếu hàng ngày (nhu yếu phẩm, chăm sóc sức khỏe, tài chính, viễn thông, giải trí) tại một điểm đến duy nhất, phục vụ hơn 100 triệu người tiêu dùng Việt Nam."
|
| 176 |
},
|
| 177 |
{
|
| 178 |
+
"id": "msn22_001",
|
| 179 |
+
"type": "general",
|
| 180 |
+
"source": "aa8887d96e3ff98f335604cae321243f.pdf",
|
| 181 |
+
"question": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là gì?",
|
| 182 |
+
"answer": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là 'Kết nối vạn nhu cầu', phản ánh chiến lược xây dựng hệ sinh thái tiêu dùng - công nghệ tích hợp."
|
| 183 |
},
|
| 184 |
{
|
| 185 |
+
"id": "msn22_002",
|
| 186 |
+
"type": "general",
|
| 187 |
+
"source": "aa8887d96e3ff98f335604cae321243f.pdf",
|
| 188 |
+
"question": "Masan Group sở hữu bao nhiêu phần trăm Phúc Long Heritage vào năm 2022?",
|
| 189 |
+
"answer": "Masan Group sở hữu 85% cổ phần Phúc Long Heritage vào năm 2022, sau khi mua 20% vào năm 2021 và tăng tỷ lệ sở hữu lên 85% trong năm 2022. Phúc Long Heritage là chuỗi trà và cà phê hàng đầu Việt Nam."
|
| 190 |
},
|
| 191 |
{
|
| 192 |
+
"id": "msn22_003",
|
| 193 |
"type": "general",
|
| 194 |
+
"source": "aa8887d96e3ff98f335604cae321243f.pdf",
|
| 195 |
+
"question": "Sứ mệnh của Masan Group là gì?",
|
| 196 |
+
"answer": "Sứ mệnh của Masan Group là nâng cao đời sống vật chất và tinh thần của người Việt, trở thành niềm tự hào của Việt Nam bằng cách cung cấp sản phẩm và dịch vụ chất lượng cho hơn 100 triệu người tiêu dùng Việt Nam."
|
| 197 |
},
|
| 198 |
{
|
| 199 |
+
"id": "oos_001",
|
| 200 |
+
"type": "out_of_scope",
|
| 201 |
+
"source": "",
|
| 202 |
+
"question": "Giá cổ phiếu HPG hôm nay là bao nhiêu?",
|
| 203 |
+
"answer": ""
|
| 204 |
+
},
|
| 205 |
+
{
|
| 206 |
+
"id": "oos_002",
|
| 207 |
+
"type": "out_of_scope",
|
| 208 |
+
"source": "",
|
| 209 |
+
"question": "Dự báo tăng trưởng GDP Việt Nam năm 2025 là bao nhiêu?",
|
| 210 |
+
"answer": ""
|
| 211 |
},
|
| 212 |
{
|
| 213 |
+
"id": "oos_003",
|
| 214 |
"type": "out_of_scope",
|
| 215 |
"source": "",
|
| 216 |
+
"question": "Lãi suất cho vay ngân hàng Vietcombank hiện tại là bao nhiêu?",
|
| 217 |
"answer": ""
|
| 218 |
}
|
| 219 |
]
|
eval_results.json
CHANGED
|
@@ -1,218 +1,226 @@
|
|
| 1 |
{
|
| 2 |
"summary": {
|
| 3 |
-
"faithfulness": 0.
|
| 4 |
-
"answer_relevancy": 0.
|
| 5 |
-
"context_recall": 0.
|
| 6 |
-
"judge_model": "llama-3.
|
| 7 |
},
|
| 8 |
"details": [
|
| 9 |
{
|
| 10 |
-
"question": "
|
| 11 |
-
"ground_truth": "
|
| 12 |
-
"answer": "
|
| 13 |
-
"faithfulness": 0.
|
| 14 |
-
"answer_relevancy":
|
| 15 |
-
"context_recall":
|
| 16 |
-
},
|
| 17 |
-
{
|
| 18 |
-
"question": "Lợi nhuận sau thuế của công ty quý 1 năm 2026 là bao nhiêu?",
|
| 19 |
-
"ground_truth": "Lợi nhuận sau thuế quý 1/2026 được thể hiện trong báo cáo kết quả kinh doanh.",
|
| 20 |
-
"answer": "Để tìm lợi nhuận sau thuế của công ty quý 1 năm 2026, cần tham khảo thông tin từ bảng tài liệu [5] (File: UPCOM_quy1.pdf, Trang: 27).\n\nTừ bảng Short-term advances from customers, Advance payments from customers và Advance payments from related parties, có các thông tin được trích ra như sau:\n\n- Thuế giá trị gia tăng 44,815,816 (có thể được tính là \"thue\" trong tài liệu)\n\nLợi nhuận sau thuế của công ty quý 1 năm 2026 có liên quan đến giá trị gia tăng nên có thể tham khảo thêm tài liệu [2] (File: UPCOM_quy1.pdf, Trang: 35).\n\nTóm lại, lợi nhuận sau thuế của công ty quý 1 năm 2026 được tính như sau:\n\n60 = (30 + 40)\n- (30 = lợi nhuận trước thuế, tương đương với \"lgi_nhn_thuan_tr hoat d^ng_kh kinh doanh30\" trong tài liệu [3] (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 8)).\n- (40 = lợi nhuận trước thuế chịu thuế thu nhập doanh nghiệp, tương đương với \"l^i_nhuan_khdc (40=31-32)\" trong tài liệu [3] (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 8)).\n\n\nLợi nhuận trước thuế có thể được trích từ tài liệu [2] (File: UPCOM_quy1.pdf, Trang: 35), có thông tin sau:\n17 Earning after tax (14-15-16) (29,161,413,091)\n\n- Trong đó có 3 mục liên quan: \"14-15-16\" tương đương với \"lgi_nhn_truoc_thue (14), lgi_nhn_thuan_tr hoat d^ng_kh kinh doanh30 (15) và lgi_nhn_sau_thue_thu_nh n^p dng (16)\".\n\n- Giá trị của mục \"14\" không được trích dẫn trong tài liệu.\n\n- Giá trị của mục \"15\" không được trích dẫn trong tài liệu.\n\n- Giá trị của mục \"16\" là 28,960,612,444.\n\n- Lợi nhuận trước thuế là 29,161,413,091\n\nVậy lợi nhuận sau thuế của công ty quý 1 năm 2026 là:\n60 = (30 = 29,161,413,091) + (40) - (51) = 28,966,612,445.\n\nDo đó, lợi nhuận sau thuế của công ty quý 1 năm 2026 là 28,960,612,444.",
|
| 21 |
-
"faithfulness": 0.8,
|
| 22 |
-
"answer_relevancy": 0.0,
|
| 23 |
-
"context_recall": 0.5
|
| 24 |
},
|
| 25 |
{
|
| 26 |
-
"question": "
|
| 27 |
-
"ground_truth": "
|
| 28 |
-
"answer": "
|
| 29 |
-
"faithfulness": 0.
|
| 30 |
-
"answer_relevancy":
|
| 31 |
-
"context_recall":
|
| 32 |
},
|
| 33 |
{
|
| 34 |
-
"question": "
|
| 35 |
-
"ground_truth": "
|
| 36 |
-
"answer": "
|
| 37 |
-
"faithfulness": 0.
|
| 38 |
-
"answer_relevancy":
|
| 39 |
-
"context_recall": 0.
|
| 40 |
},
|
| 41 |
{
|
| 42 |
-
"question": "
|
| 43 |
-
"ground_truth": "
|
| 44 |
-
"answer": "
|
| 45 |
-
"faithfulness": 0.
|
| 46 |
-
"answer_relevancy":
|
| 47 |
-
"context_recall":
|
| 48 |
},
|
| 49 |
{
|
| 50 |
-
"question": "
|
| 51 |
-
"ground_truth": "
|
| 52 |
-
"answer": "
|
| 53 |
"faithfulness": 0.8,
|
| 54 |
-
"answer_relevancy":
|
| 55 |
-
"context_recall": 0.
|
| 56 |
},
|
| 57 |
{
|
| 58 |
-
"question": "
|
| 59 |
-
"ground_truth": "
|
| 60 |
-
"answer": "
|
| 61 |
"faithfulness": 0.8,
|
| 62 |
-
"answer_relevancy":
|
| 63 |
-
"context_recall": 0.
|
| 64 |
},
|
| 65 |
{
|
| 66 |
-
"question": "
|
| 67 |
-
"ground_truth": "
|
| 68 |
-
"answer": "
|
| 69 |
-
"faithfulness": 0.
|
| 70 |
-
"answer_relevancy": 0.
|
| 71 |
-
"context_recall": 0.
|
| 72 |
},
|
| 73 |
{
|
| 74 |
-
"question": "
|
| 75 |
-
"ground_truth": "
|
| 76 |
-
"answer": "
|
| 77 |
-
"faithfulness": 0.
|
| 78 |
-
"answer_relevancy":
|
| 79 |
-
"context_recall": 0.
|
| 80 |
},
|
| 81 |
{
|
| 82 |
-
"question": "
|
| 83 |
-
"ground_truth": "
|
| 84 |
-
"answer": "
|
| 85 |
"faithfulness": 0.0,
|
| 86 |
-
"answer_relevancy":
|
| 87 |
-
"context_recall": 0.
|
| 88 |
},
|
| 89 |
{
|
| 90 |
-
"question": "
|
| 91 |
-
"ground_truth": "
|
| 92 |
-
"answer": "
|
| 93 |
-
"faithfulness": 0.
|
| 94 |
-
"answer_relevancy":
|
| 95 |
-
"context_recall": 0.
|
| 96 |
},
|
| 97 |
{
|
| 98 |
-
"question": "
|
| 99 |
-
"ground_truth": "
|
| 100 |
-
"answer": "
|
| 101 |
-
"faithfulness": 0.
|
| 102 |
-
"answer_relevancy":
|
| 103 |
-
"context_recall": 0.
|
| 104 |
},
|
| 105 |
{
|
| 106 |
-
"question": "
|
| 107 |
-
"ground_truth": "
|
| 108 |
-
"answer": "
|
| 109 |
-
"faithfulness": 0.
|
| 110 |
-
"answer_relevancy": 0.
|
| 111 |
-
"context_recall": 0.
|
| 112 |
},
|
| 113 |
{
|
| 114 |
-
"question": "
|
| 115 |
-
"ground_truth": "
|
| 116 |
-
"answer": "
|
| 117 |
"faithfulness": 0.8,
|
| 118 |
-
"answer_relevancy":
|
| 119 |
-
"context_recall": 0.
|
| 120 |
},
|
| 121 |
{
|
| 122 |
-
"question": "
|
| 123 |
-
"ground_truth": "
|
| 124 |
-
"answer": "
|
| 125 |
"faithfulness": 0.8,
|
| 126 |
-
"answer_relevancy":
|
| 127 |
-
"context_recall":
|
| 128 |
},
|
| 129 |
{
|
| 130 |
-
"question": "
|
| 131 |
-
"ground_truth": "
|
| 132 |
-
"answer": "
|
| 133 |
-
"faithfulness": 0.
|
| 134 |
-
"answer_relevancy":
|
| 135 |
-
"context_recall":
|
| 136 |
},
|
| 137 |
{
|
| 138 |
-
"question": "
|
| 139 |
-
"ground_truth": "
|
| 140 |
-
"answer": "
|
| 141 |
"faithfulness": 0.9,
|
| 142 |
-
"answer_relevancy":
|
| 143 |
-
"context_recall":
|
| 144 |
},
|
| 145 |
{
|
| 146 |
-
"question": "
|
| 147 |
-
"ground_truth": "
|
| 148 |
-
"answer": "
|
| 149 |
-
"faithfulness": 0.
|
| 150 |
-
"answer_relevancy":
|
| 151 |
-
"context_recall": 0.
|
| 152 |
},
|
| 153 |
{
|
| 154 |
-
"question": "
|
| 155 |
-
"ground_truth": "
|
| 156 |
-
"answer": "
|
| 157 |
-
"faithfulness": 0.
|
| 158 |
-
"answer_relevancy": 0.
|
| 159 |
-
"context_recall":
|
| 160 |
},
|
| 161 |
{
|
| 162 |
-
"question": "Doanh thu thuần của
|
| 163 |
-
"ground_truth": "Doanh thu thuần của
|
| 164 |
-
"answer": "
|
| 165 |
"faithfulness": 0.8,
|
| 166 |
"answer_relevancy": 0.8,
|
| 167 |
-
"context_recall": 0.
|
| 168 |
},
|
| 169 |
{
|
| 170 |
-
"question": "Lợi nhuận sau thuế của
|
| 171 |
-
"ground_truth": "Lợi nhuận sau thuế của
|
| 172 |
-
"answer": "
|
| 173 |
-
"faithfulness": 0.
|
| 174 |
-
"answer_relevancy":
|
| 175 |
-
"context_recall": 0.
|
| 176 |
},
|
| 177 |
{
|
| 178 |
-
"question": "
|
| 179 |
-
"ground_truth": "
|
| 180 |
-
"answer": "Theo tài liệu [1]
|
| 181 |
-
"faithfulness": 0.
|
| 182 |
-
"answer_relevancy":
|
| 183 |
-
"context_recall": 0.
|
| 184 |
},
|
| 185 |
{
|
| 186 |
-
"question": "
|
| 187 |
-
"ground_truth": "
|
| 188 |
-
"answer": "
|
| 189 |
-
"faithfulness": 0.
|
| 190 |
-
"answer_relevancy":
|
| 191 |
-
"context_recall": 0.
|
| 192 |
},
|
| 193 |
{
|
| 194 |
-
"question": "
|
| 195 |
-
"ground_truth": "
|
| 196 |
-
"answer": "
|
| 197 |
-
"faithfulness": 0.
|
| 198 |
-
"answer_relevancy":
|
| 199 |
-
"context_recall": 0.
|
| 200 |
},
|
| 201 |
{
|
| 202 |
-
"question": "
|
| 203 |
-
"ground_truth": "
|
| 204 |
-
"answer": "
|
| 205 |
"faithfulness": 0.8,
|
| 206 |
-
"answer_relevancy":
|
| 207 |
-
"context_recall": 0.
|
| 208 |
},
|
| 209 |
{
|
| 210 |
-
"question": "
|
| 211 |
-
"ground_truth": "
|
| 212 |
-
"answer": "
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 213 |
"faithfulness": 0.8,
|
| 214 |
"answer_relevancy": 0.5,
|
| 215 |
-
"context_recall": 0.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 216 |
}
|
| 217 |
]
|
| 218 |
}
|
|
|
|
| 1 |
{
|
| 2 |
"summary": {
|
| 3 |
+
"faithfulness": 0.7370370370370373,
|
| 4 |
+
"answer_relevancy": 0.9481481481481482,
|
| 5 |
+
"context_recall": 0.7481481481481483,
|
| 6 |
+
"judge_model": "llama-3.3-70b-versatile"
|
| 7 |
},
|
| 8 |
"details": [
|
| 9 |
{
|
| 10 |
+
"question": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
|
| 11 |
+
"ground_truth": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 đạt 60.479 tỷ đồng, tăng 404 tỷ đồng so với cùng kỳ và hoàn thành 95% kế hoạch.",
|
| 12 |
+
"answer": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 là 60.479 tỷ đồng [1].",
|
| 13 |
+
"faithfulness": 0.9,
|
| 14 |
+
"answer_relevancy": 1.0,
|
| 15 |
+
"context_recall": 1.0
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 16 |
},
|
| 17 |
{
|
| 18 |
+
"question": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
|
| 19 |
+
"ground_truth": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 đạt 9.019 tỷ đồng, tăng 472 tỷ đồng so với cùng kỳ và vượt kế hoạch 5%.",
|
| 20 |
+
"answer": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 là 9.019 tỷ đồng [1], [2], [3].",
|
| 21 |
+
"faithfulness": 0.9,
|
| 22 |
+
"answer_relevancy": 1.0,
|
| 23 |
+
"context_recall": 1.0
|
| 24 |
},
|
| 25 |
{
|
| 26 |
+
"question": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 là bao nhiêu?",
|
| 27 |
+
"ground_truth": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 đạt 50.617 tỷ đồng, ổn định so với cùng kỳ.",
|
| 28 |
+
"answer": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 là hơn 50.600 tỷ đồng [1] hoặc chính xác hơn là 50.617 tỷ đồng [2] và [4].",
|
| 29 |
+
"faithfulness": 0.9,
|
| 30 |
+
"answer_relevancy": 1.0,
|
| 31 |
+
"context_recall": 0.9
|
| 32 |
},
|
| 33 |
{
|
| 34 |
+
"question": "Vinamilk hoàn thành bao nhiêu phần trăm kế hoạch doanh thu và lợi nhuận năm 2023?",
|
| 35 |
+
"ground_truth": "Vinamilk hoàn thành 95% kế hoạch doanh thu và vượt kế hoạch lợi nhuận sau thuế 5% trong năm 2023.",
|
| 36 |
+
"answer": "Vinamilk hoàn thành 95% kế hoạch doanh thu và vượt kế hoạch 5% về lợi nhuận năm 2023 [1], [2].",
|
| 37 |
+
"faithfulness": 0.8,
|
| 38 |
+
"answer_relevancy": 1.0,
|
| 39 |
+
"context_recall": 1.0
|
| 40 |
},
|
| 41 |
{
|
| 42 |
+
"question": "Vinamilk hoạt động trong lĩnh vực kinh doanh chính nào?",
|
| 43 |
+
"ground_truth": "Vinamilk hoạt động chính trong lĩnh vực sản xuất và kinh doanh sữa và các sản phẩm từ sữa, bao gồm sữa tươi, sữa bột, sữa chua, kem, phô mai và các sản phẩm dinh dưỡng, là doanh nghiệp sữa lớn nhất Việt Nam.",
|
| 44 |
+
"answer": "Vinamilk hoạt động trong lĩnh vực kinh doanh sữa và sản phẩm dinh dưỡng, với 04 ngành hàng chính gồm Sữa nước, Sữa chua, Sữa đặc và Sữa công thức [1].",
|
| 45 |
"faithfulness": 0.8,
|
| 46 |
+
"answer_relevancy": 1.0,
|
| 47 |
+
"context_recall": 0.8
|
| 48 |
},
|
| 49 |
{
|
| 50 |
+
"question": "Các thương hiệu sản phẩm nổi bật của Vinamilk là gì?",
|
| 51 |
+
"ground_truth": "Các thương hiệu sản phẩm nổi bật của Vinamilk bao gồm: Vinamilk, Dielac, Ridielac, Ông Thọ, Yomost, Vfresh, Probi và nhiều nhãn hiệu khác phục vụ các phân khúc khách hàng đa dạng.",
|
| 52 |
+
"answer": "Theo đoạn [1], các thương hiệu sản phẩm nổi bật của Vinamilk bao gồm Vinamilk, Ông Thọ, Ngôi sao Phương Nam, Susu và Probi. [1]",
|
| 53 |
"faithfulness": 0.8,
|
| 54 |
+
"answer_relevancy": 1.0,
|
| 55 |
+
"context_recall": 0.8
|
| 56 |
},
|
| 57 |
{
|
| 58 |
+
"question": "Tổng giám đốc của Vinamilk trong báo cáo thường niên 2022 là ai?",
|
| 59 |
+
"ground_truth": "Tổng giám đốc Vinamilk là Bà Mai Kiều Liên, người gắn bó và lãnh đạo công ty trong nhiều thập kỷ phát triển.",
|
| 60 |
+
"answer": "Tổng giám đốc của Vinamilk trong báo cáo thường niên 2022 là Bà Bùi Thị Hương [1], nhưng thông tin này lại nói về vị trí Giám đốc Điều hành – Nhân sự – Hành chính và Đối ngoại. Tuy nhiên, dựa trên các thông tin khác [2], [4], Tổng Giám đốc Công ty Vinamilk từ tháng 12/1992 là một người nữ, và trong báo cáo thường niên 2022 [4] cũng không có thông tin cập nhật mới về việc ai là Tổng Giám đốc vào năm 2022. Nhưng Bà Mai Kiều Liên được nhắc đến với vai trò Tổng Giám đốc từ tháng 12/1992 [2], [4]. Do đó, có thể nói Tổng Giám đốc của Vinamilk là Bà Mai Kiều Liên.",
|
| 61 |
+
"faithfulness": 0.8,
|
| 62 |
+
"answer_relevancy": 0.8,
|
| 63 |
+
"context_recall": 0.8
|
| 64 |
},
|
| 65 |
{
|
| 66 |
+
"question": "Doanh thu của FPT năm 2023 là bao nhiêu và tăng trưởng bao nhiêu so với năm trước?",
|
| 67 |
+
"ground_truth": "Doanh thu của FPT năm 2023 đạt 52.618 tỷ đồng, tăng 19,6% so với cùng kỳ năm 2022.",
|
| 68 |
+
"answer": "Doanh thu của FPT năm 2023 là 44.010 tỷ đồng và tăng trưởng 23,4% so với năm trước [3].",
|
| 69 |
+
"faithfulness": 0.0,
|
| 70 |
+
"answer_relevancy": 1.0,
|
| 71 |
+
"context_recall": 0.0
|
| 72 |
},
|
| 73 |
{
|
| 74 |
+
"question": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 là bao nhiêu?",
|
| 75 |
+
"ground_truth": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 đạt 6.465 tỷ đồng, tăng 21,8% so với cùng kỳ.",
|
| 76 |
+
"answer": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 là 6.465.190.432.622 VND [1].",
|
| 77 |
"faithfulness": 0.0,
|
| 78 |
+
"answer_relevancy": 1.0,
|
| 79 |
+
"context_recall": 0.9
|
| 80 |
},
|
| 81 |
{
|
| 82 |
+
"question": "FPT đạt cột mốc quan trọng nào về doanh thu dịch vụ CNTT từ nước ngoài năm 2023?",
|
| 83 |
+
"ground_truth": "Năm 2023, lần đầu tiên FPT đạt doanh thu dịch vụ CNTT từ thị trường nước ngoài vượt 1 tỷ USD, khẳng định đẳng cấp doanh nghiệp công nghệ toàn cầu.",
|
| 84 |
+
"answer": "Năm 2023, FPT đạt cột mốc quan trọng về doanh thu dịch vụ CNTT từ nước ngoài khi lần đầu tiên cán mốc 01 tỷ USD [1], [2], [3], [4], [5].",
|
| 85 |
+
"faithfulness": 0.8,
|
| 86 |
+
"answer_relevancy": 1.0,
|
| 87 |
+
"context_recall": 0.8
|
| 88 |
},
|
| 89 |
{
|
| 90 |
+
"question": "EPS (thu nhập trên cổ phiếu) của FPT năm 2023 là bao nhiêu?",
|
| 91 |
+
"ground_truth": "EPS của FPT năm 2023 đạt 4.661 VNĐ, tăng 21,2% so với cùng kỳ năm 2022.",
|
| 92 |
+
"answer": "EPS (thu nhập trên cổ phiếu) của FPT năm 2023 là 4.661 VNĐ, tăng 21,2% so với cùng kỳ [1], [2].",
|
| 93 |
+
"faithfulness": 0.0,
|
| 94 |
+
"answer_relevancy": 1.0,
|
| 95 |
+
"context_recall": 0.0
|
| 96 |
},
|
| 97 |
{
|
| 98 |
+
"question": "FPT kỷ niệm bao nhiêu năm thành lập vào năm 2022 và chủ đề báo cáo là gì?",
|
| 99 |
+
"ground_truth": "Năm 2022, FPT kỷ niệm 35 năm thành lập với chủ đề báo cáo thường niên là '35 năm kiến tạo hạnh phúc'.",
|
| 100 |
+
"answer": "FPT không kỷ niệm năm thành lập vào năm 2022 trong tài liệu [1] và [2]. Tuy nhiên, trong tài liệu [2], có nhắc đến hành trình 34 năm của FPT. Vì vậy, FPT kỷ niệm 34 năm thành lập vào năm 2022. Chủ đề của báo cáo thường niên không được đề cập rõ ràng trong các tài liệu cung cấp, nhưng trong tài liệu [2], có chủ đề \"KIẾN TẠO HẠNH PHÚC\" và \"35NĂM\" cho năm 2023.",
|
| 101 |
+
"faithfulness": 0.8,
|
| 102 |
+
"answer_relevancy": 0.8,
|
| 103 |
+
"context_recall": 0.8
|
| 104 |
},
|
| 105 |
{
|
| 106 |
+
"question": "Trụ sở chính của Công ty Cổ phần FPT ở đâu?",
|
| 107 |
+
"ground_truth": "Trụ sở chính của Công ty Cổ phần FPT đặt tại Số 10, phố Phạm Văn Bạch, Phường Dịch Vọng, Quận Cầu Giấy, Thành phố Hà Nội, Việt Nam.",
|
| 108 |
+
"answer": "Trụ sở chính của Công ty Cổ phần FPT nằm tại Số 10 phố Phạm Văn Bạch, Phường Dịch Vọng, Quận Cầu Giấy, Tp.Hà Nội, Việt Nam [1].",
|
| 109 |
"faithfulness": 0.8,
|
| 110 |
+
"answer_relevancy": 1.0,
|
| 111 |
+
"context_recall": 0.8
|
| 112 |
},
|
| 113 |
{
|
| 114 |
+
"question": "Doanh thu của Tập đoàn Hòa Phát năm 2023 là bao nhiêu và thay đổi thế nào so với năm 2022?",
|
| 115 |
+
"ground_truth": "Doanh thu của Hòa Phát năm 2023 đạt 120.355 tỷ đồng, giảm 16% so với năm 2022 do ảnh hưởng của thị trường thép khó khăn.",
|
| 116 |
+
"answer": "Doanh thu của Tập đoàn Hòa Phát năm 2023 là 120.355 tỷ đồng, giảm 16% so với năm 2022 [1], [2], [4].",
|
| 117 |
"faithfulness": 0.8,
|
| 118 |
+
"answer_relevancy": 1.0,
|
| 119 |
+
"context_recall": 1.0
|
| 120 |
},
|
| 121 |
{
|
| 122 |
+
"question": "Lợi nhuận sau thuế của Hòa Phát năm 2023 là bao nhiêu?",
|
| 123 |
+
"ground_truth": "Lợi nhuận sau thuế của Hòa Phát năm 2023 đạt 6.800 tỷ đồng, giảm 19% so với năm 2022 và đạt 85% kế hoạch đề ra.",
|
| 124 |
+
"answer": "Lợi nhuận sau thuế của Hòa Phát năm 2023 là 6.800 tỷ đồng [1].",
|
| 125 |
+
"faithfulness": 0.9,
|
| 126 |
+
"answer_relevancy": 1.0,
|
| 127 |
+
"context_recall": 1.0
|
| 128 |
},
|
| 129 |
{
|
| 130 |
+
"question": "Tổng tài sản của Hòa Phát cuối năm 2023 là bao nhiêu?",
|
| 131 |
+
"ground_truth": "Tổng tài sản của Hòa Phát tính đến cuối năm 2023 đạt 187.783 tỷ đồng, tăng 10% so với năm 2022.",
|
| 132 |
+
"answer": "Tổng tài sản của Hòa Phát cuối năm 2023 là 187.783 tỷ đồng [1], [2].",
|
| 133 |
"faithfulness": 0.9,
|
| 134 |
+
"answer_relevancy": 1.0,
|
| 135 |
+
"context_recall": 1.0
|
| 136 |
},
|
| 137 |
{
|
| 138 |
+
"question": "Thị phần thép xây dựng của Hòa Phát tại Việt Nam năm 2023 là bao nhiêu?",
|
| 139 |
+
"ground_truth": "Hòa Phát giữ vững thị phần số 1 Việt Nam với gần 35% thị phần thép xây dựng, sản lượng bán hàng đạt 3,8 triệu tấn trong năm 2023.",
|
| 140 |
+
"answer": "Thị phần thép xây dựng của Hòa Phát tại Việt Nam năm 2023 là 34,7% [3].",
|
| 141 |
+
"faithfulness": 0.9,
|
| 142 |
+
"answer_relevancy": 1.0,
|
| 143 |
+
"context_recall": 0.8
|
| 144 |
},
|
| 145 |
{
|
| 146 |
+
"question": "Tầm nhìn chiến lược của Tập đoàn Hòa Phát đến năm 2025 là gì?",
|
| 147 |
+
"ground_truth": "Tầm nhìn của Hòa Phát là trở thành Tập đoàn sản xuất công nghiệp với chất lượng dẫn đầu, trong đó Thép là lĩnh vực cốt lõi, hướng đến lọt vào Top 30 doanh nghiệp thép lớn nhất thế giới từ năm 2025.",
|
| 148 |
+
"answer": "Tầm nhìn chiến lược của Tập đoàn Hòa Phát là trở thành Tập đoàn sản xuất công nghiệp với chất lượng dẫn đầu, trong đó Thép là lĩnh vực cốt lõi [1], [2]. Ngoài ra, theo kế hoạch, khi hoàn thành dự án vào năm 2025, năng lực sản xuất thép của Tập đoàn sẽ đạt hơn 14 triệu tấn thép thô/năm, đưa Hòa Phát vào Top 30 doanh nghiệp thép lớn nhất thế giới từ năm 2025 [3], [4].",
|
| 149 |
+
"faithfulness": 0.8,
|
| 150 |
+
"answer_relevancy": 0.8,
|
| 151 |
+
"context_recall": 1.0
|
| 152 |
},
|
| 153 |
{
|
| 154 |
+
"question": "Doanh thu thuần của Hòa Phát năm 2022 là bao nhiêu?",
|
| 155 |
+
"ground_truth": "Doanh thu thuần của Hòa Phát năm 2022 đạt 141.409 tỷ đồng, tuy nhiên lợi nhuận chỉ hoàn thành 34% kế hoạch do thị trường thép biến động.",
|
| 156 |
+
"answer": "Không tìm thấy thông tin về doanh thu thuần của Hòa Phát năm 2022 trong tài liệu được cung cấp. Tuy nhiên, có thông tin về doanh thu và lợi nhuận của Hòa Phát năm 2022 như sau: \"Doanh thu năm 2022 của Tập đoàn chỉ đạt 89% kế hoạch đề ra, giảm 5% so với năm 2021. Lợi nhuận cả năm 2022 là 8.444 tỷ đồng, hoàn thành 34% kế hoạch\" [1].",
|
| 157 |
"faithfulness": 0.8,
|
| 158 |
"answer_relevancy": 0.8,
|
| 159 |
+
"context_recall": 0.0
|
| 160 |
},
|
| 161 |
{
|
| 162 |
+
"question": "Lợi nhuận sau thuế của Hòa Phát năm 2022 là bao nhiêu?",
|
| 163 |
+
"ground_truth": "Lợi nhuận sau thuế của Hòa Phát năm 2022 đạt 8.444 tỷ đồng, hoàn thành 34% kế hoạch, giảm so với năm 2021 do ngành thép gặp khó khăn.",
|
| 164 |
+
"answer": "Lợi nhuận sau thuế của Hòa Phát năm 2022 là 8.444 tỷ đồng [1], [2], [3].",
|
| 165 |
+
"faithfulness": 0.8,
|
| 166 |
+
"answer_relevancy": 1.0,
|
| 167 |
+
"context_recall": 0.8
|
| 168 |
},
|
| 169 |
{
|
| 170 |
+
"question": "Sản lượng thép bán hàng của Hòa Phát năm 2022 đạt bao nhiêu tấn?",
|
| 171 |
+
"ground_truth": "Sản lượng bán hàng thép các loại của Hòa Phát năm 2022 đạt 7,2 triệu tấn, trong đó thép xây dựng đạt hơn 4,2 triệu tấn (tăng 10% so với 2021) với thị phần số 1 Việt Nam gần 35%.",
|
| 172 |
+
"answer": "Theo tài liệu [1] và [2], sản lượng bán hàng thép các loại của Hòa Phát năm 2022 đạt 7,2 triệu tấn.",
|
| 173 |
+
"faithfulness": 0.9,
|
| 174 |
+
"answer_relevancy": 1.0,
|
| 175 |
+
"context_recall": 0.8
|
| 176 |
},
|
| 177 |
{
|
| 178 |
+
"question": "Hòa Phát niêm yết trên sàn chứng khoán nào và từ bao giờ?",
|
| 179 |
+
"ground_truth": "Hòa Phát niêm yết trên Sở Giao dịch Chứng khoán TP.HCM (HOSE) từ ngày 15/11/2007 với mã chứng khoán HPG.",
|
| 180 |
+
"answer": "Hòa Phát niêm yết trên sàn chứng khoán HOSE với mã chứng khoán HPG, bắt đầu từ ngày 15/11/2007 [1], [4], [5].",
|
| 181 |
+
"faithfulness": 0.8,
|
| 182 |
+
"answer_relevancy": 1.0,
|
| 183 |
+
"context_recall": 0.8
|
| 184 |
},
|
| 185 |
{
|
| 186 |
+
"question": "Hệ thống bán lẻ WinCommerce của Masan có bao nhiêu điểm bán tính đến cuối năm 2023?",
|
| 187 |
+
"ground_truth": "Tính đến cuối năm 2023, WinCommerce sở hữu 132 siêu thị WinMart và 3.501 cửa hàng WinMart+, là nhà bán lẻ nhu yếu phẩm lớn nhất Việt Nam về số lượng điểm bán.",
|
| 188 |
+
"answer": "Hệ thống bán lẻ WinCommerce của Masan có hơn 132 siêu thị WinMart và 3.501 cửa hàng WinMart+/WIN, tổng cộng là 3.633 điểm bán tính đến cuối năm 2023 [1], [2].",
|
| 189 |
+
"faithfulness": 0.8,
|
| 190 |
+
"answer_relevancy": 1.0,
|
| 191 |
+
"context_recall": 0.8
|
| 192 |
},
|
| 193 |
{
|
| 194 |
+
"question": "Các mảng kinh doanh chính của Masan Group là gì?",
|
| 195 |
+
"ground_truth": "Masan Group hoạt động trong các mảng: FMCG có thương hiệu (Masan Consumer Holdings), bán lẻ nhu yếu phẩm (WinCommerce/WinMart), thịt có thương hiệu (Masan MeatLife/MEATDeli), trà & cà phê (Phúc Long Heritage), viễn thông (Mobicast/Wintel) và dịch vụ tài chính (liên kết Techcombank).",
|
| 196 |
+
"answer": "Masan Group có các mảng kinh doanh chính bao gồm: \n\n- Masan MEATLife (MML): nền tảng thịt có thương hiệu lớn nhất Việt Nam, tập trung vào việc mang đến cho người tiêu dùng các sản phẩm thịt có thương hiệu, hợp vệ sinh và có thể truy xuất nguồn gốc.\n- Phúc Long Heritage (PLH): thương hiệu trà và cà phê được yêu thích hàng đầu.\n- The CrownX (TCX): nền tảng bán lẻ hàng tiêu dùng sở hữu Masan Consumer Holdings (MCH) và WinCommerce (WCM).\n- Mobicast: nhà khai thác mạng di động (MVNO) hoạt động với thương hiệu “Wintel” [1], [3].",
|
| 197 |
"faithfulness": 0.8,
|
| 198 |
+
"answer_relevancy": 1.0,
|
| 199 |
+
"context_recall": 0.8
|
| 200 |
},
|
| 201 |
{
|
| 202 |
+
"question": "Chiến lược POL (Point of Life) của Masan nhằm mục tiêu gì?",
|
| 203 |
+
"ground_truth": "Chiến lược POL của Masan nhằm xây dựng mô hình mini-mall 'WIN' tích hợp các sản phẩm và dịch vụ thiết yếu hàng ngày (nhu yếu phẩm, chăm sóc sức khỏe, tài chính, viễn thông, giải trí) tại một điểm đến duy nhất, phục vụ hơn 100 triệu người tiêu dùng Việt Nam.",
|
| 204 |
+
"answer": "Chiến lược POL (Point of Life) của Masan nhằm mục tiêu trở thành một phần của hệ sinh thái tiêu dùng toàn diện, cung cấp nhiều loại sản phẩm và dịch vụ thiết yếu hàng ngày cho người tiêu dùng thông qua mô hình mini-mall mang thương hiệu \"WIN\" [1]. Ngoài ra, chiến lược này còn nhằm tăng trưởng mạng lưới thông qua mở rộng mạng lưới bán lẻ hiện đại, tăng tỷ trọng chi tiêu bằng cách cải thiện khả năng nắm bắt nhu cầu hàng ngày của người tiêu dùng, và mở rộng quy mô hội viên thông qua chương trình khách hàng thân thiết [3].",
|
| 205 |
+
"faithfulness": 0.8,
|
| 206 |
+
"answer_relevancy": 1.0,
|
| 207 |
+
"context_recall": 0.8
|
| 208 |
+
},
|
| 209 |
+
{
|
| 210 |
+
"question": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là gì?",
|
| 211 |
+
"ground_truth": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là 'Kết nối vạn nhu cầu', phản ánh chiến lược xây dựng hệ sinh thái tiêu dùng - công nghệ tích hợp.",
|
| 212 |
+
"answer": "Không tìm thấy thông tin cụ thể về chủ đề của Báo cáo Thường niên Masan Group năm 2022 trong tài liệu cung cấp. Tuy nhiên, có thể thấy rằng báo cáo bao gồm các nội dung như Thư ngỏ của Chủ tịch Hội đồng Quản trị, Câu chuyện của Masan Group, Báo cáo Phát triển Bền vững, Báo cáo của Ban Điều Hành, Báo cáo Tài chính, và Thông tin chung về Công ty [4]. Báo cáo này phục vụ cho Đại Hội Đồng Cổ Đông thường niên năm 2022 và dành cho cổ đông của Masan Group, Masan Consumer và Masan MEATLife [4].",
|
| 213 |
"faithfulness": 0.8,
|
| 214 |
"answer_relevancy": 0.5,
|
| 215 |
+
"context_recall": 0.0
|
| 216 |
+
},
|
| 217 |
+
{
|
| 218 |
+
"question": "Masan Group sở hữu bao nhiêu phần trăm Phúc Long Heritage vào năm 2022?",
|
| 219 |
+
"ground_truth": "Masan Group sở hữu 85% cổ phần Phúc Long Heritage vào năm 2022, sau khi mua 20% vào năm 2021 và tăng tỷ lệ sở hữu lên 85% trong năm 2022. Phúc Long Heritage là chuỗi trà và cà phê hàng đầu Việt Nam.",
|
| 220 |
+
"answer": "Vào tháng 8/2022, sau khi mua thêm 34% cổ phần Phúc Long Heritage, Masan Group đã nâng tỷ lệ sở hữu của mình tại Phúc Long lên 85% [1], [2]. Trước đó, vào tháng 1/2022, Masan Group đã mua thêm 31% cổ phần Phúc Long Heritage và nâng tỷ lệ sở hữu của mình lên 51% [3], [4], [5].",
|
| 221 |
+
"faithfulness": 0.8,
|
| 222 |
+
"answer_relevancy": 0.9,
|
| 223 |
+
"context_recall": 1.0
|
| 224 |
}
|
| 225 |
]
|
| 226 |
}
|