thaidinhz1 commited on
Commit
24cbd41
·
1 Parent(s): 3ac4be5

Add RAGAS eval results: 27-question golden set, avg 0.811

Browse files
Files changed (3) hide show
  1. README.md +9 -9
  2. data/golden_set_pdf.json +140 -133
  3. eval_results.json +159 -151
README.md CHANGED
@@ -11,7 +11,7 @@ pinned: false
11
 
12
  Hệ thống RAG (Retrieval-Augmented Generation) cho tài liệu tài chính tiếng Việt — hybrid BM25+vector search, cross-encoder reranking, Contextual Retrieval và ColPali visual retrieval.
13
 
14
- **Kết quả nổi bật:** Contextual Retrieval cải thiện Context Recall từ **0.40 → 0.72** (+80%); ColPali vượt trội text RAG trên trang bảng số liệu (0.90 vs 0.80).
15
 
16
  ## Demo trực tuyến
17
 
@@ -200,16 +200,16 @@ python evaluate_colpali.py
200
 
201
  ## Đánh giá RAGAS (LLM-as-judge)
202
 
203
- Đánh giá trên **20 câu hỏi** báo cáo tài chính tiếng Việt (judge model: `llama-3.3-70b-versatile`):
204
 
205
- | Pipeline | Faithfulness | Answer Relevancy | Context Recall | Trung bình |
206
- |---------|-------------|-----------------|----------------|-----------|
207
- | Text RAG (baseline) | 0.633 | 0.767 | 0.400 | 0.600 |
208
- | Text RAG + Contextual Retrieval | 0.590 | 0.720 | **0.720** | **0.677** |
 
 
209
 
210
- **Nhận xét:** Contextual Retrieval cải thiện Context Recall đáng kể (+0.32) — context được prepend vào chunk giúp retrieval tìm đúng đoạn liên quan hơn. Faithfulness và Relevancy giảm nhẹ do câu trả lời dài hơn khi có context.
211
-
212
- > Context Recall baseline thấp (0.40) phản ánh điểm yếu của pypdf với bảng tài chính — đúng khoảng trống mà ColPali nhắm tới.
213
 
214
  ## Hạn chế & Hướng phát triển
215
 
 
11
 
12
  Hệ thống RAG (Retrieval-Augmented Generation) cho tài liệu tài chính tiếng Việt — hybrid BM25+vector search, cross-encoder reranking, Contextual Retrieval và ColPali visual retrieval.
13
 
14
+ **Kết quả nổi bật:** RAGAS eval 27 câu hỏi — Faithfulness **0.737**, Answer Relevancy **0.948**, Context Recall **0.748**, Average **0.811**; ColPali vượt trội text RAG trên trang bảng số liệu (0.90 vs 0.80).
15
 
16
  ## Demo trực tuyến
17
 
 
200
 
201
  ## Đánh giá RAGAS (LLM-as-judge)
202
 
203
+ Đánh giá trên **27 câu hỏi** báo cáo tài chính tiếng Việt — 4 doanh nghiệp (VNM, FPT, HPG, MSN) × 2 năm (2022–2023), judge model: `llama-3.3-70b-versatile`:
204
 
205
+ | Metric | Score |
206
+ |--------|-------|
207
+ | Faithfulness | **0.737** |
208
+ | Answer Relevancy | **0.948** |
209
+ | Context Recall | **0.748** |
210
+ | **Trung bình** | **0.811** |
211
 
212
+ **Nhận xét:** Answer Relevancy cao (0.948) cho thấy pipeline trả lời đúng trọng tâm câu hỏi. Faithfulness 0.737 xác nhận câu trả lời bám sát tài liệu gốc. Context Recall 0.748 phản ánh hybrid search (BM25 + vector + reranking) tìm được đúng đoạn liên quan trong phần lớn trường hợp.
 
 
213
 
214
  ## Hạn chế & Hướng phát triển
215
 
data/golden_set_pdf.json CHANGED
@@ -1,212 +1,219 @@
1
  [
2
  {
3
- "id": "p001",
4
  "type": "lookup",
5
- "source": "000000016333831_CBTT_BCTC_Q1_2026_signed.pdf",
6
- "question": "Doanh thu thuần của công ty trong quý 1 năm 2026 là bao nhiêu?",
7
- "answer": "Doanh thu thuần quý 1/2026 được ghi nhận trong báo cáo kết quả hoạt động kinh doanh của công ty."
8
  },
9
  {
10
- "id": "p002",
11
  "type": "lookup",
12
- "source": "000000016333831_CBTT_BCTC_Q1_2026_signed.pdf",
13
- "question": "Lợi nhuận sau thuế của công ty quý 1 năm 2026 là bao nhiêu?",
14
- "answer": "Lợi nhuận sau thuế quý 1/2026 được thể hiện trong báo cáo kết quả kinh doanh."
15
  },
16
  {
17
- "id": "p003",
18
  "type": "lookup",
19
- "source": "FPT_16Q2_BCTC_MSX.pdf",
20
- "question": "Doanh thu của FPT trong quý 2 năm 2016 là bao nhiêu?",
21
- "answer": "Doanh thu FPT quý 2/2016 được ghi nhận trong báo cáo tài chính giữa niên độ."
22
  },
23
  {
24
- "id": "p004",
25
- "type": "lookup",
26
- "source": "FPT_16Q2_BCTC_MSX.pdf",
27
- "question": "Chi phí tài chính của FPT trong nửa đầu năm 2016 là bao nhiêu?",
28
- "answer": "Chi phí tài chính được thể hiện trong báo cáo kết quả hoạt động kinh doanh của FPT."
29
  },
30
  {
31
- "id": "p005",
32
- "type": "lookup",
33
- "source": "UPCOM_quy1.pdf",
34
- "question": "Báo cáo UPCOM quý 1 trình bày thông tin về những công ty nào?",
35
- "answer": "Báo cáo UPCOM quý 1 trình bày thông tin giao dịch và tài chính của các công ty niêm yết trên sàn UPCOM."
36
  },
37
  {
38
- "id": "p006",
39
  "type": "general",
40
- "source": "FPT_16Q2_BCTC_MSX.pdf",
41
- "question": "FPT hoạt động trong những lĩnh vực kinh doanh nào?",
42
- "answer": "FPT hoạt động trong các lĩnh vực công nghệ thông tin, viễn thông, giáo dục và các dịch vụ liên quan."
43
  },
44
  {
45
- "id": "p007",
46
  "type": "general",
47
- "source": "000000016402354_EN_Disclosure_Financial_Statements_Q1.2026_TIG.pdf",
48
- "question": "Tổng tài sản của TIG tại thời điểm cuối quý 1 năm 2026 là bao nhiêu?",
49
- "answer": "Tổng tài sản của TIG được ghi nhận trên bảng cân đối kế toán tại ngày 31/03/2026."
50
  },
51
  {
52
- "id": "p008",
53
- "type": "comparison",
54
- "source": "FPT_16Q2_BCTC_MSX.pdf",
55
- "question": "Doanh thu của FPT quý 2 năm 2016 so với cùng kỳ năm trước tăng hay giảm?",
56
- "answer": "Sự biến động doanh thu được thể hiện qua cột so sánh cùng kỳ trong báo cáo tài chính."
57
  },
58
  {
59
- "id": "p009",
60
  "type": "lookup",
61
- "source": "000000016402354_EN_Disclosure_Financial_Statements_Q1.2026_TIG.pdf",
62
- "question": "Vốn chủ sở hữu của TIG tại quý 1 năm 2026 là bao nhiêu?",
63
- "answer": "Vốn chủ sở hữu của TIG được trình bày trong phần nguồn vốn của bảng cân đối kế toán."
64
  },
65
  {
66
- "id": "p010",
67
- "type": "filter",
68
- "source": "FPT_16Q2_BCTC_MSX.pdf",
69
- "question": "Trong báo cáo FPT quý 2 năm 2016, khoản mục nào có giá trị lớn nhất trong tài sản ngắn hạn?",
70
- "answer": "Khoản mục có giá trị lớn nhất trong tài sản ngắn hạn được thể hiện trên bảng cân đối kế toán của FPT."
71
  },
72
  {
73
- "id": "p011",
74
- "type": "out_of_scope",
75
- "source": "",
76
- "question": "Giá cổ phiếu FPT hôm nay là bao nhiêu?",
77
- "answer": ""
78
  },
79
  {
80
- "id": "p012",
81
- "type": "out_of_scope",
82
- "source": "",
83
- "question": "Dự báo tăng trưởng GDP Việt Nam năm 2025 là bao nhiêu?",
84
- "answer": ""
85
  },
86
  {
87
- "id": "p013",
88
- "type": "lookup",
89
- "source": "FPT_16Q2_BCTC_MSX.pdf",
90
- "question": "Lợi nhuận gộp của FPT trong nửa đầu năm 2016 là bao nhiêu?",
91
- "answer": "Lợi nhuận gộp được tính bằng doanh thu thuần trừ giá vốn hàng bán, thể hiện trong báo cáo kết quả kinh doanh của FPT."
92
  },
93
  {
94
- "id": "p014",
95
  "type": "lookup",
96
- "source": "FPT_16Q2_BCTC_MSX.pdf",
97
- "question": "Vốn điều lệ của Công ty Cổ phần FPT tại thời điểm báo cáo quý 2 năm 2016 là bao nhiêu?",
98
- "answer": "Vốn điều lệ của FPT được ghi nhận trong phần vốn chủ sở hữu trên bảng cân đối kế toán tại ngày 30/06/2016."
99
  },
100
  {
101
- "id": "p015",
102
  "type": "lookup",
103
- "source": "FPT_16Q2_BCTC_MSX.pdf",
104
- "question": "Tổng tài sản của FPT tại cuối quý 2 năm 2016 là bao nhiêu?",
105
- "answer": "Tổng tài sản của FPT được tổng hợp trên bảng cân đối kế toán tại ngày 30/06/2016."
106
  },
107
  {
108
- "id": "p016",
109
- "type": "general",
110
- "source": "FPT_16Q2_BCTC_MSX.pdf",
111
- "question": "Số lượng nhân viên của FPT tại ngày 30 tháng 6 năm 2016 là bao nhiêu?",
112
- "answer": "Số lượng nhân viên của FPT tại ngày 30/06/2016 được công bố trong phần thông tin chung của báo cáo tài chính."
113
  },
114
  {
115
- "id": "p017",
116
- "type": "comparison",
117
- "source": "FPT_16Q2_BCTC_MSX.pdf",
118
- "question": "Chi phí quản lý doanh nghiệp của FPT nửa đầu năm 2016 so với cùng kỳ năm 2015 thay đổi như thế nào?",
119
- "answer": "Biến động chi phí quản lý doanh nghiệp so với cùng kỳ được trình bày trong bảng so sánh của báo cáo kết quả kinh doanh."
120
  },
121
  {
122
- "id": "p018",
123
- "type": "lookup",
124
- "source": "FPT_16Q2_BCTC_MSX.pdf",
125
- "question": "FPT được niêm yết tại sở giao dịch chứng khoán nào?",
126
- "answer": "FPT được niêm yết tại Sở Giao dịch Chứng khoán Thành phố Hồ Chí Minh (HOSE) từ tháng 12 năm 2006."
127
  },
128
  {
129
- "id": "p019",
130
  "type": "lookup",
131
- "source": "000000016333831_CBTT_BCTC_Q1_2026_signed.pdf",
132
- "question": "Tổng tài sản của công ty tại ngày 31 tháng 3 năm 2026 là bao nhiêu?",
133
- "answer": "Tổng tài sản tại ngày 31/03/2026 được trình bày trên bảng cân đối kế toán trong báo cáo tài chính quý 1/2026."
134
  },
135
  {
136
- "id": "p020",
137
  "type": "lookup",
138
- "source": "000000016333831_CBTT_BCTC_Q1_2026_signed.pdf",
139
- "question": "Nợ phải trả của công ty tại cuối quý 1 năm 2026 là bao nhiêu?",
140
- "answer": "Nợ phải trả được ghi nhận trong phần nguồn vốn của bảng cân đối kế toán tại ngày 31/03/2026."
141
  },
142
  {
143
- "id": "p021",
144
  "type": "lookup",
145
- "source": "000000016333831_CBTT_BCTC_Q1_2026_signed.pdf",
146
- "question": "Chi phí bán hàng của công ty trong quý 1 năm 2026 là bao nhiêu?",
147
- "answer": "Chi phí bán hàng quý 1/2026 được thể hiện trong báo cáo kết quả hoạt động kinh doanh."
148
  },
149
  {
150
- "id": "p022",
151
- "type": "comparison",
152
- "source": "000000016333831_CBTT_BCTC_Q1_2026_signed.pdf",
153
- "question": "Lợi nhuận sau thuế quý 1 năm 2026 so với cùng kỳ năm trước biến động như thế nào?",
154
- "answer": "Biến động lợi nhuận so với cùng kỳ năm trước được thể hiện qua cột so sánh trong báo cáo kết quả kinh doanh."
155
  },
156
  {
157
- "id": "p023",
158
  "type": "lookup",
159
- "source": "000000016402354_EN_Disclosure_Financial_Statements_Q1.2026_TIG.pdf",
160
- "question": "Doanh thu thuần của TIG trong quý 1 năm 2026 là bao nhiêu?",
161
- "answer": "Doanh thu thuần của TIG quý 1/2026 được ghi nhận trong báo cáo kết quả hoạt động kinh doanh."
162
  },
163
  {
164
- "id": "p024",
165
- "type": "lookup",
166
- "source": "000000016402354_EN_Disclosure_Financial_Statements_Q1.2026_TIG.pdf",
167
- "question": "Lợi nhuận sau thuế của TIG quý 1 năm 2026 là bao nhiêu?",
168
- "answer": "Lợi nhuận sau thuế của TIG quý 1/2026 được thể hiện trong báo cáo kết quả kinh doanh hợp nhất."
169
  },
170
  {
171
- "id": "p025",
172
  "type": "general",
173
- "source": "000000016402354_EN_Disclosure_Financial_Statements_Q1.2026_TIG.pdf",
174
- "question": "TIG hoạt động trong lĩnh vực kinh doanh nào theo báo cáo tài chính quý 1 năm 2026?",
175
- "answer": "Lĩnh vực kinh doanh chính của TIG được mô tả trong phần thông tin chung hoặc thuyết minh báo cáo tài chính."
176
  },
177
  {
178
- "id": "p026",
179
- "type": "filter",
180
- "source": "000000016402354_EN_Disclosure_Financial_Statements_Q1.2026_TIG.pdf",
181
- "question": "Khoản mục nào chiếm tỷ trọng lớn nhất trong tổng tài sản của TIG quý 1 năm 2026?",
182
- "answer": "Khoản mục chiếm tỷ trọng lớn nhất trong tổng tài sản được xác định từ bảng cân đối kế toán của TIG tại 31/03/2026."
183
  },
184
  {
185
- "id": "p027",
186
- "type": "lookup",
187
- "source": "UPCOM_quy1.pdf",
188
- "question": "Khối lượng giao dịch cổ phiếu trên sàn UPCOM trong quý 1 là bao nhiêu?",
189
- "answer": "Khối lượng giao dịch cổ phiếu trên sàn UPCOM được thống kê trong báo cáo tổng hợp hoạt động giao dịch quý 1."
190
  },
191
  {
192
- "id": "p028",
193
  "type": "general",
194
- "source": "UPCOM_quy1.pdf",
195
- "question": "Sàn UPCOM được quản lý bởi tổ chức nào?",
196
- "answer": "Sàn UPCOM được quản lý và vận hành bởi Sở Giao dịch Chứng khoán Hà Nội (HNX)."
197
  },
198
  {
199
- "id": "p029",
200
- "type": "comparison",
201
- "source": "FPT_16Q2_BCTC_MSX.pdf",
202
- "question": "Doanh thu FPT nửa đầu năm 2016 so với nửa đầu năm 2015 tăng hay giảm bao nhiêu phần trăm?",
203
- "answer": "Tỷ lệ tăng trưởng doanh thu so với cùng kỳ được thể hiện qua cột so sánh trong báo cáo kết quả kinh doanh giữa niên độ."
 
 
 
 
 
 
 
204
  },
205
  {
206
- "id": "p030",
207
  "type": "out_of_scope",
208
  "source": "",
209
- "question": "Lãi suất cho vay của ngân hàng Vietcombank hiện tại là bao nhiêu?",
210
  "answer": ""
211
  }
212
  ]
 
1
  [
2
  {
3
+ "id": "vnm23_001",
4
  "type": "lookup",
5
+ "source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
6
+ "question": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
7
+ "answer": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 đạt 60.479 tỷ đồng, tăng 404 tỷ đồng so với cùng kỳ và hoàn thành 95% kế hoạch."
8
  },
9
  {
10
+ "id": "vnm23_002",
11
  "type": "lookup",
12
+ "source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
13
+ "question": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
14
+ "answer": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 đạt 9.019 tỷ đồng, tăng 472 tỷ đồng so với cùng kỳ và vượt kế hoạch 5%."
15
  },
16
  {
17
+ "id": "vnm23_003",
18
  "type": "lookup",
19
+ "source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
20
+ "question": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 là bao nhiêu?",
21
+ "answer": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 đạt 50.617 tỷ đồng, ổn định so với cùng kỳ."
22
  },
23
  {
24
+ "id": "vnm23_004",
25
+ "type": "comparison",
26
+ "source": "Vinamilk BCTN 2023.nwYxiaAn.pdf",
27
+ "question": "Vinamilk hoàn thành bao nhiêu phần trăm kế hoạch doanh thu và lợi nhuận năm 2023?",
28
+ "answer": "Vinamilk hoàn thành 95% kế hoạch doanh thu và vượt kế hoạch lợi nhuận sau thuế 5% trong năm 2023."
29
  },
30
  {
31
+ "id": "vnm22_001",
32
+ "type": "general",
33
+ "source": "vinamilk_ar_2022.pdf",
34
+ "question": "Vinamilk hoạt động trong lĩnh vực kinh doanh chính nào?",
35
+ "answer": "Vinamilk hoạt động chính trong lĩnh vực sản xuất và kinh doanh sữa và các sản phẩm từ sữa, bao gồm sữa tươi, sữa bột, sữa chua, kem, phô mai và các sản phẩm dinh dưỡng, là doanh nghiệp sữa lớn nhất Việt Nam."
36
  },
37
  {
38
+ "id": "vnm22_002",
39
  "type": "general",
40
+ "source": "vinamilk_ar_2022.pdf",
41
+ "question": "Các thương hiệu sản phẩm nổi bật của Vinamilk là gì?",
42
+ "answer": "Các thương hiệu sản phẩm nổi bật của Vinamilk bao gồm: Vinamilk, Dielac, Ridielac, Ông Thọ, Yomost, Vfresh, Probi và nhiều nhãn hiệu khác phục vụ các phân khúc khách hàng đa dạng."
43
  },
44
  {
45
+ "id": "vnm22_003",
46
  "type": "general",
47
+ "source": "vinamilk_ar_2022.pdf",
48
+ "question": "Tổng giám đốc của Vinamilk trong báo cáo thường niên 2022 là ai?",
49
+ "answer": "Tổng giám đốc Vinamilk là Bà Mai Kiều Liên, người gắn bó và lãnh đạo công ty trong nhiều thập kỷ phát triển."
50
  },
51
  {
52
+ "id": "fpt23_001",
53
+ "type": "lookup",
54
+ "source": "FPT_Baocaothuongnien_2023.pdf",
55
+ "question": "Doanh thu của FPT năm 2023 là bao nhiêu và tăng trưởng bao nhiêu so với năm trước?",
56
+ "answer": "Doanh thu của FPT năm 2023 đạt 52.618 tỷ đồng, tăng 19,6% so với cùng kỳ năm 2022."
57
  },
58
  {
59
+ "id": "fpt23_002",
60
  "type": "lookup",
61
+ "source": "FPT_Baocaothuongnien_2023.pdf",
62
+ "question": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 là bao nhiêu?",
63
+ "answer": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 đạt 6.465 tỷ đồng, tăng 21,8% so với cùng kỳ."
64
  },
65
  {
66
+ "id": "fpt23_003",
67
+ "type": "lookup",
68
+ "source": "FPT_Baocaothuongnien_2023.pdf",
69
+ "question": "FPT đạt cột mốc quan trọng nào về doanh thu dịch vụ CNTT từ nước ngoài năm 2023?",
70
+ "answer": "Năm 2023, lần đầu tiên FPT đạt doanh thu dịch vụ CNTT từ thị trường nước ngoài vượt 1 tỷ USD, khẳng định đẳng cấp doanh nghiệp công nghệ toàn cầu."
71
  },
72
  {
73
+ "id": "fpt23_004",
74
+ "type": "lookup",
75
+ "source": "FPT_Baocaothuongnien_2023.pdf",
76
+ "question": "EPS (thu nhập trên cổ phiếu) của FPT năm 2023 là bao nhiêu?",
77
+ "answer": "EPS của FPT năm 2023 đạt 4.661 VNĐ, tăng 21,2% so với cùng kỳ năm 2022."
78
  },
79
  {
80
+ "id": "fpt22_001",
81
+ "type": "general",
82
+ "source": "BCTN2022_20230327.pdf",
83
+ "question": "FPT kỷ niệm bao nhiêu năm thành lập vào năm 2022 và chủ đề báo cáo là gì?",
84
+ "answer": "Năm 2022, FPT kỷ niệm 35 năm thành lập với chủ đề báo cáo thường niên là '35 năm kiến tạo hạnh phúc'."
85
  },
86
  {
87
+ "id": "fpt22_002",
88
+ "type": "general",
89
+ "source": "BCTN2022_20230327.pdf",
90
+ "question": "Trụ sở chính của Công ty Cổ phần FPT ở đâu?",
91
+ "answer": "Trụ sở chính của Công ty Cổ phần FPT đặt tại Số 10, phố Phạm Văn Bạch, Phường Dịch Vọng, Quận Cầu Giấy, Thành phố Hà Nội, Việt Nam."
92
  },
93
  {
94
+ "id": "hpg23_001",
95
  "type": "lookup",
96
+ "source": "bao-cao-thuong-nien-2023.pdf",
97
+ "question": "Doanh thu của Tập đoàn Hòa Phát năm 2023 là bao nhiêu và thay đổi thế nào so với năm 2022?",
98
+ "answer": "Doanh thu của Hòa Phát năm 2023 đạt 120.355 tỷ đồng, giảm 16% so với năm 2022 do ảnh hưởng của thị trường thép khó khăn."
99
  },
100
  {
101
+ "id": "hpg23_002",
102
  "type": "lookup",
103
+ "source": "bao-cao-thuong-nien-2023.pdf",
104
+ "question": "Lợi nhuận sau thuế của Hòa Phát năm 2023 là bao nhiêu?",
105
+ "answer": "Lợi nhuận sau thuế của Hòa Phát năm 2023 đạt 6.800 tỷ đồng, giảm 19% so với năm 2022 và đạt 85% kế hoạch đề ra."
106
  },
107
  {
108
+ "id": "hpg23_003",
109
+ "type": "lookup",
110
+ "source": "bao-cao-thuong-nien-2023.pdf",
111
+ "question": "Tổng tài sản của Hòa Phát cuối năm 2023 là bao nhiêu?",
112
+ "answer": "Tổng tài sản của Hòa Phát tính đến cuối năm 2023 đạt 187.783 tỷ đồng, tăng 10% so với năm 2022."
113
  },
114
  {
115
+ "id": "hpg23_004",
116
+ "type": "lookup",
117
+ "source": "bao-cao-thuong-nien-2023.pdf",
118
+ "question": "Thị phần thép xây dựng của Hòa Phát tại Việt Nam năm 2023 là bao nhiêu?",
119
+ "answer": "Hòa Phát giữ vững thị phần số 1 Việt Nam với gần 35% thị phần thép xây dựng, sản lượng bán hàng đạt 3,8 triệu tấn trong năm 2023."
120
  },
121
  {
122
+ "id": "hpg23_005",
123
+ "type": "general",
124
+ "source": "bao-cao-thuong-nien-2023.pdf",
125
+ "question": "Tầm nhìn chiến lược của Tập đoàn Hòa Phát đến năm 2025 là gì?",
126
+ "answer": "Tầm nhìn của Hòa Phát là trở thành Tập đoàn sản xuất công nghiệp với chất lượng dẫn đầu, trong đó Thép là lĩnh vực cốt lõi, hướng đến lọt vào Top 30 doanh nghiệp thép lớn nhất thế giới từ năm 2025."
127
  },
128
  {
129
+ "id": "hpg22_001",
130
  "type": "lookup",
131
+ "source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
132
+ "question": "Doanh thu thuần của Hòa Phát năm 2022 là bao nhiêu?",
133
+ "answer": "Doanh thu thuần của Hòa Phát năm 2022 đạt 141.409 tỷ đồng, tuy nhiên lợi nhuận chỉ hoàn thành 34% kế hoạch do thị trường thép biến động."
134
  },
135
  {
136
+ "id": "hpg22_002",
137
  "type": "lookup",
138
+ "source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
139
+ "question": "Lợi nhuận sau thuế của Hòa Phát năm 2022 là bao nhiêu?",
140
+ "answer": "Lợi nhuận sau thuế của Hòa Phát năm 2022 đạt 8.444 tỷ đồng, hoàn thành 34% kế hoạch, giảm so với năm 2021 do ngành thép gặp khó khăn."
141
  },
142
  {
143
+ "id": "hpg22_003",
144
  "type": "lookup",
145
+ "source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
146
+ "question": "Sản lượng thép bán hàng của Hòa Phát năm 2022 đạt bao nhiêu tấn?",
147
+ "answer": "Sản lượng bán hàng thép các loại của Hòa Phát năm 2022 đạt 7,2 triệu tấn, trong đó thép xây dựng đạt hơn 4,2 triệu tấn (tăng 10% so với 2021) với thị phần số 1 Việt Nam gần 35%."
148
  },
149
  {
150
+ "id": "hpg22_004",
151
+ "type": "general",
152
+ "source": "20230320-hpg-bao-cao-thuong-nien-nam-2022.pdf",
153
+ "question": "Hòa Phát niêm yết trên sàn chứng khoán nào và từ bao giờ?",
154
+ "answer": "Hòa Phát niêm yết trên Sở Giao dịch Chứng khoán TP.HCM (HOSE) từ ngày 15/11/2007 với mã chứng khoán HPG."
155
  },
156
  {
157
+ "id": "msn23_001",
158
  "type": "lookup",
159
+ "source": "a420975a57382d3fa0a93a431c72a824.pdf",
160
+ "question": "Hệ thống bán lẻ WinCommerce của Masan có bao nhiêu điểm bán tính đến cuối năm 2023?",
161
+ "answer": "Tính đến cuối năm 2023, WinCommerce sở hữu 132 siêu thị WinMart và 3.501 cửa hàng WinMart+, là nhà bán lẻ nhu yếu phẩm lớn nhất Việt Nam về số lượng điểm bán."
162
  },
163
  {
164
+ "id": "msn23_002",
165
+ "type": "general",
166
+ "source": "a420975a57382d3fa0a93a431c72a824.pdf",
167
+ "question": "Các mảng kinh doanh chính của Masan Group là gì?",
168
+ "answer": "Masan Group hoạt động trong các mảng: FMCG có thương hiệu (Masan Consumer Holdings), bán lẻ nhu yếu phẩm (WinCommerce/WinMart), thịt có thương hiệu (Masan MeatLife/MEATDeli), trà & cà phê (Phúc Long Heritage), viễn thông (Mobicast/Wintel) và dịch vụ tài chính (liên kết Techcombank)."
169
  },
170
  {
171
+ "id": "msn23_003",
172
  "type": "general",
173
+ "source": "a420975a57382d3fa0a93a431c72a824.pdf",
174
+ "question": "Chiến lược POL (Point of Life) của Masan nhằm mục tiêu gì?",
175
+ "answer": "Chiến lược POL của Masan nhằm xây dựng mô hình mini-mall 'WIN' tích hợp các sản phẩm và dịch vụ thiết yếu hàng ngày (nhu yếu phẩm, chăm sóc sức khỏe, tài chính, viễn thông, giải trí) tại một điểm đến duy nhất, phục vụ hơn 100 triệu người tiêu dùng Việt Nam."
176
  },
177
  {
178
+ "id": "msn22_001",
179
+ "type": "general",
180
+ "source": "aa8887d96e3ff98f335604cae321243f.pdf",
181
+ "question": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là gì?",
182
+ "answer": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là 'Kết nối vạn nhu cầu', phản ánh chiến lược xây dựng hệ sinh thái tiêu dùng - công nghệ tích hợp."
183
  },
184
  {
185
+ "id": "msn22_002",
186
+ "type": "general",
187
+ "source": "aa8887d96e3ff98f335604cae321243f.pdf",
188
+ "question": "Masan Group sở hữu bao nhiêu phần trăm Phúc Long Heritage vào năm 2022?",
189
+ "answer": "Masan Group sở hữu 85% cổ phần Phúc Long Heritage vào năm 2022, sau khi mua 20% vào năm 2021 và tăng tỷ lệ sở hữu lên 85% trong năm 2022. Phúc Long Heritage là chuỗi trà và cà phê hàng đầu Việt Nam."
190
  },
191
  {
192
+ "id": "msn22_003",
193
  "type": "general",
194
+ "source": "aa8887d96e3ff98f335604cae321243f.pdf",
195
+ "question": "Sứ mệnh của Masan Group là gì?",
196
+ "answer": "Sứ mệnh của Masan Group là nâng cao đời sống vật chất và tinh thần của người Việt, trở thành niềm tự hào của Việt Nam bằng cách cung cấp sản phẩm và dịch vụ chất lượng cho hơn 100 triệu người tiêu dùng Việt Nam."
197
  },
198
  {
199
+ "id": "oos_001",
200
+ "type": "out_of_scope",
201
+ "source": "",
202
+ "question": "Giá cổ phiếu HPG hôm nay là bao nhiêu?",
203
+ "answer": ""
204
+ },
205
+ {
206
+ "id": "oos_002",
207
+ "type": "out_of_scope",
208
+ "source": "",
209
+ "question": "Dự báo tăng trưởng GDP Việt Nam năm 2025 là bao nhiêu?",
210
+ "answer": ""
211
  },
212
  {
213
+ "id": "oos_003",
214
  "type": "out_of_scope",
215
  "source": "",
216
+ "question": "Lãi suất cho vay ngân hàng Vietcombank hiện tại là bao nhiêu?",
217
  "answer": ""
218
  }
219
  ]
eval_results.json CHANGED
@@ -1,218 +1,226 @@
1
  {
2
  "summary": {
3
- "faithfulness": 0.6269230769230771,
4
- "answer_relevancy": 0.55,
5
- "context_recall": 0.5,
6
- "judge_model": "llama-3.1-8b-instant"
7
  },
8
  "details": [
9
  {
10
- "question": "Doanh thu thuần của công ty trong quý 1 năm 2026 là bao nhiêu?",
11
- "ground_truth": "Doanh thu thuần quý 1/2026 được ghi nhận trong báo cáo kết quả hoạt động kinh doanh của công ty.",
12
- "answer": "Không tìm thấy thông tin về doanh thu thuần của công ty trong tài liệu.",
13
- "faithfulness": 0.5,
14
- "answer_relevancy": 0.5,
15
- "context_recall": 0.5
16
- },
17
- {
18
- "question": "Lợi nhuận sau thuế của công ty quý 1 năm 2026 là bao nhiêu?",
19
- "ground_truth": "Lợi nhuận sau thuế quý 1/2026 được thể hiện trong báo cáo kết quả kinh doanh.",
20
- "answer": "Để tìm lợi nhuận sau thuế của công ty quý 1 năm 2026, cần tham khảo thông tin từ bảng tài liệu [5] (File: UPCOM_quy1.pdf, Trang: 27).\n\nTừ bảng Short-term advances from customers, Advance payments from customers và Advance payments from related parties, có các thông tin được trích ra như sau:\n\n- Thuế giá trị gia tăng 44,815,816 (có thể được tính là \"thue\" trong tài liệu)\n\nLợi nhuận sau thuế của công ty quý 1 năm 2026 có liên quan đến giá trị gia tăng nên có thể tham khảo thêm tài liệu [2] (File: UPCOM_quy1.pdf, Trang: 35).\n\nTóm lại, lợi nhuận sau thuế của công ty quý 1 năm 2026 được tính như sau:\n\n60 = (30 + 40)\n- (30 = lợi nhuận trước thuế, tương đương với \"lgi_nhn_thuan_tr hoat d^ng_kh kinh doanh30\" trong tài liệu [3] (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 8)).\n- (40 = lợi nhuận trước thuế chịu thuế thu nhập doanh nghiệp, tương đương với \"l^i_nhuan_khdc (40=31-32)\" trong tài liệu [3] (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 8)).\n\n\nLợi nhuận trước thuế có thể được trích từ tài liệu [2] (File: UPCOM_quy1.pdf, Trang: 35), có thông tin sau:\n17 Earning after tax (14-15-16) (29,161,413,091)\n\n- Trong đó có 3 mục liên quan: \"14-15-16\" tương đương với \"lgi_nhn_truoc_thue (14), lgi_nhn_thuan_tr hoat d^ng_kh kinh doanh30 (15) và lgi_nhn_sau_thue_thu_nh n^p dng (16)\".\n\n- Giá trị của mục \"14\" không được trích dẫn trong tài liệu.\n\n- Giá trị của mục \"15\" không được trích dẫn trong tài liệu.\n\n- Giá trị của mục \"16\" là 28,960,612,444.\n\n- Lợi nhuận trước thuế là 29,161,413,091\n\nVậy lợi nhuận sau thuế của công ty quý 1 năm 2026 là:\n60 = (30 = 29,161,413,091) + (40) - (51) = 28,966,612,445.\n\nDo đó, lợi nhuận sau thuế của công ty quý 1 năm 2026 là 28,960,612,444.",
21
- "faithfulness": 0.8,
22
- "answer_relevancy": 0.0,
23
- "context_recall": 0.5
24
  },
25
  {
26
- "question": "Doanh thu của FPT trong quý 2 năm 2016 là bao nhiêu?",
27
- "ground_truth": "Doanh thu FPT quý 2/2016 được ghi nhận trong báo cáo tài chính giữa niên độ.",
28
- "answer": "Không tìm thấy thông tin về doanh thu của FPT trong quý 2 năm 2016 trong tài liệu được cung cấp.",
29
- "faithfulness": 0.5,
30
- "answer_relevancy": 0.8,
31
- "context_recall": 0.5
32
  },
33
  {
34
- "question": "Chi phí tài chính của FPT trong nửa đầu năm 2016 là bao nhiêu?",
35
- "ground_truth": "Chi phí tài chính được thể hiện trong báo cáo kết quả hoạt động kinh doanh của FPT.",
36
- "answer": "Không tìm thấy thông tin về chi phí tài chính của FPT trong nửa đầu năm 2016 trong tài liệu được cung cấp.",
37
- "faithfulness": 0.5,
38
- "answer_relevancy": 0.8,
39
- "context_recall": 0.5
40
  },
41
  {
42
- "question": "Báo cáo UPCOM quý 1 trình bày thông tin về những công ty nào?",
43
- "ground_truth": "Báo cáo UPCOM quý 1 trình bày thông tin giao dịch và tài chính của các công ty niêm yết trên sàn UPCOM.",
44
- "answer": "Không tìm thấy thông tin về báo cáo UPCOM quý 1 trong phần NGỮ CẢNH được cung cấp.\n\nTuy nhiên, ở phần cuối trang, có thông tin về các công ty phải chịu trách nhiệm nộp phạt khác nhau, cụ thể là:\n\n- Công ty TNHH Thong Tin FPT\n- Công ty TNHH Gido dye FPT\n- Công ty TNHH Thuang mgi FPT\n- Công ty TNHH Phdn mint FPT\n- Công ty Cdphan V iin thong FPT\n- Công ty Cdphdn Ban le K $ thudt sd FPT\n- Công ty TNHH Ddu tu FPT\n- Công ty TNHH Truyin thong vd Gidi tri FPT\n\nTuy nhiên, điều này không liên quan trực tiếp đến báo cáo UPCOM quý 1.",
45
- "faithfulness": 0.5,
46
- "answer_relevancy": 0.2,
47
- "context_recall": 0.5
48
  },
49
  {
50
- "question": "FPT hoạt động trong những lĩnh vực kinh doanh nào?",
51
- "ground_truth": "FPT hoạt động trong các lĩnh vực công nghệ thông tin, viễn thông, giáo dục và các dịch vụ liên quan.",
52
- "answer": "FPT hoạt động trong các lĩnh vực cơ bản sau đây:\n\n- Cung cấp dịch vụ tin học, giải trí (truyên truyền, quảng cáo, true tuyin)\n- Cung cấp dịch vụ truyền thông thông qua internet\n- Xây dựng và cung cấp giải pháp công nghệ thông tin\n- Cung cấp dịch vụ phát triển phần mềm, giải pháp công nghệ thông tin\nTheo thông tin được cung cấp trên Trang: 22 của tài liệu, ban đầu FPT hoạt động trong lĩnh vực tin học, giải trí, và sau này mở rộng sang các lĩnh vực khác như truyền thông, giải trí.\n\nTheo thông tin trong tài liệu, ở thời điểm năm 2016, FPT có 5 công ty con, trong đó:\n\n- Công ty TNHH Truyền thông Giá trị FPT: 100%\n- Công ty TNHH Phát triển Phần mềm FPT: 100%\n- Công ty TNHH Phát triển Phần cứng FPT: 100%\n- Công ty TNHH Dịch vụ FPT: 100%\n- Công ty Cổ phần Công nghệ Thông tin FPT: 45,64%\n\nTuy nhiên, trong thời gian hoạt động, FPT đã mở rộng và có nhiều công ty con hơn.",
53
  "faithfulness": 0.8,
54
- "answer_relevancy": 0.5,
55
- "context_recall": 0.5
56
  },
57
  {
58
- "question": "Tổng tài sản của TIG tại thời điểm cuối quý 1 năm 2026 là bao nhiêu?",
59
- "ground_truth": "Tổng tài sản của TIG được ghi nhận trên bảng cân đối kế toán tại ngày 31/03/2026.",
60
- "answer": "Để tính tổng tài sản của TIG tại thời điểm cuối quý 1 năm 2026, chúng ta cần thống kê số liệu tài sản trong các bảng tài khoản.\n\nTuy nhiên, dựa trên thông tin trong tài liệu, chúng ta có thể tính tổng tài sản bằng cách cộng tổng các tài sản ngắn hạn và dài hạn.\n\nTrong tài liệu [1] (Trang: 24), chúng ta thấy bảng danh sách tài sản dài hạn sau:\n\n- Tất cả các tài sản dài hạn khác được đề cập đều có liên quan đến tài sản cố định (fixed assets).\n\nTrong tài liệu [2] (Trang: 23), bảng danh sách tài sản dài hạn chi tiết tài sản cố định như sau:\n\n- Đất đai : VND43,769,366,865\n- Các công trình và thiết bị: VND154,958,142,898\n- Thiết bị và máy móc: VND24,167,415,745\n- Xe cộ: VND1,469,963,571\n- Thiết bị thu - phát tín hiệu: VND224,364,889,079\n\nNhư vậy, tổng tài sản cố định của TIG tại thời điểm cuối quý 1 năm 2026 là VND43,769,366,865 + VND154,958,142,898 + VND24,167,415,745 + VND1,469,963,571 + VND224,364,889,079 = VND408,539,938,158.\n\nTổng tài sản dài hạn của TIG tại thời điểm cuối quý 1 năm 2026 là VND408,539,938,158.\n\nTrừ đi tài sản cố định, chúng ta lấy lại tài sản dài hạn không phải cố định trong tài liệu [1] (Trang: 24). Ở đó, tài sản dài hạn không phải cố định của TIG là quyền sử dụng đất: VND5,686,065,091.\n\nTổng tài sản dài hạn của TIG tại thời điểm cuối quý 1 năm 2026 là VND408,539,938,158 + VND5,686,065,091 = VND414,225,003,249.\n\nTrong tài liệu [1] (Trang: 24), tổng tài sản ngắn hạn của TIG tại thời điểm cuối quý 1 năm 2026, đó là:\n\n- Phải trả (VND4,662,511,819), khoản thu chưa thực hiện (VND1,011,142,000), các khoản đầu tư ngắn hạn (VND1,516,707,882), các khoản đầu tư khác (VND208,920,624), các khoản nợ ngắn hạn khác (VND1,500,000,000).\n\nTổng tài sản ngắn hạn của TIG tại thời điểm cuối quý 1 năm 2026 là 4,662,511,819 + 1,011,142,000 + 1,516,707,882 + 208,920,624 + 1,500,000,000 = VND8,999,181,325.\n\nTổng tài sản của TIG tại thời điểm cuối quý 1 năm 2026 là VND8,999,181,325 + VND414,225,003,249 = VND423,224,184,574.\n\nVậy, Tổng tài sản của TIG tại thời điểm cuối quý 1 năm 2026 là VND 423,224,184,574.\n\nChú thích: Thông tin có thể không chính xác vì dựa vào tài liệu cung cấp.",
61
  "faithfulness": 0.8,
62
- "answer_relevancy": 0.9,
63
- "context_recall": 0.5
64
  },
65
  {
66
- "question": "Doanh thu của FPT quý 2 năm 2016 so với cùng kỳ năm trước tăng hay giảm?",
67
- "ground_truth": "Sự biến động doanh thu được thể hiện qua cột so sánh cùng kỳ trong báo cáo tài chính.",
68
- "answer": "Không tìm thấy thông tin về doanh thu của FPT quý 2 năm 2016 và năm trước trong tài liệu.",
69
- "faithfulness": 0.5,
70
- "answer_relevancy": 0.5,
71
- "context_recall": 0.5
72
  },
73
  {
74
- "question": "Vốn chủ sở hữu của TIG tại quý 1 năm 2026 là bao nhiêu?",
75
- "ground_truth": "Vốn chủ sở hữu của TIG được trình bày trong phần nguồn vốn của bảng cân đối kế toán.",
76
- "answer": "Tôi tìm thấy thông tin trong tài liệu.\n\nTheo tài liệu [3], vốn chủ sở hữu của TIG tại 31/12/2025 là 332,944,895,998 VND.\n\nTuy nhiên, tôi không tìm thấy thông tin về vốn chủ sở hữu tại quý 1 năm 2026 trong tài liệu. Nhưng chúng ta có thể tính được vốn chủ sở hữu tại quý 1 năm 2026 dựa trên thông tin về lợi nhuận trước thuế và các yếu tố khác trong tài liệu [5] và [4].\n\nCụ thể, tại quý 1 năm 2026, lợi nhuận trước thuế của TIG là 01 (28,960,612,444) (tức là lỗ), và các yếu tố khác như khấu hao và trích trước quỹ thưởng cũng được ghi nhận trong tài liệu [5].\n\nTuy nhiên, để tính được vốn chủ sở hữu t���i quý 1 năm 2026, chúng ta cần thông tin bổ sung về các yếu tố khác như quỹ thưởng và các khoản phải thu/còn phải trả.\n\nVì vậy, tôi không thể tính được chính xác vốn chủ sở hữu của TIG tại quý 1 năm 2026.",
77
- "faithfulness": 0.5,
78
- "answer_relevancy": 0.5,
79
- "context_recall": 0.5
80
  },
81
  {
82
- "question": "Trong báo cáo FPT quý 2 năm 2016, khoản mục nào có giá trị lớn nhất trong tài sản ngắn hạn?",
83
- "ground_truth": "Khoản mục có giá trị lớn nhất trong tài sản ngắn hạn được thể hiện trên bảng cân đối kế toán của FPT.",
84
- "answer": "Trong báo cáo FPT quý 2 năm 2016, khoản mục có giá trị lớn nhất trong tài sản ngắn hạn là \"Tài khoản phải trả khác\" với giá trị 1.451.600.000.000 VND.\n\nXin lỗi, tôi không tìm thấy thông tin cụ thể về khoản mục có giá trị lớn nhất trong tài sản ngắn hạn trong tài liệu được cung cấp.\n\nTôi sử dụng thông tin trong phần NGỮ CẢNH dưới đây:\n\n[1] (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 8)\n11. Doanh thu và cung cấp dịch vụ\n MA U S6 B 02a-DN\n...\nTài sản ngắn hạn\n\nTuy nhiên, tôi không tìm thấy thông tin chi tiết về khoản mục có giá trị lớn nhất trong tài sản ngắn hạn trong báo cáo FPT quý 2 năm 2016.",
85
  "faithfulness": 0.0,
86
- "answer_relevancy": 0.5,
87
- "context_recall": 0.5
88
  },
89
  {
90
- "question": "Vốn điều lệ của Công ty Cổ phần FPT tại thời điểm báo cáo quý 2 năm 2016 là bao nhiêu?",
91
- "ground_truth": "Vốn điều lệ của FPT được ghi nhận trong phần vốn chủ sở hữu trên bảng cân đối kế toán tại ngày 30/06/2016.",
92
- "answer": "Theo tài liệu [2], tại thời điểm ngày 30 tháng 6 năm 2016, vốn điều lệ của Công ty Cổ phần FPT là 4.594.266.840.000 VND.",
93
- "faithfulness": 0.9,
94
- "answer_relevancy": 0.9,
95
- "context_recall": 0.5
96
  },
97
  {
98
- "question": "Tổng tài sản của FPT tại cuối quý 2 năm 2016 là bao nhiêu?",
99
- "ground_truth": "Tổng tài sản của FPT được tổng hợp trên bảng cân đối kế toán tại ngày 30/06/2016.",
100
- "answer": "Đoạn tài liệu [4] cho biết Tổng tài sản của FPT tại cuối quý 2 năm 2016 là 431.000.111.769 VND.\n\n[4] (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 34)\n\n\"Den ngiy 30 th^ng 6 nim 2016, C6ng ty da g6p dupe 170 ty V ND...\"",
101
- "faithfulness": 0.9,
102
- "answer_relevancy": 0.9,
103
- "context_recall": 0.5
104
  },
105
  {
106
- "question": "Số lượng nhân viên của FPT tại ngày 30 tháng 6 năm 2016 là bao nhiêu?",
107
- "ground_truth": "Số lượng nhân viên của FPT tại ngày 30/06/2016 được công bố trong phần thông tin chung của báo cáo tài chính.",
108
- "answer": "Theo tài liệu được cung cấp [2], tại ngày 30 tháng 6 năm 2016, FPT có tổng cộng 208 nhân viên.",
109
- "faithfulness": 0.9,
110
- "answer_relevancy": 0.5,
111
- "context_recall": 0.5
112
  },
113
  {
114
- "question": "Chi phí quản lý doanh nghiệp của FPT nửa đầu năm 2016 so với cùng kỳ năm 2015 thay đổi như thế nào?",
115
- "ground_truth": "Biến động chi phí quản lý doanh nghiệp so với cùng kỳ được trình bày trong bảng so sánh của báo cáo kết quả kinh doanh.",
116
- "answer": "Không tìm thấy thông tin về chi phí quản lý doanh nghiệp của FPT nửa đầu năm 2016 so với cùng kỳ năm 2015 trong tài liệu được cung cấp.",
117
  "faithfulness": 0.8,
118
- "answer_relevancy": 0.5,
119
- "context_recall": 0.5
120
  },
121
  {
122
- "question": "FPT được niêm yết tại sở giao dịch chứng khoán nào?",
123
- "ground_truth": "FPT được niêm yết tại Sở Giao dịch Chứng khoán Thành phố Hồ Chí Minh (HOSE) từ tháng 12 năm 2006.",
124
- "answer": "Tôi không tìm thấy thông tin về sở giao dịch chứng khoán mà FPT được niêm yết trong phần tài liệu cung cấp. Tuy nhiên, trong phần 4 (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 22), có thông tin về sở giao dịch chứng khoán và số đăng ký của một số công ty con của FPT.\n\nTheo đó, có thể thấy FPT có các sở giao dịch chứng khoán sau:\n\n* Sở giao dịch chứng khoán Hà Nội (HNX) - cụ thể là Công ty TNHH Truyền thông Giiitri FPT (FREITOP) có sở giao dịch tại địa chỉ số 261-263 K, quận Thanh Xuân, Hà Nội.\n* Sở giao dịch chứng khoán Hồ Chí Minh (HOSE) - cụ thể là Công ty Cổ phần Đấu Thầu FPT Dd Ndng có sở giao dịch tại địa chỉ số 40S, đường Định Công, phường Định Công, quận Hoàng Mai, Hà Nội.\n\nTuy nhiên, thông tin về sở giao dịch chứng khoán chính của FPT không được chỉ rõ trong phần tài liệu cung cấp.",
125
  "faithfulness": 0.8,
126
- "answer_relevancy": 0.8,
127
- "context_recall": 0.5
128
  },
129
  {
130
- "question": "Tổng tài sản của công ty tại ngày 31 tháng 3 năm 2026 là bao nhiêu?",
131
- "ground_truth": "Tổng tài sản tại ngày 31/03/2026 được trình bày trên bảng cân đối kế toán trong báo cáo tài chính quý 1/2026.",
132
- "answer": "Để tính tổng tài sản của công ty tại ngày 31 tháng 3 năm 2026, chúng ta cần xem các tài khoản sau:\n\n- Vốn kinh doanh\n- Nhiễm nợ\n- Tài sản ngắn hạn\n- Tài sản dài hạn\n\nTuy nhiên, không có thông tin về vốn kinh doanh và nhiễm nợ trong tài liệu được cung cấp. Nhưng chúng ta có thể xem xét các tài khoản khác nhau như sau:\n\n[2] (File: UPCOM_quy1.pdf, Trang: 18)\nCASH EQUIVALENTS \n 31/03/2026 01/01/2026\n VND VND \n- Cash on hand 258,726,283 208,338,657 \n- Cash at bank 2,635,107,728 50,493,015,326 \n- Short-term deposits with a maturity of less than 3 months 300,000,000 - \nTotal 3,193,834,011 50,701,353,983\n\n[5] (File: UPCOM_quy1.pdf, Trang: 22)\n8. INVENTORIES \nBalance Provision Balance Provision\nVND VND VND VND\n- Raw materials 12,561,506,078 - 12,592,349,506 - \n- Tools, instruments 669,732,255 - 263,541,855 - \n- Work in progress 74,013,570,655 (6,340,234,019) 91,393,448,779 (6,340,234,019)\n- Goods 4,159,914,964 - 4,159,914,964 -\n\n9. PREPAID EXPENSES \n 31/03/2026 01/01/2026 \n VND VND \nShort-term prepayments 590,847,398 865,140,107 \n- Fixed asset repair expenses 342,162,697 507,494,979 \n- Tools and equipment 4,690,000 67,182,497 \n- Insurance expense 243,994,701 284,872,631 \n- Other short-term prepaid expenses - 5,590,000 \nLong-term prepayments 2,789,130,795 3,551,010,262 \n- Tools và equipment 865,228,920 1,087,678,302 \n\n\n Tổng tài sản của công ty tại ngày 31 tháng 3 năm 2026 có thể tính như sau: \nCASH EQUIVALENTS + INVENTORIES + PREPAID EXPENSES \n= 3,193,834,011 + (12,592,349,506 - 263,541,855 + 91,393,448,779 - 4,159,914,964) \n+ (590,847,398 + 865,140,107 + 4,690,000 + 243,994,701) + (2,789,130,795 + 865,228,920) \n= 3,193,834,011 + 99,552,128,412 + 1,399,672,206 = 104,146,334,629 \n\nHoặc \n\n= 3,193,834,011 + 103,985,798,285 + 3,654,280,493 \n= 110,833,913,089\n\nChúng ta thấy có 2 kết quả khác nhau. Có thể kết quả này đến từ việc sử dụng tài khoản khác nhau trong tài liệu được cung cấp. Tuy nhiên, dựa trên thông tin được cung cấp, kết quả chính xác hơn có thể là 104,146,334,629.",
133
- "faithfulness": 0.8,
134
- "answer_relevancy": 0.8,
135
- "context_recall": 0.5
136
  },
137
  {
138
- "question": "Nợ phải trả của công ty tại cuối quý 1 năm 2026 là bao nhiêu?",
139
- "ground_truth": "Nợ phải trả được ghi nhận trong phần nguồn vốn của bảng cân đối kế toán tại ngày 31/03/2026.",
140
- "answer": "Câu hỏi này liên quan đến tài liệu [1] (File: UPCOM_quy1.pdf, Trang: 6).\n\nTại phần \"STATEMENT OF FINANCIAL POSITION (Continued)\" trên trang 6 của tài liệu, chúng ta thấy cột \"31/03/2026\" thể hiện số nợ phải trả của công ty tại cuối quý 1 năm 2026.\n\nTheo đó, tổng số nợ phải trả của công ty tại cuối quý 1 năm 2026 là 748.045.198.004 VND.\n\nNếu bạn muốn biết chi tiết nợ phải trả của công ty, bạn có thể tham khảo cột \"311\", \"312\", \"314\", \"315\", \"316\", \"320\", \"321\" của phần \"Current liabilities\" trên trang 6 của tài liệu.\n\nVì thông tin này được thể hiện rất rõ ràng và chi tiết trong tài liệu, nên tôi không cần sử dụng thêm bất kỳ tài liệu nào khác.\n\nVậy, nợ phải trả của công ty tại cuối quý 1 năm 2026 là 748.045.198.004 VND.",
141
  "faithfulness": 0.9,
142
- "answer_relevancy": 0.5,
143
- "context_recall": 0.5
144
  },
145
  {
146
- "question": "Chi phí bán hàng của công ty trong quý 1 năm 2026 là bao nhiêu?",
147
- "ground_truth": "Chi phí bán hàng quý 1/2026 được thể hiện trong báo cáo kết quả hoạt động kinh doanh.",
148
- "answer": "Không tìm thấy thông tin về chi phí bán hàng trong số liệu được cung cấp. Tuy nhiên, có một số thông tin liên quan đến chi phí bán hàng:\n\nTrong bài viết [1], có một dòng chỉ ra rằng \"Selling expenses\" là một mục trong bảng cân đối kế toán, nhưng không có thông tin cụ thể về chi phí bán hàng.\n\nTrong bài viết [4], có một dòng chỉ ra rằng \"Cost of goods sold\" là một mục trong bảng thu nhập, nhưng không phải là chi phí bán hàng.\n\nNếu bạn cần thông tin chi tiết hơn, có thể cần phải sử dụng số liệu khác hoặc liên hệ trực tiếp với công ty.",
149
- "faithfulness": 0.5,
150
- "answer_relevancy": 0.4,
151
- "context_recall": 0.5
152
  },
153
  {
154
- "question": "Lợi nhuận sau thuế quý 1 năm 2026 so với cùng kỳ năm trước biến động như thế nào?",
155
- "ground_truth": "Biến động lợi nhuận so với cùng kỳ năm trước được thể hiện qua cột so sánh trong báo cáo kết quả kinh doanh.",
156
- "answer": "Lợi nhuận sau thuế quý 1 năm 2026 so với cùng kỳ năm trước đã giảm 7,472,342,632 đồng (theo số liệu trên Bảng 60, trang 32 của tài liệu).\n\nLợi nhuận sau thuế quý 1 năm 2026: (28,960,612,444) đồng\nLợi nhuận sau thuế quý 1 năm 2025: (-21,487,269,812) đồng\n\nLợi nhuận sau thuế quý 1 năm 2026 giảm 7,472,342,632 (28,960,612,444 - (-21,487,269,812)) so với cùng kỳ năm trước.",
157
- "faithfulness": 0.5,
158
- "answer_relevancy": 0.5,
159
- "context_recall": 0.5
160
  },
161
  {
162
- "question": "Doanh thu thuần của TIG trong quý 1 năm 2026 là bao nhiêu?",
163
- "ground_truth": "Doanh thu thuần của TIG quý 1/2026 được ghi nhận trong báo cáo kết quả hoạt động kinh doanh.",
164
- "answer": "Để tính toán doanh thu thuần của TIG trong quý 1 năm 2026, chúng ta cần xem xét phầngross revenue from goods sold and services rendered trong báo cáo tài chính [1].\n\nDoanh thu thuần của TIG trong quý 1 năm 2026 là:\n63,904,435,716 (VND)\n\nLưu ý: Đơn vị tiền tệ sử dụng trong báo cáo tài chính là Việt Nam Đồng (VND).",
165
  "faithfulness": 0.8,
166
  "answer_relevancy": 0.8,
167
- "context_recall": 0.5
168
  },
169
  {
170
- "question": "Lợi nhuận sau thuế của TIG quý 1 năm 2026 là bao nhiêu?",
171
- "ground_truth": "Lợi nhuận sau thuế của TIG quý 1/2026 được thể hiện trong báo cáo kết quả kinh doanh hợp nhất.",
172
- "answer": "Không tìm thấy thông tin về lợi nhuận sau thuế của TIG trong tài liệu liên quan. Tuy nhiên, có một thông tin về lợi nhuận sau thuế của một công ty, trong đó có thông tin về việc phân phối lợi nhuận sau thuế cho các cổ đông trong năm 2015.",
173
- "faithfulness": 0.0,
174
- "answer_relevancy": 0.2,
175
- "context_recall": 0.5
176
  },
177
  {
178
- "question": "TIG hoạt động trong lĩnh vực kinh doanh nào theo báo cáo tài chính quý 1 năm 2026?",
179
- "ground_truth": "Lĩnh vực kinh doanh chính của TIG được mô tả trong phần thông tin chung hoặc thuyết minh báo cáo tài chính.",
180
- "answer": "Theo tài liệu [1], TIG hoạt động trong lĩnh vực xây dựng và cung cấp vật liệu xây dựng tại Việt Nam.\n\nHay theo tài liệu [4], TIG hoạt động trong các lĩnh vực sau:\n\n- Đưa ra các hợp đồng xây dựng\n- Thuê văn phòng\n- Thuê tài sản cố định và công cụ\n- Cung cấp vật liệu\n- Hoạt động khác\n\nCác hoạt động này được thể hiện trong phần \"Lợi nhuận từ các hợp đồng bán hàng và cung cấp dịch vụ\" và \"Chi phí sản xuất hàng bán\".",
181
- "faithfulness": 0.5,
182
- "answer_relevancy": 0.5,
183
- "context_recall": 0.5
184
  },
185
  {
186
- "question": "Khoản mục nào chiếm tỷ trọng lớn nhất trong tổng tài sản của TIG quý 1 năm 2026?",
187
- "ground_truth": "Khoản mục chiếm tỷ trọng lớn nhất trong tổng tài sản được xác định từ bảng cân đối kế toán của TIG tại 31/03/2026.",
188
- "answer": "Đoạn [2] trong tài liệu cung cấp thông tin chi tiết về tổng tài sản của VN Railway Construction Corporation JSC SEPARATE FINALCIAL STATEMENTS tại ngày 31/03/2026.\n\nTheo đó, tổng tài sản được chia thành các loại như: Tài sản ngắn hạn (280) và Tài sản dài hạn (200). Chúng ta có thể thấy rằng Tài sản dài hạn chiếm tỷ trọng lớn nhất.",
189
- "faithfulness": 0.5,
190
- "answer_relevancy": 0.8,
191
- "context_recall": 0.5
192
  },
193
  {
194
- "question": "Khối lượng giao dịch cổ phiếu trên sàn UPCOM trong quý 1 là bao nhiêu?",
195
- "ground_truth": "Khối lượng giao dịch cổ phiếu trên sàn UPCOM được thống kê trong báo cáo tổng hợp hoạt động giao dịch quý 1.",
196
- "answer": "Không tìm thấy thông tin trong tài liệu.",
197
- "faithfulness": 0.5,
198
- "answer_relevancy": 0.5,
199
- "context_recall": 0.5
200
  },
201
  {
202
- "question": "Sàn UPCOM được quản lý bởi tổ chức nào?",
203
- "ground_truth": "Sàn UPCOM được quản lý và vận hành bởi Sở Giao dịch Chứng khoán Hà Nội (HNX).",
204
- "answer": "Không tìm thấy thông tin về sàn UPCOM trong tài liệu NGỮ CẢNH.",
205
  "faithfulness": 0.8,
206
- "answer_relevancy": 0.0,
207
- "context_recall": 0.5
208
  },
209
  {
210
- "question": "Doanh thu FPT nửa đầu năm 2016 so với nửa đầu năm 2015 tăng hay gi��m bao nhiêu phần trăm?",
211
- "ground_truth": "Tỷ lệ tăng trưởng doanh thu so với cùng kỳ được thể hiện qua cột so sánh trong báo cáo kết quả kinh doanh giữa niên độ.",
212
- "answer": "Để trả lời câu hỏi này, ta cần phân tích dữ liệu trong tài liệu [2] (File: FPT_16Q2_BCTC_MSX.pdf, Trang: 20).\n\nVào ngày 30 tháng 6 năm 2016, doanh thu FPT bao gồm cả mục, thiết bị, phụ tùng và tài sản bao gồm là 34.708.372.341 VND (ngày 31 tháng 12 năm 2015: 34.377.804.525 VND).\n\nDo đó, doanh thu FPT nửa đầu năm 2016 tăng so với nửa đầu năm 2015 là:\n\n(34.708.372.341 VND - 34.377.804.525 VND) / 34.377.804.525 VND * 100%\n\n= 1,03%\n\nThế nên, doanh thu FPT nửa đầu năm 2016 tăng 1,03% so với nửa đầu năm 2015.",
 
 
 
 
 
 
 
 
213
  "faithfulness": 0.8,
214
  "answer_relevancy": 0.5,
215
- "context_recall": 0.5
 
 
 
 
 
 
 
 
216
  }
217
  ]
218
  }
 
1
  {
2
  "summary": {
3
+ "faithfulness": 0.7370370370370373,
4
+ "answer_relevancy": 0.9481481481481482,
5
+ "context_recall": 0.7481481481481483,
6
+ "judge_model": "llama-3.3-70b-versatile"
7
  },
8
  "details": [
9
  {
10
+ "question": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
11
+ "ground_truth": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 đạt 60.479 tỷ đồng, tăng 404 tỷ đồng so với cùng kỳ và hoàn thành 95% kế hoạch.",
12
+ "answer": "Tổng doanh thu hợp nhất của Vinamilk năm 2023 là 60.479 tỷ đồng [1].",
13
+ "faithfulness": 0.9,
14
+ "answer_relevancy": 1.0,
15
+ "context_recall": 1.0
 
 
 
 
 
 
 
 
16
  },
17
  {
18
+ "question": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 là bao nhiêu?",
19
+ "ground_truth": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 đạt 9.019 tỷ đồng, tăng 472 tỷ đồng so với cùng kỳ và vượt kế hoạch 5%.",
20
+ "answer": "Lợi nhuận sau thuế hợp nhất của Vinamilk năm 2023 là 9.019 tỷ đồng [1], [2], [3].",
21
+ "faithfulness": 0.9,
22
+ "answer_relevancy": 1.0,
23
+ "context_recall": 1.0
24
  },
25
  {
26
+ "question": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 là bao nhiêu?",
27
+ "ground_truth": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 đạt 50.617 tỷ đồng, ổn định so với cùng kỳ.",
28
+ "answer": "Doanh thu thuần thị trường nội địa của Vinamilk năm 2023 là hơn 50.600 tỷ đồng [1] hoặc chính xác hơn là 50.617 tỷ đồng [2] và [4].",
29
+ "faithfulness": 0.9,
30
+ "answer_relevancy": 1.0,
31
+ "context_recall": 0.9
32
  },
33
  {
34
+ "question": "Vinamilk hoàn thành bao nhiêu phần trăm kế hoạch doanh thu và lợi nhuận năm 2023?",
35
+ "ground_truth": "Vinamilk hoàn thành 95% kế hoạch doanh thu và vượt kế hoạch lợi nhuận sau thuế 5% trong năm 2023.",
36
+ "answer": "Vinamilk hoàn thành 95% kế hoạch doanh thu và vượt kế hoạch 5% về lợi nhuận năm 2023 [1], [2].",
37
+ "faithfulness": 0.8,
38
+ "answer_relevancy": 1.0,
39
+ "context_recall": 1.0
40
  },
41
  {
42
+ "question": "Vinamilk hoạt động trong lĩnh vực kinh doanh chính nào?",
43
+ "ground_truth": "Vinamilk hoạt động chính trong lĩnh vực sản xuất và kinh doanh sữa và các sản phẩm từ sữa, bao gồm sữa tươi, sữa bột, sữa chua, kem, phô mai và các sản phẩm dinh dưỡng, là doanh nghiệp sữa lớn nhất Việt Nam.",
44
+ "answer": "Vinamilk hoạt động trong lĩnh vực kinh doanh sữa và sản phẩm dinh dưỡng, với 04 ngành hàng chính gồm Sữa nước, Sữa chua, Sữa đặc và Sữa công thức [1].",
45
  "faithfulness": 0.8,
46
+ "answer_relevancy": 1.0,
47
+ "context_recall": 0.8
48
  },
49
  {
50
+ "question": "Các thương hiệu sản phẩm nổi bật của Vinamilk là gì?",
51
+ "ground_truth": "Các thương hiệu sản phẩm nổi bật của Vinamilk bao gồm: Vinamilk, Dielac, Ridielac, Ông Thọ, Yomost, Vfresh, Probi và nhiều nhãn hiệu khác phục vụ các phân khúc khách hàng đa dạng.",
52
+ "answer": "Theo đoạn [1], các thương hiệu sản phẩm nổi bật của Vinamilk bao gồm Vinamilk, Ông Thọ, Ngôi sao Phương Nam, Susu và Probi. [1]",
53
  "faithfulness": 0.8,
54
+ "answer_relevancy": 1.0,
55
+ "context_recall": 0.8
56
  },
57
  {
58
+ "question": "Tổng giám đốc của Vinamilk trong báo cáo thường niên 2022 là ai?",
59
+ "ground_truth": "Tổng giám đốc Vinamilk là Bà Mai Kiều Liên, người gắn bó và lãnh đạo công ty trong nhiều thập kỷ phát triển.",
60
+ "answer": "Tổng giám đốc của Vinamilk trong báo cáo thường niên 2022 là Bà Bùi Thị Hương [1], nhưng thông tin này lại nói về vị trí Giám đốc Điều hành – Nhân sự – Hành chính và Đối ngoại. Tuy nhiên, dựa trên các thông tin khác [2], [4], Tổng Giám đốc Công ty Vinamilk từ tháng 12/1992 là một người nữ, và trong báo cáo thường niên 2022 [4] cũng không có thông tin cập nhật mới về việc ai là Tổng Giám đốc vào năm 2022. Nhưng Bà Mai Kiều Liên được nhắc đến với vai trò Tổng Giám đốc từ tháng 12/1992 [2], [4]. Do đó, có thể nói Tổng Giám đốc của Vinamilk là Bà Mai Kiều Liên.",
61
+ "faithfulness": 0.8,
62
+ "answer_relevancy": 0.8,
63
+ "context_recall": 0.8
64
  },
65
  {
66
+ "question": "Doanh thu của FPT năm 2023 là bao nhiêu và tăng trưởng bao nhiêu so với năm trước?",
67
+ "ground_truth": "Doanh thu của FPT năm 2023 đạt 52.618 tỷ đồng, tăng 19,6% so với cùng kỳ năm 2022.",
68
+ "answer": "Doanh thu của FPT năm 2023 là 44.010 tỷ đồng và tăng trưởng 23,4% so với năm trước [3].",
69
+ "faithfulness": 0.0,
70
+ "answer_relevancy": 1.0,
71
+ "context_recall": 0.0
72
  },
73
  {
74
+ "question": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 là bao nhiêu?",
75
+ "ground_truth": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 đạt 6.465 tỷ đồng, tăng 21,8% so với cùng kỳ.",
76
+ "answer": "Lợi nhuận sau thuế cổ đông công ty mẹ của FPT năm 2023 là 6.465.190.432.622 VND [1].",
77
  "faithfulness": 0.0,
78
+ "answer_relevancy": 1.0,
79
+ "context_recall": 0.9
80
  },
81
  {
82
+ "question": "FPT đạt cột mốc quan trọng nào về doanh thu dịch vụ CNTT từ nước ngoài năm 2023?",
83
+ "ground_truth": "Năm 2023, lần đầu tiên FPT đạt doanh thu dịch vụ CNTT từ thị trường nước ngoài vượt 1 tỷ USD, khẳng định đẳng cấp doanh nghiệp công nghệ toàn cầu.",
84
+ "answer": "Năm 2023, FPT đạt cột mốc quan trọng về doanh thu dịch vụ CNTT từ nước ngoài khi lần đầu tiên cán mốc 01 tỷ USD [1], [2], [3], [4], [5].",
85
+ "faithfulness": 0.8,
86
+ "answer_relevancy": 1.0,
87
+ "context_recall": 0.8
88
  },
89
  {
90
+ "question": "EPS (thu nhập trên cổ phiếu) của FPT năm 2023 là bao nhiêu?",
91
+ "ground_truth": "EPS của FPT năm 2023 đạt 4.661 VNĐ, tăng 21,2% so với cùng kỳ năm 2022.",
92
+ "answer": "EPS (thu nhập trên cổ phiếu) của FPT năm 2023 là 4.661 VNĐ, tăng 21,2% so với cùng kỳ [1], [2].",
93
+ "faithfulness": 0.0,
94
+ "answer_relevancy": 1.0,
95
+ "context_recall": 0.0
96
  },
97
  {
98
+ "question": "FPT kỷ niệm bao nhiêu năm thành lập vào năm 2022 và chủ đề báo cáo là gì?",
99
+ "ground_truth": "Năm 2022, FPT kỷ niệm 35 năm thành lập với chủ đề báo cáo thường niên là '35 năm kiến tạo hạnh phúc'.",
100
+ "answer": "FPT không kỷ niệm năm thành lập vào năm 2022 trong tài liệu [1] và [2]. Tuy nhiên, trong tài liệu [2], có nhắc đến hành trình 34 năm của FPT. Vì vậy, FPT kỷ niệm 34 năm thành lập vào năm 2022. Chủ đề của báo cáo thường niên không được đề cập rõ ràng trong các tài liệu cung cấp, nhưng trong tài liệu [2], có chủ đề \"KIẾN TẠO HẠNH PHÚC\" và \"35NĂM\" cho năm 2023.",
101
+ "faithfulness": 0.8,
102
+ "answer_relevancy": 0.8,
103
+ "context_recall": 0.8
104
  },
105
  {
106
+ "question": "Trụ sở chính của Công ty Cổ phần FPT ở đâu?",
107
+ "ground_truth": "Trụ sở chính của Công ty Cổ phần FPT đặt tại Số 10, phố Phạm Văn Bạch, Phường Dịch Vọng, Quận Cầu Giấy, Thành phố Hà Nội, Việt Nam.",
108
+ "answer": "Trụ sở chính của Công ty Cổ phần FPT nằm tại Số 10 phố Phạm Văn Bạch, Phường Dịch Vọng, Quận Cầu Giấy, Tp.Hà Nội, Việt Nam [1].",
109
  "faithfulness": 0.8,
110
+ "answer_relevancy": 1.0,
111
+ "context_recall": 0.8
112
  },
113
  {
114
+ "question": "Doanh thu của Tập đoàn Hòa Phát năm 2023 là bao nhiêu và thay đổi thế nào so với năm 2022?",
115
+ "ground_truth": "Doanh thu của Hòa Phát năm 2023 đạt 120.355 tỷ đồng, giảm 16% so với năm 2022 do ảnh hưởng của thị trường thép khó khăn.",
116
+ "answer": "Doanh thu của Tập đoàn Hòa Phát năm 2023 là 120.355 tỷ đồng, giảm 16% so với năm 2022 [1], [2], [4].",
117
  "faithfulness": 0.8,
118
+ "answer_relevancy": 1.0,
119
+ "context_recall": 1.0
120
  },
121
  {
122
+ "question": "Lợi nhuận sau thuế của Hòa Phát năm 2023 là bao nhiêu?",
123
+ "ground_truth": "Lợi nhuận sau thuế của Hòa Phát năm 2023 đạt 6.800 tỷ đồng, giảm 19% so với năm 2022 và đạt 85% kế hoạch đề ra.",
124
+ "answer": "Lợi nhuận sau thuế của Hòa Phát năm 2023 là 6.800 tỷ đồng [1].",
125
+ "faithfulness": 0.9,
126
+ "answer_relevancy": 1.0,
127
+ "context_recall": 1.0
128
  },
129
  {
130
+ "question": "Tổng tài sản của Hòa Phát cuối năm 2023 là bao nhiêu?",
131
+ "ground_truth": "Tổng tài sản của Hòa Phát tính đến cuối năm 2023 đạt 187.783 tỷ đồng, tăng 10% so với năm 2022.",
132
+ "answer": "Tổng tài sản của Hòa Phát cuối năm 2023 là 187.783 tỷ đồng [1], [2].",
133
  "faithfulness": 0.9,
134
+ "answer_relevancy": 1.0,
135
+ "context_recall": 1.0
136
  },
137
  {
138
+ "question": "Thị phần thép xây dựng của Hòa Phát tại Việt Nam năm 2023 là bao nhiêu?",
139
+ "ground_truth": "Hòa Phát giữ vững thị phần số 1 Việt Nam với gần 35% thị phần thép xây dựng, sản lượng bán hàng đạt 3,8 triệu tấn trong năm 2023.",
140
+ "answer": "Thị phần thép xây dựng của Hòa Phát tại Việt Nam năm 2023 là 34,7% [3].",
141
+ "faithfulness": 0.9,
142
+ "answer_relevancy": 1.0,
143
+ "context_recall": 0.8
144
  },
145
  {
146
+ "question": "Tầm nhìn chiến lược của Tập đoàn Hòa Phát đến năm 2025 là gì?",
147
+ "ground_truth": "Tầm nhìn của Hòa Phát là trở thành Tập đoàn sản xuất công nghiệp với chất lượng dẫn đầu, trong đó Thép là lĩnh vực cốt lõi, hướng đến lọt vào Top 30 doanh nghiệp thép lớn nhất thế giới từ năm 2025.",
148
+ "answer": "Tầm nhìn chiến lược của Tập đoàn Hòa Phát là trở thành Tập đoàn sản xuất công nghiệp với chất lượng dẫn đầu, trong đó Thép là lĩnh vực cốt lõi [1], [2]. Ngoài ra, theo kế hoạch, khi hoàn thành dự án vào năm 2025, năng lực sản xuất thép của Tập đoàn sẽ đạt hơn 14 triệu tấn thép thô/năm, đưa Hòa Phát vào Top 30 doanh nghiệp thép lớn nhất thế giới từ năm 2025 [3], [4].",
149
+ "faithfulness": 0.8,
150
+ "answer_relevancy": 0.8,
151
+ "context_recall": 1.0
152
  },
153
  {
154
+ "question": "Doanh thu thuần của Hòa Phát năm 2022 là bao nhiêu?",
155
+ "ground_truth": "Doanh thu thuần của Hòa Phát năm 2022 đạt 141.409 tỷ đồng, tuy nhiên lợi nhuận chỉ hoàn thành 34% kế hoạch do thị trường thép biến động.",
156
+ "answer": "Không tìm thấy thông tin về doanh thu thuần của Hòa Phát năm 2022 trong tài liệu được cung cấp. Tuy nhiên, có thông tin về doanh thu và lợi nhuận của Hòa Phát năm 2022 như sau: \"Doanh thu năm 2022 của Tập đoàn chỉ đạt 89% kế hoạch đề ra, giảm 5% so với năm 2021. Lợi nhuận cả năm 2022 là 8.444 tỷ đồng, hoàn thành 34% kế hoạch\" [1].",
157
  "faithfulness": 0.8,
158
  "answer_relevancy": 0.8,
159
+ "context_recall": 0.0
160
  },
161
  {
162
+ "question": "Lợi nhuận sau thuế của Hòa Phát năm 2022 là bao nhiêu?",
163
+ "ground_truth": "Lợi nhuận sau thuế của Hòa Phát năm 2022 đạt 8.444 tỷ đồng, hoàn thành 34% kế hoạch, giảm so với năm 2021 do ngành thép gặp khó khăn.",
164
+ "answer": "Lợi nhuận sau thuế của Hòa Phát năm 2022 là 8.444 tỷ đồng [1], [2], [3].",
165
+ "faithfulness": 0.8,
166
+ "answer_relevancy": 1.0,
167
+ "context_recall": 0.8
168
  },
169
  {
170
+ "question": "Sản lượng thép bán hàng của Hòa Phát năm 2022 đạt bao nhiêu tấn?",
171
+ "ground_truth": "Sản lượng bán hàng thép các loại của Hòa Phát năm 2022 đạt 7,2 triệu tấn, trong đó thép xây dựng đạt hơn 4,2 triệu tấn (tăng 10% so với 2021) với thị phần số 1 Việt Nam gần 35%.",
172
+ "answer": "Theo tài liệu [1] và [2], sản lượng bán hàng thép các loại của Hòa Phát năm 2022 đạt 7,2 triệu tấn.",
173
+ "faithfulness": 0.9,
174
+ "answer_relevancy": 1.0,
175
+ "context_recall": 0.8
176
  },
177
  {
178
+ "question": "Hòa Phát niêm yết trên sàn chứng khoán nào và từ bao giờ?",
179
+ "ground_truth": "Hòa Phát niêm yết trên Sở Giao dịch Chứng khoán TP.HCM (HOSE) từ ngày 15/11/2007 với mã chứng khoán HPG.",
180
+ "answer": "Hòa Phát niêm yết trên sàn chứng khoán HOSE với mã chứng khoán HPG, bắt đầu từ ngày 15/11/2007 [1], [4], [5].",
181
+ "faithfulness": 0.8,
182
+ "answer_relevancy": 1.0,
183
+ "context_recall": 0.8
184
  },
185
  {
186
+ "question": "Hệ thống bán lẻ WinCommerce của Masan có bao nhiêu điểm bán tính đến cuối năm 2023?",
187
+ "ground_truth": "Tính đến cuối năm 2023, WinCommerce sở hữu 132 siêu thị WinMart và 3.501 cửa hàng WinMart+, là nhà bán lẻ nhu yếu phẩm lớn nhất Việt Nam về số lượng điểm bán.",
188
+ "answer": "Hệ thống bán lẻ WinCommerce của Masan có hơn 132 siêu thị WinMart và 3.501 cửa hàng WinMart+/WIN, tổng cộng là 3.633 điểm bán tính đến cuối năm 2023 [1], [2].",
189
+ "faithfulness": 0.8,
190
+ "answer_relevancy": 1.0,
191
+ "context_recall": 0.8
192
  },
193
  {
194
+ "question": "Các mảng kinh doanh chính của Masan Group là gì?",
195
+ "ground_truth": "Masan Group hoạt động trong các mảng: FMCG có thương hiệu (Masan Consumer Holdings), bán lẻ nhu yếu phẩm (WinCommerce/WinMart), thịt có thương hiệu (Masan MeatLife/MEATDeli), trà & cà phê (Phúc Long Heritage), viễn thông (Mobicast/Wintel) và dịch vụ tài chính (liên kết Techcombank).",
196
+ "answer": "Masan Group có các mảng kinh doanh chính bao gồm: \n\n- Masan MEATLife (MML): nền tảng thịt có thương hiệu lớn nhất Việt Nam, tập trung vào việc mang đến cho người tiêu dùng các sản phẩm thịt có thương hiệu, hợp vệ sinh và có thể truy xuất nguồn gốc.\n- Phúc Long Heritage (PLH): thương hiệu trà và cà phê được yêu thích hàng đầu.\n- The CrownX (TCX): nền tảng bán lẻ hàng tiêu dùng sở hữu Masan Consumer Holdings (MCH) và WinCommerce (WCM).\n- Mobicast: nhà khai thác mạng di động (MVNO) hoạt động với thương hiệu “Wintel” [1], [3].",
197
  "faithfulness": 0.8,
198
+ "answer_relevancy": 1.0,
199
+ "context_recall": 0.8
200
  },
201
  {
202
+ "question": "Chiến lược POL (Point of Life) của Masan nhằm mục tiêu gì?",
203
+ "ground_truth": "Chiến lược POL của Masan nhằm xây dựng mô hình mini-mall 'WIN' tích hợp các sản phẩm và dịch vụ thiết yếu hàng ngày (nhu yếu phẩm, chăm sóc sức khỏe, tài chính, viễn thông, giải trí) tại một điểm đến duy nhất, phục vụ hơn 100 triệu người tiêu dùng Việt Nam.",
204
+ "answer": "Chiến lược POL (Point of Life) của Masan nhằm mục tiêu trở thành một phần của hệ sinh thái tiêu dùng toàn diện, cung cấp nhiều loại sản phẩm và dịch vụ thiết yếu hàng ngày cho người tiêu dùng thông qua mô hình mini-mall mang thương hiệu \"WIN\" [1]. Ngoài ra, chiến lược này còn nhằm tăng trưởng mạng lưới thông qua mở rộng mạng lưới bán lẻ hiện đại, tăng tỷ trọng chi tiêu bằng cách cải thiện khả năng nắm bắt nhu cầu hàng ngày của người tiêu dùng, và mở rộng quy mô hội viên thông qua chương trình khách hàng thân thiết [3].",
205
+ "faithfulness": 0.8,
206
+ "answer_relevancy": 1.0,
207
+ "context_recall": 0.8
208
+ },
209
+ {
210
+ "question": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là gì?",
211
+ "ground_truth": "Chủ đề của Báo cáo Thường niên Masan Group năm 2022 là 'Kết nối vạn nhu cầu', phản ánh chiến lược xây dựng hệ sinh thái tiêu dùng - công nghệ tích hợp.",
212
+ "answer": "Không tìm thấy thông tin cụ thể về chủ đề của Báo cáo Thường niên Masan Group năm 2022 trong tài liệu cung cấp. Tuy nhiên, có thể thấy rằng báo cáo bao gồm các nội dung như Thư ngỏ của Chủ tịch Hội đồng Quản trị, Câu chuyện của Masan Group, Báo cáo Phát triển Bền vững, Báo cáo của Ban Điều Hành, Báo cáo Tài chính, và Thông tin chung về Công ty [4]. Báo cáo này phục vụ cho Đại Hội Đồng Cổ Đông thường niên năm 2022 và dành cho cổ đông của Masan Group, Masan Consumer và Masan MEATLife [4].",
213
  "faithfulness": 0.8,
214
  "answer_relevancy": 0.5,
215
+ "context_recall": 0.0
216
+ },
217
+ {
218
+ "question": "Masan Group sở hữu bao nhiêu phần trăm Phúc Long Heritage vào năm 2022?",
219
+ "ground_truth": "Masan Group sở hữu 85% cổ phần Phúc Long Heritage vào năm 2022, sau khi mua 20% vào năm 2021 và tăng tỷ lệ sở hữu lên 85% trong năm 2022. Phúc Long Heritage là chuỗi trà và cà phê hàng đầu Việt Nam.",
220
+ "answer": "Vào tháng 8/2022, sau khi mua thêm 34% cổ phần Phúc Long Heritage, Masan Group đã nâng tỷ lệ sở hữu của mình tại Phúc Long lên 85% [1], [2]. Trước đó, vào tháng 1/2022, Masan Group đã mua thêm 31% cổ phần Phúc Long Heritage và nâng tỷ lệ sở hữu của mình lên 51% [3], [4], [5].",
221
+ "faithfulness": 0.8,
222
+ "answer_relevancy": 0.9,
223
+ "context_recall": 1.0
224
  }
225
  ]
226
  }