bhxdianzhang commited on
Commit
50ae723
·
verified ·
1 Parent(s): ea420d1

Add concrete designer model card example

Browse files
Files changed (1) hide show
  1. README.md +68 -0
README.md CHANGED
@@ -110,6 +110,41 @@ ParaDesigner-SFT is best used with rich paper context matching the training shap
110
  任务: ...
111
  ```
112
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
113
  ## Limitations
114
 
115
  - The model is optimized for a narrow ParadoxGPT specialist workflow, not general chat.
@@ -199,6 +234,39 @@ ParaDesigner-SFT 适合用于:
199
 
200
  为了获得最佳效果,请使用与训练数据一致的丰富论文上下文,例如 title、abstract、introduction、正文关键片段、figure/table captions、claims、reviews 或具体任务所需的 paper context。
201
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
202
  ## 局限
203
 
204
  - 模型针对 ParadoxGPT 窄域专家工作流优化,不是通用聊天模型。
 
110
  任务: ...
111
  ```
112
 
113
+ ### Concrete Example
114
+
115
+ Input:
116
+
117
+ ```text
118
+ 你是顶会论文实验论证规划专家。给定论文设定、方法组件和 claims,请用中文设计完整的实验论证方案。
119
+
120
+ 论文标题: Adaptive Evidence Routing for Retrieval-Augmented Scientific QA
121
+
122
+ 摘要: We propose a router that chooses between dense retrieval, citation-graph retrieval, and a hybrid path for scientific QA. The paper claims the router improves factuality and citation precision.
123
+
124
+ 引言: Scientific questions require different evidence types. Definitions need canonical sources, comparison questions need related-work neighborhoods, and mechanistic questions need method sections.
125
+
126
+ 方法组件: evidence router, citation-graph retriever, reranker trained on paper-review pairs.
127
+
128
+ Claims:
129
+ 1. The router is the main source of factuality gains.
130
+ 2. The citation graph improves citation precision.
131
+ 3. The hybrid path is especially useful for mechanistic questions.
132
+ ```
133
+
134
+ Expected ParaDesigner-SFT-style output:
135
+
136
+ ```text
137
+ 这篇论文的实验论证不能只做一个 full system vs. base RAG。你真正要证明的是三个组件分别在什么地方起作用,所以实验应该分成三层。
138
+
139
+ 第一层是贡献隔离:保留 citation graph 和 reranker,只移除 router,观察 factuality 是否明显下降。否则你不能说提升主要来自 router,只能说来自整个 evidence stack。
140
+
141
+ 第二层是任务分解:把问题按 definition / comparison / mechanism 三类拆开。router 的价值应该体现在不同问题类型选择不同 evidence path,而不是只在平均分上变好。
142
+
143
+ 第三层是机制解释:报告 router 的选择分布和错误案例。如果 mechanistic questions 经常被路由到 hybrid path,并且这些样本的引用更完整,才说明 router 学到了有意义的证据策略。
144
+
145
+ 最关键的对照是:Base RAG、+citation graph、+reranker、+router,以及只替换 router 的 controlled ablation。这样 claim、组件和证据才能闭环。
146
+ ```
147
+
148
  ## Limitations
149
 
150
  - The model is optimized for a narrow ParadoxGPT specialist workflow, not general chat.
 
234
 
235
  为了获得最佳效果,请使用与训练数据一致的丰富论文上下文,例如 title、abstract、introduction、正文关键片段、figure/table captions、claims、reviews 或具体任务所需的 paper context。
236
 
237
+ ### 具体示例
238
+
239
+ 输入:
240
+
241
+ ```text
242
+ 你是顶会论文实验论证规划专家。给定论文设定、方法组件和 claims,请用中文设计完整的实验论证方案。
243
+
244
+ 论文标题: Adaptive Evidence Routing for Retrieval-Augmented Scientific QA
245
+
246
+ 摘要: 论文提出一个 router,在 dense retrieval、citation-graph retrieval 和 hybrid path 之间选择证据路径,用于 scientific QA。作者声称 router 提升 factuality 和 citation precision。
247
+
248
+ 引言: 不同科学问题需要不同证据类型:定义问题需要 canonical source,对比问题需要 related-work neighborhood,机制问题需要 method section。
249
+
250
+ 方法组件: evidence router, citation-graph retriever, reranker trained on paper-review pairs.
251
+
252
+ Claims:
253
+ 1. router 是 factuality 提升的主要来源。
254
+ 2. citation graph 提升 citation precision。
255
+ 3. hybrid path 对 mechanistic questions 尤其有用。
256
+ ```
257
+
258
+ ParaDesigner-SFT 期望输出片段:
259
+
260
+ ```text
261
+ 这篇论文的实验论证不能只做 full system vs. base RAG。你真正要证明的是三个组件分别在什么地方起作用,所以实验应该分成三层。
262
+
263
+ 第一层是贡献隔离:保留 citation graph 和 reranker,只移除 router,观察 factuality 是否明显下降。否则不能说提升主要来自 router,只能说来自整个 evidence stack。
264
+
265
+ 第二层是任务分解:把问题按 definition / comparison / mechanism 三类拆开。router 的价值应该体现在不同问题类型选择不同 evidence path,而不是只在平均分上变好。
266
+
267
+ 第三层是机制解释:报告 router 的选择分布和错误案例。如果 mechanistic questions 经常被路由到 hybrid path,并且这些样本的引用更完整,才说明 router 学到了有意义的证据策略。
268
+ ```
269
+
270
  ## 局限
271
 
272
  - 模型针对 ParadoxGPT 窄域专家工作流优化,不是通用聊天模型。