React force recovery · 管线调试 English

从原始图像到力,逐步展示

每行:原图 → 参考帧 → 差分 dI=img−ref → 有效掩码 → |LUT 梯度| → Poisson 深度 → 特征与预测力 vs 真值。同一管线,三个数据集。

cnc_Mini 为何看起来失效 — 真正的原因

既不是标签质量差,也不是重建失效:cnc 的按压网格覆盖整块 20×16 mm 凝胶,而裁剪后的相机视野只有约 13×10 mm——三分之二的按压部分在画面外,接触特征被系统性低估。仅取完全在视野内的按压,同一重建管线达到 GlowTact 同级精度。标签质量合格(固定探头/位置/深度下力的变异系数 4.5%)。这也撤回了我们此前的“数据集天花板”论证:视野内 ρ=0.94 超过了该论证依赖的指令深度代理值(0.78–0.88)。

作用域(cnc,3351 帧)n per-probe ρ (A–F)median ρMAE
全部按压位置33510.09–0.16 0.1130.74 N
内部 x∈[3.5,14.5]12320.79–0.85 0.8350.39 N
严格视野内 x∈[5,13]671 0.94 0.94 0.93 0.91 0.95 0.950.941 0.26 N

每探头半半分拟合,7 种子,LUT 管线 + z 监督增益场。dot 类型对照:FEATS 按压恒居中,原始管线即得 ρ=0.72,而 GlowTact 原始条件仅 0.46——起决定作用的是增益场与作用域,而非 marker。

同一个失效模式,出现在四个数据集上

上面这个 cnc 的故事其实不只属于 cnc。Tactile MNIST 上精确的逐像素真值从另一侧展示了完全相同的效应:420/420 次触碰的接触都跑出了 pad,而把单个球冠从 pad 中心移到边缘的对照,使重建峰值从 1.39 塌到 0.30 mm(真值 0.90 mm)。Sparsh 是第三次印证——它被裁切的帧力中位数最高,得分却更差。原因是结构性的:Poisson 求解的零边界无法表示跑出画面的曲面,所以被裁切的接触会被当成在图像边缘就结束了。接触可见性——而不是力程或 gel 类型——才是这条管线最大的外部失效模式。

同一份真值也给第 4 列那个掩码定了量:相对真实接触区域,它的 IoU 为 0.614,召回 0.917,过分割 0.531——它几乎找全了接触,然后又多加了半个接触面积的光晕。这正是任何 3D 视图之前都必须先减掉光晕基座的原因。

GlowTact — 无 marker,LUT 标定所用传感器(对照)

FoTa cnc_Mini — 无 marker,外来传感器,按压网格大于视野

FEATS — dot/marker gel;这里的面板是力的路径,所以点仍然在图里(marker 修补只用于几何)