BoomJules commited on
Commit
4a940f7
·
verified ·
1 Parent(s): 992215b

Render architecture diagrams as SVG (hub-visible); refresh EN/ES/IT

Browse files
README.md CHANGED
@@ -1,10 +1,6 @@
1
  ---
2
  license: other
3
- tags:
4
- - molly-os
5
- - whitepaper
6
- - preprint
7
- - orchestration
8
  ---
9
 
10
  # Molly OS — Whitepaper / Preprint
@@ -14,17 +10,15 @@ tags:
14
  *Molly OS: A Model-Agnostic Inference Orchestration Layer for On-Device and Federated Inference.*
15
 
16
  A sovereign orchestration layer that routes each request across heterogeneous execution
17
- targets (on-device, LAN, cloud, external API), serves many domain-specialist LoRA adapters
18
- over a shared quantized base, enforces on-device-first data sovereignty, and continuously
19
- specializes via distillation. Evaluation across ~100 domains (neutral LLM judge, 115-panel
20
- probe) shows orchestration improves output quality over the unspecialized base.
21
 
22
  ## Documents
23
- - English: `molly_os_whitepaper_en.md` / `molly_os_whitepaper_en.html`
24
- - Español: `molly_os_whitepaper_es.md` / `molly_os_whitepaper_es.html`
25
- - Italiano: `molly_os_whitepaper_it.md` / `molly_os_whitepaper_it.html`
26
 
27
- References (69) are verified against the arXiv API, with official venue links for the
28
- two non-arXiv works.
29
 
30
- (c) 2026 Core Labs R&D. Private preprint please do not redistribute.
 
1
  ---
2
  license: other
3
+ tags: [molly-os, whitepaper, preprint, orchestration]
 
 
 
 
4
  ---
5
 
6
  # Molly OS — Whitepaper / Preprint
 
10
  *Molly OS: A Model-Agnostic Inference Orchestration Layer for On-Device and Federated Inference.*
11
 
12
  A sovereign orchestration layer that routes each request across heterogeneous execution
13
+ targets, serves many domain-specialist LoRA adapters over a shared quantized base,
14
+ enforces on-device-first data sovereignty, and continuously specializes via distillation.
 
 
15
 
16
  ## Documents
17
+ - English: `molly_os_whitepaper_en.md` / `.html`
18
+ - Espanol: `molly_os_whitepaper_es.md` / `.html`
19
+ - Italiano: `molly_os_whitepaper_it.md` / `.html`
20
 
21
+ Architecture figures are rendered as SVG (`fig_1.svg` ... `fig_5.svg`). References (69) are
22
+ verified against the arXiv API, with official venue links for the two non-arXiv works.
23
 
24
+ (c) 2026 Core Labs R&D. Private preprint - please do not redistribute.
fig_1.svg ADDED
fig_2.svg ADDED
fig_3.svg ADDED
fig_4.svg ADDED
fig_5.svg ADDED
molly_os_whitepaper_en.md CHANGED
@@ -60,28 +60,7 @@ Molly OS sits between applications and a heterogeneous pool of execution targets
60
 
61
  Supporting subsystems include the adapter registry (Section 7), the policy engine (Section 8), the trace store and specialization pipeline (Section 9), and multimodal backends (Section 10). Retrieval [38, 40] and tool execution [43, 44] are mediated by the same layer so that retrieval corpora and tool I/O obey the same residency rules as model inputs.
62
 
63
- ```mermaid
64
- flowchart TD
65
- APP[Applications / Clients] --> GW[Unified Inference Interface]
66
- GW --> CLS[Capability + Sensitivity Classifier]
67
- CLS --> RT[Router]
68
- POL[Sovereignty Policy Engine] --> RT
69
- REG[Adapter Registry] --> RT
70
- RT --> T0[T0: On-Device Model + Adapters]
71
- RT --> T1[T1: LAN Model Server]
72
- RT --> T2[T2: Self-Hosted Remote Model]
73
- RT --> T3[T3: External API - policy gated]
74
- T0 --> AGG[Response Aggregator / Verifier]
75
- T1 --> AGG
76
- T2 --> AGG
77
- T3 --> AGG
78
- AGG --> GW
79
- AGG --> TRC[Trace Store]
80
- TRC --> SPC[Specialization Pipeline]
81
- SPC --> REG
82
- RAGS[Retrieval Store] --- RT
83
- TOOLS[Tool Executor] --- RT
84
- ```
85
 
86
  **Figure 1.** Molly OS architecture. All requests pass through a single interface; the router selects among four target tiers under sovereignty policy; traces feed a specialization pipeline that produces new adapters.
87
 
@@ -97,26 +76,7 @@ The router solves, per request, a constrained selection problem: choose the targ
97
 
98
  **Speculative cooperation.** When a request lands on T1, the T0 model can serve as a draft model for speculative decoding [30, 31, 33], so the placement hierarchy doubles as an acceleration hierarchy.
99
 
100
- ```mermaid
101
- flowchart TD
102
- REQ[Incoming Request] --> SENS{Sensitivity class?}
103
- SENS -->|Private| LOCK[Tier set = T0, T1]
104
- SENS -->|Standard| OPEN[Tier set = T0..T3]
105
- LOCK --> CAP[Capability + Difficulty Estimate]
106
- OPEN --> CAP
107
- CAP --> AD{Specialist adapter available?}
108
- AD -->|Yes| LOCAL[Attempt T0 with adapter]
109
- AD -->|No| EST[Score permitted targets]
110
- EST --> PICK[Select max expected quality s.t. latency and cost]
111
- LOCAL --> CONF{Confidence above threshold?}
112
- PICK --> EXEC[Execute on selected target]
113
- EXEC --> CONF
114
- CONF -->|Yes| OUT[Return response]
115
- CONF -->|No| ESC{Higher tier permitted?}
116
- ESC -->|Yes| UP[Escalate to next tier]
117
- UP --> EXEC
118
- ESC -->|No| BEST[Return best local response with caveat]
119
- ```
120
 
121
  **Figure 2.** Routing and cascade flow. Sensitivity classification restricts the permitted tier set before capability-based selection; low-confidence outputs escalate only within the permitted set.
122
 
@@ -132,31 +92,7 @@ A central design choice is that *specialization is cheaper than scale at the edg
132
 
133
  **Adapter portability.** Adapters are versioned against base-model checkpoints and quantization configurations, so an adapter trained on a T1 host can be redistributed to T0 devices sharing the same base — this portability underpins the federated mechanism of Section 8.
134
 
135
- ```mermaid
136
- flowchart LR
137
- subgraph SRV[Adapter-Augmented Serving Engine]
138
- BASE[Shared Quantized Base Model]
139
- SCHED[Iteration-Level Scheduler]
140
- POOL[Unified Paged Memory: KV cache + adapter pages]
141
- K[Batched LoRA Kernels]
142
- SCHED --> BASE
143
- BASE --> K
144
- POOL --- BASE
145
- POOL --- K
146
- end
147
- R1[Request A: legal adapter] --> SCHED
148
- R2[Request B: medical adapter] --> SCHED
149
- R3[Request C: code adapter] --> SCHED
150
- subgraph REG[Adapter Registry]
151
- HOT[Hot: device memory]
152
- WARM[Warm: host memory]
153
- COLD[Cold: storage]
154
- COLD -->|on-demand load| WARM
155
- WARM -->|promote| HOT
156
- HOT -->|evict| WARM
157
- end
158
- HOT --> POOL
159
- ```
160
 
161
  **Figure 3.** Concurrent specialist serving. One shared base model serves heterogeneous adapter requests in the same batch; adapters migrate between hot, warm, and cold states under a cost-aware policy.
162
 
@@ -176,20 +112,7 @@ Many requests presented to the orchestration layer are not single-shot completio
176
 
177
  We evaluate orchestration on standard agent benchmarks and harnesses, including general agentic evaluation [62], realistic web environments [63], repository-level software tasks [64], and tool-augmented API use [65], quantifying the quality gain over the single-specialist baseline and the added latency overhead is part of ongoing measurement.
178
 
179
- ```mermaid
180
- flowchart TD
181
- R[Request] --> C[Controller: triage + delegation plan]
182
- G[Policy / Budget Gate] --> C
183
- C --> S1[Specialist A: base + domain adapter]
184
- C --> S2[Specialist B: base + domain adapter]
185
- C --> S3[Specialist C: base + domain adapter]
186
- S1 --> F[Fusion: confidence-weighted ranking]
187
- S2 --> F
188
- S3 --> F
189
- F --> M[Meta-cognition: consistency check]
190
- M -- refine --> C
191
- M -- accept --> O[Response]
192
- ```
193
 
194
  **Figure 5.** Agent orchestration. The controller emits a delegation plan under an explicit policy/budget gate; domain specialists execute in parallel on the least-exposed permitted tier; fusion ranks and integrates outputs; meta-cognition validates consistency and may trigger bounded refinement.
195
 
@@ -203,30 +126,7 @@ Self-custody holds across the entire heterogeneous-OS cluster: data, adapters, a
203
 
204
  **Federated improvement.** Devices improve collectively without centralizing raw data, following federated principles [23, 24]. The unit of exchange is the *adapter delta*: a participant trains or refines a specialist adapter locally (Section 9), and only the low-rank parameters — optionally with privacy-preserving noise consistent with established federated practice [24] — are shared with an aggregation point, which may itself be a LAN host. Because adapters are orders of magnitude smaller than base models, communication cost is modest, echoing the communication-efficiency motivation of federated averaging [23]. Aggregated adapters are redistributed through the registry with version pinning.
205
 
206
- ```mermaid
207
- flowchart TD
208
- subgraph DEV[On-Device Tier T0]
209
- P1[Phone: SLM + adapters]
210
- P2[Laptop: SLM + adapters]
211
- DATA[(Raw user data - never leaves tier)]
212
- P1 --- DATA
213
- P2 --- DATA
214
- end
215
- subgraph LAN[Local Network Tier T1]
216
- HUB[LAN Model Server + Adapter Aggregator]
217
- end
218
- subgraph REM[Remote Tiers]
219
- T2N[T2: Self-Hosted Model]
220
- T3N[T3: External API]
221
- end
222
- P1 -->|adapter deltas only| HUB
223
- P2 -->|adapter deltas only| HUB
224
- HUB -->|aggregated adapters| P1
225
- HUB -->|aggregated adapters| P2
226
- P1 -.->|policy-gated, redacted requests| T3N
227
- HUB -->|escalated inference| T2N
228
- HUB -.->|policy-gated, redacted| T3N
229
- ```
230
 
231
  **Figure 4.** Federated topology. Raw data remains in the on-device tier; only adapter deltas cross tiers for improvement, and only redacted, policy-gated requests reach external APIs.
232
 
 
60
 
61
  Supporting subsystems include the adapter registry (Section 7), the policy engine (Section 8), the trace store and specialization pipeline (Section 9), and multimodal backends (Section 10). Retrieval [38, 40] and tool execution [43, 44] are mediated by the same layer so that retrieval corpora and tool I/O obey the same residency rules as model inputs.
62
 
63
+ ![Figure 1](fig_1.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
64
 
65
  **Figure 1.** Molly OS architecture. All requests pass through a single interface; the router selects among four target tiers under sovereignty policy; traces feed a specialization pipeline that produces new adapters.
66
 
 
76
 
77
  **Speculative cooperation.** When a request lands on T1, the T0 model can serve as a draft model for speculative decoding [30, 31, 33], so the placement hierarchy doubles as an acceleration hierarchy.
78
 
79
+ ![Figure 2](fig_2.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
80
 
81
  **Figure 2.** Routing and cascade flow. Sensitivity classification restricts the permitted tier set before capability-based selection; low-confidence outputs escalate only within the permitted set.
82
 
 
92
 
93
  **Adapter portability.** Adapters are versioned against base-model checkpoints and quantization configurations, so an adapter trained on a T1 host can be redistributed to T0 devices sharing the same base — this portability underpins the federated mechanism of Section 8.
94
 
95
+ ![Figure 3](fig_3.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
96
 
97
  **Figure 3.** Concurrent specialist serving. One shared base model serves heterogeneous adapter requests in the same batch; adapters migrate between hot, warm, and cold states under a cost-aware policy.
98
 
 
112
 
113
  We evaluate orchestration on standard agent benchmarks and harnesses, including general agentic evaluation [62], realistic web environments [63], repository-level software tasks [64], and tool-augmented API use [65], quantifying the quality gain over the single-specialist baseline and the added latency overhead is part of ongoing measurement.
114
 
115
+ ![Figure 4](fig_4.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
116
 
117
  **Figure 5.** Agent orchestration. The controller emits a delegation plan under an explicit policy/budget gate; domain specialists execute in parallel on the least-exposed permitted tier; fusion ranks and integrates outputs; meta-cognition validates consistency and may trigger bounded refinement.
118
 
 
126
 
127
  **Federated improvement.** Devices improve collectively without centralizing raw data, following federated principles [23, 24]. The unit of exchange is the *adapter delta*: a participant trains or refines a specialist adapter locally (Section 9), and only the low-rank parameters — optionally with privacy-preserving noise consistent with established federated practice [24] — are shared with an aggregation point, which may itself be a LAN host. Because adapters are orders of magnitude smaller than base models, communication cost is modest, echoing the communication-efficiency motivation of federated averaging [23]. Aggregated adapters are redistributed through the registry with version pinning.
128
 
129
+ ![Figure 5](fig_5.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
130
 
131
  **Figure 4.** Federated topology. Raw data remains in the on-device tier; only adapter deltas cross tiers for improvement, and only redacted, policy-gated requests reach external APIs.
132
 
molly_os_whitepaper_es.md CHANGED
@@ -60,28 +60,7 @@ Molly OS se sitúa entre las aplicaciones y un conjunto heterogéneo de objetivo
60
 
61
  Los subsistemas de soporte incluyen el registro de adaptadores (Sección 7), el motor de políticas (Sección 8), el almacén de trazas y el pipeline de especialización (Sección 9), y los backends multimodales (Sección 10). La recuperación [38, 40] y la ejecución de herramientas [43, 44] están mediadas por la misma capa, de modo que los corpus de recuperación y la E/S de herramientas obedecen las mismas reglas de residencia que las entradas de los modelos.
62
 
63
- ```mermaid
64
- flowchart TD
65
- APP[Applications / Clients] --> GW[Unified Inference Interface]
66
- GW --> CLS[Capability + Sensitivity Classifier]
67
- CLS --> RT[Router]
68
- POL[Sovereignty Policy Engine] --> RT
69
- REG[Adapter Registry] --> RT
70
- RT --> T0[T0: On-Device Model + Adapters]
71
- RT --> T1[T1: LAN Model Server]
72
- RT --> T2[T2: Self-Hosted Remote Model]
73
- RT --> T3[T3: External API - policy gated]
74
- T0 --> AGG[Response Aggregator / Verifier]
75
- T1 --> AGG
76
- T2 --> AGG
77
- T3 --> AGG
78
- AGG --> GW
79
- AGG --> TRC[Trace Store]
80
- TRC --> SPC[Specialization Pipeline]
81
- SPC --> REG
82
- RAGS[Retrieval Store] --- RT
83
- TOOLS[Tool Executor] --- RT
84
- ```
85
 
86
  **Figura 1.** Arquitectura de Molly OS. Todas las solicitudes pasan por una única interfaz; el enrutador selecciona entre cuatro niveles de objetivo bajo la política de soberanía; las trazas alimentan un pipeline de especialización que produce nuevos adaptadores.
87
 
@@ -97,26 +76,7 @@ El enrutador resuelve, por solicitud, un problema de selección con restriccione
97
 
98
  **Cooperación especulativa.** Cuando una solicitud aterriza en T1, el modelo T0 puede servir como modelo de borrador para decodificación especulativa [30, 31, 33], de modo que la jerarquía de ubicación funciona también como jerarquía de aceleración.
99
 
100
- ```mermaid
101
- flowchart TD
102
- REQ[Incoming Request] --> SENS{Sensitivity class?}
103
- SENS -->|Private| LOCK[Tier set = T0, T1]
104
- SENS -->|Standard| OPEN[Tier set = T0..T3]
105
- LOCK --> CAP[Capability + Difficulty Estimate]
106
- OPEN --> CAP
107
- CAP --> AD{Specialist adapter available?}
108
- AD -->|Yes| LOCAL[Attempt T0 with adapter]
109
- AD -->|No| EST[Score permitted targets]
110
- EST --> PICK[Select max expected quality s.t. latency and cost]
111
- LOCAL --> CONF{Confidence above threshold?}
112
- PICK --> EXEC[Execute on selected target]
113
- EXEC --> CONF
114
- CONF -->|Yes| OUT[Return response]
115
- CONF -->|No| ESC{Higher tier permitted?}
116
- ESC -->|Yes| UP[Escalate to next tier]
117
- UP --> EXEC
118
- ESC -->|No| BEST[Return best local response with caveat]
119
- ```
120
 
121
  **Figura 2.** Flujo de enrutamiento y cascada. La clasificación de sensibilidad restringe el conjunto de niveles permitido antes de la selección basada en capacidades; las salidas de baja confianza escalan solo dentro del conjunto permitido.
122
 
@@ -132,31 +92,7 @@ Una decisión de diseño central es que *la especialización es más barata que
132
 
133
  **Portabilidad de adaptadores.** Los adaptadores se versionan contra checkpoints del modelo base y configuraciones de cuantización, de modo que un adaptador entrenado en un host T1 puede redistribuirse a dispositivos T0 que compartan la misma base — esta portabilidad sustenta el mecanismo federado de la Sección 8.
134
 
135
- ```mermaid
136
- flowchart LR
137
- subgraph SRV[Adapter-Augmented Serving Engine]
138
- BASE[Shared Quantized Base Model]
139
- SCHED[Iteration-Level Scheduler]
140
- POOL[Unified Paged Memory: KV cache + adapter pages]
141
- K[Batched LoRA Kernels]
142
- SCHED --> BASE
143
- BASE --> K
144
- POOL --- BASE
145
- POOL --- K
146
- end
147
- R1[Request A: legal adapter] --> SCHED
148
- R2[Request B: medical adapter] --> SCHED
149
- R3[Request C: code adapter] --> SCHED
150
- subgraph REG[Adapter Registry]
151
- HOT[Hot: device memory]
152
- WARM[Warm: host memory]
153
- COLD[Cold: storage]
154
- COLD -->|on-demand load| WARM
155
- WARM -->|promote| HOT
156
- HOT -->|evict| WARM
157
- end
158
- HOT --> POOL
159
- ```
160
 
161
  **Figura 3.** Servicio concurrente de especialistas. Un modelo base compartido sirve solicitudes heterogéneas de adaptadores en el mismo lote; los adaptadores migran entre los estados caliente, templado y frío bajo una política consciente del costo.
162
 
@@ -176,20 +112,7 @@ Muchas solicitudes presentadas a la capa de orquestación no son completaciones
176
 
177
  Evaluamos la orquestación en benchmarks y harnesses estándar de agentes, incluyendo evaluación agéntica general [62], entornos web realistas [63], tareas de software a nivel de repositorio [64] y uso de APIs aumentado con herramientas [65]; cuantificar la ganancia de calidad sobre la línea base de especialista único y la sobrecarga de latencia añadida es parte de la medición en curso.
178
 
179
- ```mermaid
180
- flowchart TD
181
- R[Request] --> C[Controller: triage + delegation plan]
182
- G[Policy / Budget Gate] --> C
183
- C --> S1[Specialist A: base + domain adapter]
184
- C --> S2[Specialist B: base + domain adapter]
185
- C --> S3[Specialist C: base + domain adapter]
186
- S1 --> F[Fusion: confidence-weighted ranking]
187
- S2 --> F
188
- S3 --> F
189
- F --> M[Meta-cognition: consistency check]
190
- M -- refine --> C
191
- M -- accept --> O[Response]
192
- ```
193
 
194
  **Figura 5.** Orquestación de agentes. El controlador emite un plan de delegación bajo una puerta explícita de política/presupuesto; los especialistas de dominio se ejecutan en paralelo en el nivel menos expuesto permitido; la fusión clasifica e integra las salidas; la metacognición valida la consistencia y puede desencadenar un refinamiento acotado.
195
 
@@ -203,30 +126,7 @@ La autocustodia se mantiene en todo el clúster de SO heterogéneo: los datos, l
203
 
204
  **Mejora federada.** Los dispositivos mejoran colectivamente sin centralizar datos en bruto, siguiendo principios federados [23, 24]. La unidad de intercambio es el *delta de adaptador*: un participante entrena o refina un adaptador especialista localmente (Sección 9), y solo los parámetros de bajo rango — opcionalmente con ruido para preservación de privacidad consistente con la práctica federada establecida [24] — se comparten con un punto de agregación, que puede ser él mismo un host LAN. Dado que los adaptadores son órdenes de magnitud más pequeños que los modelos base, el costo de comunicación es modesto, haciendo eco de la motivación de eficiencia de comunicación del promediado federado [23]. Los adaptadores agregados se redistribuyen a través del registro con fijación de versiones.
205
 
206
- ```mermaid
207
- flowchart TD
208
- subgraph DEV[On-Device Tier T0]
209
- P1[Phone: SLM + adapters]
210
- P2[Laptop: SLM + adapters]
211
- DATA[(Raw user data - never leaves tier)]
212
- P1 --- DATA
213
- P2 --- DATA
214
- end
215
- subgraph LAN[Local Network Tier T1]
216
- HUB[LAN Model Server + Adapter Aggregator]
217
- end
218
- subgraph REM[Remote Tiers]
219
- T2N[T2: Self-Hosted Model]
220
- T3N[T3: External API]
221
- end
222
- P1 -->|adapter deltas only| HUB
223
- P2 -->|adapter deltas only| HUB
224
- HUB -->|aggregated adapters| P1
225
- HUB -->|aggregated adapters| P2
226
- P1 -.->|policy-gated, redacted requests| T3N
227
- HUB -->|escalated inference| T2N
228
- HUB -.->|policy-gated, redacted| T3N
229
- ```
230
 
231
  **Figura 4.** Topología federada. Los datos en bruto permanecen en el nivel en dispositivo; solo los deltas de adaptadores cruzan los niveles para la mejora, y solo las solicitudes redactadas y autorizadas por la política alcanzan las APIs externas.
232
 
 
60
 
61
  Los subsistemas de soporte incluyen el registro de adaptadores (Sección 7), el motor de políticas (Sección 8), el almacén de trazas y el pipeline de especialización (Sección 9), y los backends multimodales (Sección 10). La recuperación [38, 40] y la ejecución de herramientas [43, 44] están mediadas por la misma capa, de modo que los corpus de recuperación y la E/S de herramientas obedecen las mismas reglas de residencia que las entradas de los modelos.
62
 
63
+ ![Figure 1](fig_1.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
64
 
65
  **Figura 1.** Arquitectura de Molly OS. Todas las solicitudes pasan por una única interfaz; el enrutador selecciona entre cuatro niveles de objetivo bajo la política de soberanía; las trazas alimentan un pipeline de especialización que produce nuevos adaptadores.
66
 
 
76
 
77
  **Cooperación especulativa.** Cuando una solicitud aterriza en T1, el modelo T0 puede servir como modelo de borrador para decodificación especulativa [30, 31, 33], de modo que la jerarquía de ubicación funciona también como jerarquía de aceleración.
78
 
79
+ ![Figure 2](fig_2.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
80
 
81
  **Figura 2.** Flujo de enrutamiento y cascada. La clasificación de sensibilidad restringe el conjunto de niveles permitido antes de la selección basada en capacidades; las salidas de baja confianza escalan solo dentro del conjunto permitido.
82
 
 
92
 
93
  **Portabilidad de adaptadores.** Los adaptadores se versionan contra checkpoints del modelo base y configuraciones de cuantización, de modo que un adaptador entrenado en un host T1 puede redistribuirse a dispositivos T0 que compartan la misma base — esta portabilidad sustenta el mecanismo federado de la Sección 8.
94
 
95
+ ![Figure 3](fig_3.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
96
 
97
  **Figura 3.** Servicio concurrente de especialistas. Un modelo base compartido sirve solicitudes heterogéneas de adaptadores en el mismo lote; los adaptadores migran entre los estados caliente, templado y frío bajo una política consciente del costo.
98
 
 
112
 
113
  Evaluamos la orquestación en benchmarks y harnesses estándar de agentes, incluyendo evaluación agéntica general [62], entornos web realistas [63], tareas de software a nivel de repositorio [64] y uso de APIs aumentado con herramientas [65]; cuantificar la ganancia de calidad sobre la línea base de especialista único y la sobrecarga de latencia añadida es parte de la medición en curso.
114
 
115
+ ![Figure 4](fig_4.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
116
 
117
  **Figura 5.** Orquestación de agentes. El controlador emite un plan de delegación bajo una puerta explícita de política/presupuesto; los especialistas de dominio se ejecutan en paralelo en el nivel menos expuesto permitido; la fusión clasifica e integra las salidas; la metacognición valida la consistencia y puede desencadenar un refinamiento acotado.
118
 
 
126
 
127
  **Mejora federada.** Los dispositivos mejoran colectivamente sin centralizar datos en bruto, siguiendo principios federados [23, 24]. La unidad de intercambio es el *delta de adaptador*: un participante entrena o refina un adaptador especialista localmente (Sección 9), y solo los parámetros de bajo rango — opcionalmente con ruido para preservación de privacidad consistente con la práctica federada establecida [24] — se comparten con un punto de agregación, que puede ser él mismo un host LAN. Dado que los adaptadores son órdenes de magnitud más pequeños que los modelos base, el costo de comunicación es modesto, haciendo eco de la motivación de eficiencia de comunicación del promediado federado [23]. Los adaptadores agregados se redistribuyen a través del registro con fijación de versiones.
128
 
129
+ ![Figure 5](fig_5.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
130
 
131
  **Figura 4.** Topología federada. Los datos en bruto permanecen en el nivel en dispositivo; solo los deltas de adaptadores cruzan los niveles para la mejora, y solo las solicitudes redactadas y autorizadas por la política alcanzan las APIs externas.
132
 
molly_os_whitepaper_it.md CHANGED
@@ -60,28 +60,7 @@ Molly OS si colloca tra le applicazioni e un pool eterogeneo di target di esecuz
60
 
61
  I sottosistemi di supporto includono il registro degli adapter (Sezione 7), il motore delle politiche (Sezione 8), l'archivio delle tracce e la pipeline di specializzazione (Sezione 9) e i backend multimodali (Sezione 10). Il retrieval [38, 40] e l'esecuzione degli strumenti [43, 44] sono mediati dallo stesso livello, in modo che i corpora di retrieval e l'I/O degli strumenti rispettino le stesse regole di residenza degli input dei modelli.
62
 
63
- ```mermaid
64
- flowchart TD
65
- APP[Applications / Clients] --> GW[Unified Inference Interface]
66
- GW --> CLS[Capability + Sensitivity Classifier]
67
- CLS --> RT[Router]
68
- POL[Sovereignty Policy Engine] --> RT
69
- REG[Adapter Registry] --> RT
70
- RT --> T0[T0: On-Device Model + Adapters]
71
- RT --> T1[T1: LAN Model Server]
72
- RT --> T2[T2: Self-Hosted Remote Model]
73
- RT --> T3[T3: External API - policy gated]
74
- T0 --> AGG[Response Aggregator / Verifier]
75
- T1 --> AGG
76
- T2 --> AGG
77
- T3 --> AGG
78
- AGG --> GW
79
- AGG --> TRC[Trace Store]
80
- TRC --> SPC[Specialization Pipeline]
81
- SPC --> REG
82
- RAGS[Retrieval Store] --- RT
83
- TOOLS[Tool Executor] --- RT
84
- ```
85
 
86
  **Figura 1.** Architettura di Molly OS. Tutte le richieste passano attraverso un'unica interfaccia; il router seleziona tra quattro livelli di target secondo la politica di sovranità; le tracce alimentano una pipeline di specializzazione che produce nuovi adapter.
87
 
@@ -97,26 +76,7 @@ Il router risolve, per ogni richiesta, un problema di selezione vincolata: scegl
97
 
98
  **Cooperazione speculativa.** Quando una richiesta approda su T1, il modello T0 può fungere da modello di bozza per la decodifica speculativa [30, 31, 33], cosicché la gerarchia di posizionamento funge anche da gerarchia di accelerazione.
99
 
100
- ```mermaid
101
- flowchart TD
102
- REQ[Incoming Request] --> SENS{Sensitivity class?}
103
- SENS -->|Private| LOCK[Tier set = T0, T1]
104
- SENS -->|Standard| OPEN[Tier set = T0..T3]
105
- LOCK --> CAP[Capability + Difficulty Estimate]
106
- OPEN --> CAP
107
- CAP --> AD{Specialist adapter available?}
108
- AD -->|Yes| LOCAL[Attempt T0 with adapter]
109
- AD -->|No| EST[Score permitted targets]
110
- EST --> PICK[Select max expected quality s.t. latency and cost]
111
- LOCAL --> CONF{Confidence above threshold?}
112
- PICK --> EXEC[Execute on selected target]
113
- EXEC --> CONF
114
- CONF -->|Yes| OUT[Return response]
115
- CONF -->|No| ESC{Higher tier permitted?}
116
- ESC -->|Yes| UP[Escalate to next tier]
117
- UP --> EXEC
118
- ESC -->|No| BEST[Return best local response with caveat]
119
- ```
120
 
121
  **Figura 2.** Flusso di instradamento e cascata. La classificazione della sensibilità restringe l'insieme di livelli consentito prima della selezione basata sulle capacità; gli output a bassa confidenza fanno escalation solo all'interno dell'insieme consentito.
122
 
@@ -132,31 +92,7 @@ Una scelta progettuale centrale è che *la specializzazione è più economica de
132
 
133
  **Portabilità degli adapter.** Gli adapter sono versionati rispetto ai checkpoint del modello base e alle configurazioni di quantizzazione, cosicché un adapter addestrato su un host T1 può essere ridistribuito a dispositivi T0 che condividono la stessa base — questa portabilità è alla base del meccanismo federato della Sezione 8.
134
 
135
- ```mermaid
136
- flowchart LR
137
- subgraph SRV[Adapter-Augmented Serving Engine]
138
- BASE[Shared Quantized Base Model]
139
- SCHED[Iteration-Level Scheduler]
140
- POOL[Unified Paged Memory: KV cache + adapter pages]
141
- K[Batched LoRA Kernels]
142
- SCHED --> BASE
143
- BASE --> K
144
- POOL --- BASE
145
- POOL --- K
146
- end
147
- R1[Request A: legal adapter] --> SCHED
148
- R2[Request B: medical adapter] --> SCHED
149
- R3[Request C: code adapter] --> SCHED
150
- subgraph REG[Adapter Registry]
151
- HOT[Hot: device memory]
152
- WARM[Warm: host memory]
153
- COLD[Cold: storage]
154
- COLD -->|on-demand load| WARM
155
- WARM -->|promote| HOT
156
- HOT -->|evict| WARM
157
- end
158
- HOT --> POOL
159
- ```
160
 
161
  **Figura 3.** Serving specialistico concorrente. Un unico modello base condiviso serve richieste di adapter eterogenee nello stesso batch; gli adapter migrano tra stati hot, warm e cold secondo una politica consapevole dei costi.
162
 
@@ -176,20 +112,7 @@ Molte richieste presentate al livello di orchestrazione non sono completamenti s
176
 
177
  Valutiamo l'orchestrazione su benchmark e harness agentici standard, inclusa la valutazione agentica generale [62], ambienti web realistici [63], compiti software a livello di repository [64] e l'uso di API aumentato da strumenti [65]; la quantificazione del guadagno di qualità rispetto al baseline a singolo specialista e dell'overhead di latenza aggiunto fa parte delle misurazioni in corso.
178
 
179
- ```mermaid
180
- flowchart TD
181
- R[Request] --> C[Controller: triage + delegation plan]
182
- G[Policy / Budget Gate] --> C
183
- C --> S1[Specialist A: base + domain adapter]
184
- C --> S2[Specialist B: base + domain adapter]
185
- C --> S3[Specialist C: base + domain adapter]
186
- S1 --> F[Fusion: confidence-weighted ranking]
187
- S2 --> F
188
- S3 --> F
189
- F --> M[Meta-cognition: consistency check]
190
- M -- refine --> C
191
- M -- accept --> O[Response]
192
- ```
193
 
194
  **Figura 5.** Orchestrazione di agenti. Il controller emette un piano di delega sotto un gate esplicito di politica/budget; gli specialisti di dominio vengono eseguiti in parallelo sul livello consentito meno esposto; la fusione classifica e integra gli output; la meta-cognizione valida la coerenza e può innescare un raffinamento limitato.
195
 
@@ -203,30 +126,7 @@ La self-custody vale sull'intero cluster a OS eterogeneo: dati, adapter ed embed
203
 
204
  **Miglioramento federato.** I dispositivi migliorano collettivamente senza centralizzare i dati grezzi, seguendo i principi federati [23, 24]. L'unità di scambio è il *delta dell'adapter*: un partecipante addestra o raffina localmente un adapter specialistico (Sezione 9), e solo i parametri a basso rango — opzionalmente con rumore a tutela della privacy coerente con la pratica federata consolidata [24] — sono condivisi con un punto di aggregazione, che può a sua volta essere un host LAN. Poiché gli adapter sono di ordini di grandezza più piccoli dei modelli base, il costo di comunicazione è modesto, riecheggiando la motivazione di efficienza comunicativa del federated averaging [23]. Gli adapter aggregati sono ridistribuiti tramite il registro con il pinning della versione.
205
 
206
- ```mermaid
207
- flowchart TD
208
- subgraph DEV[On-Device Tier T0]
209
- P1[Phone: SLM + adapters]
210
- P2[Laptop: SLM + adapters]
211
- DATA[(Raw user data - never leaves tier)]
212
- P1 --- DATA
213
- P2 --- DATA
214
- end
215
- subgraph LAN[Local Network Tier T1]
216
- HUB[LAN Model Server + Adapter Aggregator]
217
- end
218
- subgraph REM[Remote Tiers]
219
- T2N[T2: Self-Hosted Model]
220
- T3N[T3: External API]
221
- end
222
- P1 -->|adapter deltas only| HUB
223
- P2 -->|adapter deltas only| HUB
224
- HUB -->|aggregated adapters| P1
225
- HUB -->|aggregated adapters| P2
226
- P1 -.->|policy-gated, redacted requests| T3N
227
- HUB -->|escalated inference| T2N
228
- HUB -.->|policy-gated, redacted| T3N
229
- ```
230
 
231
  **Figura 4.** Topologia federata. I dati grezzi rimangono nel livello on-device; solo i delta degli adapter attraversano i livelli per il miglioramento, e solo richieste redatte e soggette a politica raggiungono le API esterne.
232
 
 
60
 
61
  I sottosistemi di supporto includono il registro degli adapter (Sezione 7), il motore delle politiche (Sezione 8), l'archivio delle tracce e la pipeline di specializzazione (Sezione 9) e i backend multimodali (Sezione 10). Il retrieval [38, 40] e l'esecuzione degli strumenti [43, 44] sono mediati dallo stesso livello, in modo che i corpora di retrieval e l'I/O degli strumenti rispettino le stesse regole di residenza degli input dei modelli.
62
 
63
+ ![Figure 1](fig_1.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
64
 
65
  **Figura 1.** Architettura di Molly OS. Tutte le richieste passano attraverso un'unica interfaccia; il router seleziona tra quattro livelli di target secondo la politica di sovranità; le tracce alimentano una pipeline di specializzazione che produce nuovi adapter.
66
 
 
76
 
77
  **Cooperazione speculativa.** Quando una richiesta approda su T1, il modello T0 può fungere da modello di bozza per la decodifica speculativa [30, 31, 33], cosicché la gerarchia di posizionamento funge anche da gerarchia di accelerazione.
78
 
79
+ ![Figure 2](fig_2.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
80
 
81
  **Figura 2.** Flusso di instradamento e cascata. La classificazione della sensibilità restringe l'insieme di livelli consentito prima della selezione basata sulle capacità; gli output a bassa confidenza fanno escalation solo all'interno dell'insieme consentito.
82
 
 
92
 
93
  **Portabilità degli adapter.** Gli adapter sono versionati rispetto ai checkpoint del modello base e alle configurazioni di quantizzazione, cosicché un adapter addestrato su un host T1 può essere ridistribuito a dispositivi T0 che condividono la stessa base — questa portabilità è alla base del meccanismo federato della Sezione 8.
94
 
95
+ ![Figure 3](fig_3.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
96
 
97
  **Figura 3.** Serving specialistico concorrente. Un unico modello base condiviso serve richieste di adapter eterogenee nello stesso batch; gli adapter migrano tra stati hot, warm e cold secondo una politica consapevole dei costi.
98
 
 
112
 
113
  Valutiamo l'orchestrazione su benchmark e harness agentici standard, inclusa la valutazione agentica generale [62], ambienti web realistici [63], compiti software a livello di repository [64] e l'uso di API aumentato da strumenti [65]; la quantificazione del guadagno di qualità rispetto al baseline a singolo specialista e dell'overhead di latenza aggiunto fa parte delle misurazioni in corso.
114
 
115
+ ![Figure 4](fig_4.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
116
 
117
  **Figura 5.** Orchestrazione di agenti. Il controller emette un piano di delega sotto un gate esplicito di politica/budget; gli specialisti di dominio vengono eseguiti in parallelo sul livello consentito meno esposto; la fusione classifica e integra gli output; la meta-cognizione valida la coerenza e può innescare un raffinamento limitato.
118
 
 
126
 
127
  **Miglioramento federato.** I dispositivi migliorano collettivamente senza centralizzare i dati grezzi, seguendo i principi federati [23, 24]. L'unità di scambio è il *delta dell'adapter*: un partecipante addestra o raffina localmente un adapter specialistico (Sezione 9), e solo i parametri a basso rango — opzionalmente con rumore a tutela della privacy coerente con la pratica federata consolidata [24] — sono condivisi con un punto di aggregazione, che può a sua volta essere un host LAN. Poiché gli adapter sono di ordini di grandezza più piccoli dei modelli base, il costo di comunicazione è modesto, riecheggiando la motivazione di efficienza comunicativa del federated averaging [23]. Gli adapter aggregati sono ridistribuiti tramite il registro con il pinning della versione.
128
 
129
+ ![Figure 5](fig_5.svg)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
130
 
131
  **Figura 4.** Topologia federata. I dati grezzi rimangono nel livello on-device; solo i delta degli adapter attraversano i livelli per il miglioramento, e solo richieste redatte e soggette a politica raggiungono le API esterne.
132