Carte de modèle
Browse files
README.md
ADDED
|
@@ -0,0 +1,77 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
library_name: brimkern
|
| 3 |
+
license: apache-2.0
|
| 4 |
+
base_model: fla-hub/rwkv7-0.4B-g1a
|
| 5 |
+
pipeline_tag: text-generation
|
| 6 |
+
language:
|
| 7 |
+
- en
|
| 8 |
+
- fr
|
| 9 |
+
tags:
|
| 10 |
+
- brik
|
| 11 |
+
- webgpu
|
| 12 |
+
- on-device
|
| 13 |
+
- browser
|
| 14 |
+
- quantized
|
| 15 |
+
- rwkv
|
| 16 |
+
---
|
| 17 |
+
|
| 18 |
+
# RWKV-7 « G1a » 0.4B — BRIK (int4)
|
| 19 |
+
|
| 20 |
+
Poids **RWKV-7 G1a 0.4B** (BlinkDL, Apache-2.0) convertis au format **BRIK** pour tourner **dans le
|
| 21 |
+
navigateur** sur le GPU du visiteur (WebGPU), sans serveur d'inférence. Convertis depuis un GGUF f16.
|
| 22 |
+
|
| 23 |
+
| | |
|
| 24 |
+
|---|---|
|
| 25 |
+
| Fichier | `rwkv7-g1a-0.4b-q4.brik` (304 Mo) |
|
| 26 |
+
| Quantification | int4 (poids déjà quantifiés dans la disposition que lisent les kernels — aucune déquantification au chargement) |
|
| 27 |
+
| Tokenizer | **embarqué** dans le fichier (vocab RWKV World, aucun téléchargement séparé) |
|
| 28 |
+
| Architecture | 24 blocs, d=1024, vocab 65 536 |
|
| 29 |
+
| Moteur | [Brimkern](https://brimkern.com) — kernels WGSL maison |
|
| 30 |
+
|
| 31 |
+
## Essayer en un clic
|
| 32 |
+
|
| 33 |
+
👉 **https://brimkern.com/chat?model=romainkh14/RWKV-7-G1a-0.4B_BRIK**
|
| 34 |
+
|
| 35 |
+
Le modèle est streamé par plages HTTP (Range), mis en cache par le navigateur, puis réutilisable
|
| 36 |
+
**hors ligne**. Rien n'est envoyé à un serveur : le prompt et la génération restent sur la machine.
|
| 37 |
+
|
| 38 |
+
## Pourquoi RWKV ici
|
| 39 |
+
|
| 40 |
+
RWKV-7 est **récurrent** : un état de taille fixe (~1 Mo) remplace le cache KV, donc la mémoire ne
|
| 41 |
+
grandit pas avec la conversation — l'inverse d'un transformeur, où le cache enfle à chaque token. Sur
|
| 42 |
+
un appareil léger, c'est la différence entre une conversation qui tient et une qui finit par saturer.
|
| 43 |
+
|
| 44 |
+
Et il est **Apache-2.0** : le plus permissif du catalogue Brimkern, sans restriction d'usage
|
| 45 |
+
commercial.
|
| 46 |
+
|
| 47 |
+
## Intégrer dans un site (SDK)
|
| 48 |
+
|
| 49 |
+
```html
|
| 50 |
+
<script src="https://brimkern.com/sdk.js"></script>
|
| 51 |
+
<script>
|
| 52 |
+
Brimkern.embed({
|
| 53 |
+
model: 'https://huggingface.co/romainkh14/RWKV-7-G1a-0.4B_BRIK/resolve/main/rwkv7-g1a-0.4b-q4.brik',
|
| 54 |
+
system: 'Tu es l’assistant du site. Réponds brièvement, en français.',
|
| 55 |
+
title: 'Assistant',
|
| 56 |
+
});
|
| 57 |
+
</script>
|
| 58 |
+
```
|
| 59 |
+
|
| 60 |
+
Le calcul se fait sur le GPU du visiteur : aucun coût par token, aucune limite de débit, et le modèle
|
| 61 |
+
ne se télécharge que si quelqu'un ouvre réellement le widget.
|
| 62 |
+
|
| 63 |
+
## Mesuré
|
| 64 |
+
|
| 65 |
+
Chrome, portable Apple Silicon, build de production : **33-36 tok/s** en décodage, première réponse
|
| 66 |
+
en ~2 s une fois le fichier en cache. Réponses vérifiées en anglais et en français.
|
| 67 |
+
|
| 68 |
+
## Format
|
| 69 |
+
|
| 70 |
+
Un `.brik` est un conteneur auto-descriptif : architecture, tokenizer et configuration voyagent
|
| 71 |
+
DANS le fichier, les poids sont pré-quantifiés dans la disposition exacte que lisent les kernels, et
|
| 72 |
+
chaque couche est une plage HTTP contiguë (chargement partiel, reprise, hors-ligne ensuite).
|
| 73 |
+
Spécification : [`BRIK_FORMAT.md`](https://github.com/RomainKH/Brimkern/blob/main/BRIK_FORMAT.md).
|
| 74 |
+
|
| 75 |
+
## Licence
|
| 76 |
+
|
| 77 |
+
Poids sous **Apache-2.0** (RWKV-7 G1a, BlinkDL). Le moteur Brimkern est sous licence MIT.
|