# bagaco3_nanochatpt

Dataset convertido a partir de
[`duarteocarmo/bagaco3`](https://huggingface.co/datasets/duarteocarmo/bagaco3)
para utilização no **nanochat**.

## Estatísticas

- Documentos: 34,234,368
- Caracteres: 123,453,219,263
- Caracteres/documento: 3,606.12
- Tokens estimados: 29,393,623,634
- Caracteres/token usados na estimativa: 4.2
- Documentos vazios: 0
- Mínimo de caracteres/documento: 47
- Máximo de caracteres/documento: 64,123,869

## Formato

- Formato: Parquet
- Coluna: `text`
- Rows por shard: 86,016
- Rows por row group: 1,024
- Compressão: Zstandard

## Origem

`duarteocarmo/bagaco3`

## Conversão

Conversão incremental e retomável.
O processamento pode ser interrompido e retomado sem voltar a
percorrer os milhões de documentos já processados.