nanochat_dataset/README.md

bagaco3_nanochatpt

Dataset convertido a partir de duarteocarmo/bagaco3 para utilização no nanochat.

Estatísticas

• Documentos: 34,234,368
• Caracteres: 123,453,219,263
• Caracteres/documento: 3,606.12
• Tokens estimados: 29,393,623,634
• Caracteres/token usados na estimativa: 4.2
• Documentos vazios: 0
• Mínimo de caracteres/documento: 47
• Máximo de caracteres/documento: 64,123,869

Formato

• Formato: Parquet
• Coluna: text
• Rows por shard: 86,016
• Rows por row group: 1,024
• Compressão: Zstandard

Origem

duarteocarmo/bagaco3

Conversão

Conversão incremental e retomável. O processamento pode ser interrompido e retomado sem voltar a percorrer os milhões de documentos já processados.