Hugging Face's logo

Buckets:
inaciose
/
bagaco3-conversion

Files
xet
inaciose/bagaco3-conversion / nanochat_dataset
20.1 GB
162 files
Updated about 2 months ago
Name
Size
.train-00399.parquet.tmp362 MB
xet
README.md791 Bytes
xet
conversion_state.json69.7 kB
xet
statistics.json130 Bytes
xet
train-00000.parquet106 MB
xet
train-00001.parquet102 MB
xet
train-00002.parquet104 MB
xet
train-00003.parquet102 MB
xet
train-00004.parquet101 MB
xet
train-00005.parquet100 MB
xet
train-00006.parquet100 MB
xet
train-00007.parquet100 MB
xet
train-00008.parquet99.7 MB
xet
train-00009.parquet101 MB
xet
train-00010.parquet102 MB
xet
train-00011.parquet101 MB
xet
train-00012.parquet101 MB
xet
train-00013.parquet101 MB
xet
train-00014.parquet100 MB
xet
train-00015.parquet99.8 MB
xet
train-00016.parquet97.2 MB
xet
train-00017.parquet98.1 MB
xet
train-00018.parquet100 MB
xet
train-00019.parquet101 MB
xet
train-00020.parquet99.7 MB
xet
train-00021.parquet101 MB
xet
train-00022.parquet99.3 MB
xet
train-00023.parquet98.8 MB
xet
train-00024.parquet99 MB
xet
train-00025.parquet99.7 MB
xet
train-00026.parquet99.6 MB
xet
train-00027.parquet103 MB
xet
train-00028.parquet102 MB
xet
train-00029.parquet100 MB
xet
train-00030.parquet100 MB
xet
train-00031.parquet104 MB
xet
train-00032.parquet102 MB
xet
train-00033.parquet99.7 MB
xet
train-00034.parquet101 MB
xet
train-00035.parquet103 MB
xet
train-00036.parquet101 MB
xet
train-00037.parquet104 MB
xet
train-00038.parquet100 MB
xet
train-00039.parquet107 MB
xet
train-00040.parquet106 MB
xet
train-00041.parquet107 MB
xet
train-00042.parquet109 MB
xet
train-00043.parquet107 MB
xet
train-00044.parquet106 MB
xet
train-00045.parquet108 MB
xet
train-00046.parquet106 MB
xet
train-00047.parquet108 MB
xet
train-00048.parquet110 MB
xet
train-00049.parquet108 MB
xet
train-00050.parquet107 MB
xet
train-00051.parquet112 MB
xet
train-00052.parquet114 MB
xet
train-00053.parquet115 MB
xet
train-00054.parquet115 MB
xet
train-00055.parquet116 MB
xet
train-00056.parquet116 MB
xet
train-00057.parquet105 MB
xet
train-00058.parquet104 MB
xet
train-00059.parquet103 MB
xet
train-00060.parquet106 MB
xet
train-00061.parquet105 MB
xet
train-00062.parquet106 MB
xet
train-00063.parquet107 MB
xet
train-00064.parquet107 MB
xet
train-00065.parquet106 MB
xet
train-00066.parquet105 MB
xet
train-00067.parquet105 MB
xet
train-00068.parquet105 MB
xet
train-00069.parquet104 MB
xet
train-00070.parquet97.6 MB
xet
train-00071.parquet98.9 MB
xet
train-00072.parquet99.5 MB
xet
train-00073.parquet101 MB
xet
train-00074.parquet99.6 MB
xet
train-00075.parquet98.6 MB
xet
train-00076.parquet98.6 MB
xet
train-00077.parquet100 MB
xet
train-00078.parquet101 MB
xet
train-00079.parquet98.8 MB
xet
train-00080.parquet102 MB
xet
train-00081.parquet101 MB
xet
train-00082.parquet99.5 MB
xet
train-00083.parquet101 MB
xet
train-00084.parquet103 MB
xet
train-00085.parquet101 MB
xet
train-00086.parquet101 MB
xet
train-00087.parquet101 MB
xet
train-00088.parquet104 MB
xet
train-00089.parquet101 MB
xet
train-00090.parquet103 MB
xet
train-00091.parquet102 MB
xet
train-00092.parquet104 MB
xet
train-00093.parquet103 MB
xet
train-00094.parquet105 MB
xet
train-00095.parquet106 MB
xet
README.md

bagaco3_nanochatpt

Dataset convertido a partir de duarteocarmo/bagaco3 para utilização no nanochat.

Estatísticas

  • Documentos: 34,234,368
  • Caracteres: 123,453,219,263
  • Caracteres/documento: 3,606.12
  • Tokens estimados: 29,393,623,634
  • Caracteres/token usados na estimativa: 4.2
  • Documentos vazios: 0
  • Mínimo de caracteres/documento: 47
  • Máximo de caracteres/documento: 64,123,869

Formato

  • Formato: Parquet
  • Coluna: text
  • Rows por shard: 86,016
  • Rows por row group: 1,024
  • Compressão: Zstandard

Origem

duarteocarmo/bagaco3

Conversão

Conversão incremental e retomável. O processamento pode ser interrompido e retomado sem voltar a percorrer os milhões de documentos já processados.

Total size
20.1 GB
Files
162
Last updated
Aug 9
Pre-warmed CDN
US EU US EU

Contributors