Update encoding and decoding example

README.md

@@ -25,12 +25,19 @@ from transformers import PreTrainedTokenizerFast
 
 tokenizer = PreTrainedTokenizerFast.from_pretrained("muzaffercky/kurdish-kurmanji-tokenizer", revision="v1.0")
 
-ids = tokenizer.encode("Ez diçim malê")
-tokens = tokenizer.tokenize("Ez diçim malê")
+text = "Havîn bi gelemperî bi betlane, derya û tavê tê naskirin, lê her kes nikare biçe betlaneyê"
 
+tokens = tokenizer.tokenize(text)
 
-print(f"Tokens: {tokens}")
-print(f"IDs: {ids}")
+print(tokens)
+
+# Output: ['Hav', 'în bi ', 'gelemperî bi ', 'bet', 'l', 'ane, ', 'der', 'ya û ', 'tavê ', 'tê nas', 'kirin, lê ', 'her kes', ' nikare ', 'biçe ', 'bet', 'lan', 'ey', 'ê']
+
+ids = tokenizer.encode(text)
+
+print(ids)
+
+# Output: [19889, 6494, 19754, 2055, 82, 8227, 337, 3349, 16407, 5790, 11235, 2584, 5479, 5732, 2055, 9479, 287, 140]
 ```
 
 ### Decoding
@@ -44,15 +51,14 @@ Use the following code example:
 ```python
 from transformers import PreTrainedTokenizerFast
 
-
 tokenizer = PreTrainedTokenizerFast.from_pretrained("muzaffercky/kurdish-kurmanji-tokenizer", revision="v1.0")
 
+text = "Havîn bi gelemperî bi betlane, derya û tavê tê naskirin, lê her kes nikare biçe betlaneyê"
 
-text = "Ez diçim malê"
 ids = tokenizer.encode(text)
 
-
 individual_tokens = [tokenizer.decode([id]) for id in ids]
 decoded_text = "".join(individual_tokens)
-print(decoded_text)  # Output: Ez diçim malê
+
+print(decoded_text)  # Output: Havîn bi gelemperî bi betlane, derya û tavê tê naskirin, lê her kes nikare biçe betlaneyê
 ```