Tempel teks, lihat cara model memecahnya jadi token, dan bandingkan mana tokenizer yang paling hemat.
Ketik atau tempel teks, atau pakai contoh di bawah. Semua perhitungan terjadi di perangkat Anda.
Setiap blok berwarna adalah satu token menurut tokenizer referensi papan peringkat. Warna hanya menandai batas antar token.
Teks yang sama, 11 tokenizer. Urut dari yang paling hemat token. Pilih baris untuk melihat cara tokenizer itu memecah teks Anda.
| # | Tokenizer | Token | Karakter/token | Selisih vs referensi | Beban token relatif | Biaya |
|---|---|---|---|---|---|---|
| Memuat tokenizer pembanding… | ||||||
Peringkat dan kesimpulan dihitung dari seluruh 11 tokenizer, apa pun saringan yang aktif. Batang efisiensi membandingkan karakter-per-token terhadap yang terbaik.