Projekte
Auf GitHub ansehen
guillaume-be/rust-tokenizers
guillaume-be/rust-tokenizers has 345 GitHub stars and 33 forks. Star changes are not measured yet. Last checked 2026-11-18 06:07 UTC. Last push 2026-01-22.
Gemessener Sternzuwachs
- in 24h
- Aktualisierung verzögert
- in 7 days
- Verlauf wird gesammelt
- in 15 days
- Verlauf wird gesammelt
- in 1 month
- Verlauf wird gesammelt
Nettoänderungen in überlappenden Zeiträumen, keine Tagessummen. Fehlende Messwerte bleiben leer. Sterne zeigen Interesse, nicht Qualität.
Über uns
Rust-tokenizer offers high-performance tokenizers for modern language models, including WordPiece, Byte-Pair Encoding (BPE) and Unigram (SentencePiece) models
Maschinelles Lernen