Glossary

Tokenization

Techniek

Systeem dat tekst opbreekt in kleinere eenheden (tokens) die een AI-model kan verwerken. Dit kunnen woorden, delen van woorden of leestekens zijn.