Token

Malý úsek textu, se kterým AI pracuje. Může to být celé slovo, jeho část nebo i mezera.

Token představuje základní jednotku textu, kterou umělá inteligence používá při zpracování a porozumění jazyka. Během procesu zvaného tokenizace se vstupní text rozdělí na menší části tzv. tokeny. Ty jsou následně převedeny do číselné podoby, aby s nimi mohl systém dál pracovat.

V závislosti na použité metodě může být tokenem celé slovo, část slova, jednotlivý znak nebo mezera. Díky rozdělení dokáže AI lépe porozumět významu slov a jejich tvarům. Díky tomu si poradí i s novými nebo neznámými výrazy. Jednoduše řečeno se jedná o jeden dílek stavebnice, ze kterého se skládají věty, odstavce a celé texty. Bez tokenů by AI nečetla, nerozuměla ani negenerovala obsah.