Bytes, hexadecimaal en tekst

De letter A wordt opgeslagen als 65, of 01000001. In UTF-8 kost een Koreaanse lettergreep zoals U+D55C drie bytes.

Eerst een alledaags raadsel. (Een verzonnen voorbeeld.) Een leerling typt Korean in een chat, zes letters. Een vriend typt hetzelfde woord in Koreaans schrift, met drie lettergrepen. Welk bericht is groter? Waarschijnlijk niet wat je denkt. Als UTF-8 zijn de zes Engelse letters 6 bytes. De drie Koreaanse lettergrepen kosten 9 bytes, elk drie. RFC 3629, de UTF-8-standaard, gebruikt precies dit woord als voorbeeld met de bytes ED 95 9C EA B5 AD EC 96 B4. Twee dingen verklaren het verschil: een korte schrijfwijze voor bytes en de afspraak die letters in getallen omzet.

Twee hexadecimale cijfers per byte

Die paren letters en cijfers zijn hexadecimaal, of hex. Lange rijen nullen en enen zijn lastig te lezen; programmeurs gebruiken daarom deze korte vorm. Hex heeft zestien cijfers: 0 tot 9, dan A tot F voor tien tot vijftien. Eén hexcijfer dekt precies vier bits, dus een byte heeft altijd twee hexcijfers. Splits 01000001 in 0100 en 0001. Dat zijn 4 en 1, dus de byte is 0x41. 0x zegt alleen ‘dit is hex’. Decimaal is het 4 × 16 + 1 = 65.

Je kent hex waarschijnlijk ongemerkt. Webkleuren staan vaak als #RRGGBB, één byte voor rood, groen en blauw licht (MDN). #FF0000 is volledig rood: 255 in de eerste byte, 0 in de andere twee. #FFFFFF is wit. De grootste byte, 11111111, is 0xFF, en 0xFF = 15 × 16 + 15 = 255.

A is 65 omdat iedereen dat heeft afgesproken

Een computer weet niet wat een letter is. Hij bewaart een getal en iedereen spreekt vooraf af welk getal bij welke letter hoort. Vroege netwerken gebruikten ASCII, in 1969 vastgelegd voor ARPANET in RFC 20. ASCII gebruikt 7 bits en heeft dus 128 codes. Hoofdletter A is 65, B 66 en zo verder tot Z op 90. Kleine a is 97, precies 32 meer dan A: één bit verschil. Ook cijfers zijn codes. Het teken 0 is 48, dus ‘7’ wordt opgeslagen als 55, niet als het getal 7.

Waarom een Koreaanse lettergreep drie bytes kost

128 codes zijn genoeg voor Engels, maar niet voor Koreaans, Arabisch, Chinees of emoji. Unicode geeft elk teken in alle schriftsystemen een eigen nummer, een codepunt, tot U+10FFFF. UTF-8 (RFC 3629) zet die meestal om in bytes, met één tot vier bytes per teken. De 128 ASCII-tekens behouden hun oude codes van één byte, dus gewone Engelse tekst is identiek in ASCII en UTF-8. De RFC-tabel zet U+0800 tot U+FFFF in de rij voor drie bytes; Koreaanse lettergrepen vallen daarin. é kost twee bytes, een lettergreep zoals U+D55C drie en een emoji zoals 😀 vier. De eerste byte meldt zelfs de lengte. ED is 11101101 en de drie bits met waarde 1 vooraan zeggen: dit teken is drie bytes lang.

Onleesbare tekst is de juiste bytes met de verkeerde afspraak lezen

Een gewoon tekstbestand is alleen een rij van deze bytes. Hello in UTF-8 is vijf bytes: hex 48 65 6C 6C 6F, of decimaal 72, 101, 108, 108, 111. De twee l's zijn dezelfde byte tweemaal. Open dat bestand, of een Koreaans bestand, nu met een verkeerde afspraak, bijvoorbeeld een oude Koreaanse of Japanse codering in plaats van UTF-8. Het programma leest dezelfde bytes als andere tekens. Het bestand is niet kapot; opnieuw als UTF-8 openen herstelt de tekst.

Waar de ontbrekende 34 GB bleven

Omdat 2 tot de macht 10 gelijk is aan 1024, dicht bij 1000, gebruikten mensen lang ‘kilobyte’ voor beide. In december 1998 keurde IEC aparte namen goed; NIST vermeldt ze: 1 kB is 1000 bytes, maar 1 KiB, een kibibyte, is 1024 bytes. 1 MB is 1 000 000 bytes, maar 1 MiB is 1 048 576 bytes. Schijffabrikanten tellen in machten van tien. Een schijf van 500 GB bevat 500 000 000 000 bytes. Een besturingssysteem dat in machten van twee telt deelt door 1 073 741 824 en toont ongeveer 465.66 GiB. De schijnbaar ontbrekende 34 waren er nooit om te verliezen. De getallen gebruiken gewoon andere eenheden. Het verschil groeit: een KiB is 2.4% groter dan een kB, een GiB ongeveer 7.4% groter dan een GB.