Byte, esadecimale e testo

La lettera A è memorizzata come 65, cioè 01000001. In UTF-8 una sillaba coreana come U+D55C occupa tre byte.

Prima un indovinello quotidiano. (È un esempio inventato.) Uno studente scrive in chat la parola Korean, sei lettere. Un amico scrive la stessa parola in alfabeto coreano, che richiede tre sillabe. Quale messaggio è più grande? Probabilmente non quello che diresti. Salvate in UTF-8, le sei lettere inglesi sono 6 byte. Le tre sillabe coreane sono 9 byte, tre ciascuna. RFC 3629, lo standard che definisce UTF-8, usa proprio questa parola come uno dei suoi esempi e ne elenca i byte: ED 95 9C EA B5 AD EC 96 B4. Due cose spiegano la differenza. Serve un modo breve per scrivere i byte, e serve l'accordo che trasforma le lettere in numeri.

Due cifre esadecimali per ogni byte

Quelle coppie di lettere e cifre sono in esadecimale (in inglese hex). Le lunghe file di 0 e 1 sono difficili da leggere, quindi i programmatori usano questa abbreviazione. L'esadecimale ha sedici cifre: da 0 a 9, poi da A a F per i valori da dieci a quindici. Una cifra esadecimale copre esattamente quattro bit, quindi un byte è sempre due cifre esadecimali. Dividi 01000001 in 0100 e 0001. Sono 4 e 1, quindi il byte è 0x41, dove 0x dice solo «questo è esadecimale». In decimale vale 4 × 16 + 1 = 65.

Probabilmente hai già incontrato l'esadecimale senza accorgertene. I colori delle pagine web si scrivono spesso come #RRGGBB, un byte ciascuno per la luce rossa, verde e blu (MDN). #FF0000 è il rosso pieno: 255 nel primo byte, 0 negli altri due. #FFFFFF è il bianco. Il byte più grande, 11111111, è 0xFF, e 0xFF = 15 × 16 + 15 = 255.

A vale 65 perché tutti si sono messi d'accordo

Un computer non ha idea di che cosa sia una lettera. Memorizza un numero, e tutti si accordano in anticipo su quale numero indica quale lettera. L'accordo usato nelle prime reti era l'ASCII, e l'RFC 20 lo fissò per ARPANET nel 1969. L'ASCII usa 7 bit, quindi ha 128 codici. La A maiuscola è 65, la B è 66, e così via fino alla Z a 90. La a minuscola è 97. Sono esattamente 32 in più di A, una differenza di un solo bit. Anche le cifre sono codici. Il carattere 0 è 48, quindi il carattere «7» è memorizzato come 55, non come il numero 7.

Perché una sillaba coreana richiede tre byte

128 codici bastano e avanzano per l'inglese, ma sono lontanissimi dal bastare per coreano, arabo, cinese o emoji. Unicode dà a ogni carattere dei sistemi di scrittura del mondo un numero proprio, chiamato punto di codice, fino a U+10FFFF. UTF-8 (RFC 3629) è il modo più comune di trasformare quei numeri in byte, usando da uno a quattro byte per carattere. I 128 caratteri ASCII mantengono i loro vecchi codici di un byte, quindi un testo inglese semplice è identico in ASCII e in UTF-8. La tabella dell'RFC mette ogni punto di codice da U+0800 a U+FFFF nella riga dei tre byte, e le sillabe coreane stanno in quell'intervallo. Una é accentata occupa due byte, una sillaba coreana come U+D55C ne occupa tre e un'emoji come 😀 ne occupa quattro. Il primo byte annuncia perfino la lunghezza. ED è 11101101, e i suoi tre 1 iniziali dicono che questo carattere è lungo tre byte.

Il testo illeggibile è fatto dei byte giusti letti con l'accordo sbagliato

Un file di testo semplice è solo questi byte in fila, nient'altro. La parola Hello salvata in UTF-8 è cinque byte: 48 65 6C 6C 6F in esadecimale, cioè 72, 101, 108, 108, 111 in decimale. Le due l sono lo stesso byte ripetuto. Ora apri quel file, o uno in coreano, con l'accordo sbagliato, per esempio una vecchia codifica coreana o giapponese invece di UTF-8. Il programma legge gli stessi identici byte come caratteri diversi. Nel file non c'è nulla di rotto, e riaprirlo come UTF-8 riporta il testo com'era.

Dove sono finiti i 34 GB mancanti

Dato che 2 alla 10 fa 1024, vicino a 1000, per molto tempo si è usato «kilobyte» per entrambi. Nel dicembre 1998 la IEC ha approvato nomi distinti, e il NIST li elenca: 1 kB è 1000 byte ma 1 KiB, un kibibyte, è 1024 byte; 1 MB è 1 000 000 byte ma 1 MiB è 1 048 576 byte. I produttori di dischi contano in potenze di dieci. Un disco venduto come 500 GB contiene 500 000 000 000 byte. Un sistema operativo che conta in potenze di due divide per 1 073 741 824 e mostra circa 465.66 GiB. I circa 34 che sembrano spariti non ci sono mai stati. I due numeri usano semplicemente unità diverse. La differenza cresce con l'unità: un KiB è più grande di un kB del 2.4%, un GiB è più grande di un GB di circa il 7.4%.