Octets, hexadécimal et texte

La lettre A est stockée sous la forme 65, soit 01000001. En UTF-8, une syllabe coréenne comme U+D55C occupe trois octets.

D'abord une énigme du quotidien. (C'est un exemple inventé.) Un élève tape le mot Korean dans une discussion, six lettres. Un ami tape le même mot en écriture coréenne, ce qui fait trois syllabes. Quel message est le plus gros ? Sans doute pas celui que tu crois. Enregistrées en UTF-8, les six lettres anglaises font 6 octets. Les trois syllabes coréennes font 9 octets, trois chacune. La RFC 3629, la norme qui définit l'UTF-8, prend justement ce mot comme exemple et détaille ses octets : ED 95 9C EA B5 AD EC 96 B4. Deux choses expliquent l'écart. Il faut une façon courte d'écrire les octets, et il faut la convention qui transforme les lettres en nombres.

Deux chiffres hexadécimaux pour chaque octet

Ces paires de lettres et de chiffres, c'est de l'hexadécimal, ou hexa. De longues rangées de 0 et de 1 sont difficiles à lire, alors les programmeurs utilisent ce raccourci. L'hexadécimal a seize chiffres : de 0 à 9, puis de A à F pour dix à quinze. Un chiffre hexadécimal couvre exactement quatre bits, donc un octet s'écrit toujours avec deux chiffres hexadécimaux. Coupe 01000001 en 0100 et 0001. Cela fait 4 et 1, donc l'octet vaut 0x41, où 0x indique seulement « ceci est de l'hexadécimal ». En décimal, cela fait 4 × 16 + 1 = 65.

Tu as sûrement déjà croisé l'hexadécimal sans t'en rendre compte. Les couleurs des pages web s'écrivent souvent #RRGGBB, un octet pour chacune des lumières rouge, verte et bleue (MDN). #FF0000 est un rouge pur : 255 dans le premier octet, 0 dans les deux autres. #FFFFFF est du blanc. Le plus grand octet, 11111111, s'écrit 0xFF, et 0xFF = 15 × 16 + 15 = 255.

A vaut 65 parce que tout le monde s'est mis d'accord

Un ordinateur ne sait pas ce qu'est une lettre. Il stocke un nombre, et tout le monde convient à l'avance de quel nombre représente quelle lettre. La convention utilisée sur les premiers réseaux était l'ASCII, et la RFC 20 l'a fixée pour l'ARPANET en 1969. L'ASCII utilise 7 bits, il a donc 128 codes. Le A majuscule vaut 65, B vaut 66, et ainsi de suite jusqu'à Z, qui vaut 90. Le a minuscule vaut 97. C'est exactement 32 de plus que A, une différence d'un seul bit. Les chiffres sont aussi des codes. Le caractère 0 vaut 48, donc le caractère « 7 » est stocké sous la forme 55, et non comme le nombre 7.

Pourquoi une syllabe coréenne demande trois octets

128 codes suffisent largement pour l'anglais et sont très loin de suffire pour le coréen, l'arabe, le chinois ou les emoji. Unicode donne à chaque caractère des écritures du monde son propre numéro, appelé point de code, jusqu'à U+10FFFF. L'UTF-8 (RFC 3629) est la façon la plus courante de transformer ces numéros en octets, avec un à quatre octets par caractère. Les 128 caractères ASCII gardent leur ancien code sur un octet, si bien qu'un texte anglais simple est identique en ASCII et en UTF-8. Le tableau de la RFC place tous les points de code de U+0800 à U+FFFF dans la ligne à trois octets, et les syllabes coréennes sont dans cette plage. Un é accentué prend deux octets, une syllabe coréenne comme U+D55C en prend trois, et un emoji comme 😀 en prend quatre. Le premier octet annonce même la longueur. ED s'écrit 11101101, et ses trois 1 de tête indiquent que ce caractère fait trois octets.

Un texte illisible, ce sont les bons octets lus avec la mauvaise convention

Un fichier texte brut, ce sont ces octets à la suite et rien d'autre. Le mot Hello enregistré en UTF-8 fait cinq octets : 48 65 6C 6C 6F en hexadécimal, soit 72, 101, 108, 108, 111 en décimal. Les deux l sont le même octet deux fois. Ouvre maintenant ce fichier, ou un fichier en coréen, avec la mauvaise convention, par exemple un ancien encodage coréen ou japonais au lieu de l'UTF-8. Le programme lit exactement les mêmes octets comme d'autres caractères. Rien n'est cassé dans le fichier, et le rouvrir en UTF-8 fait revenir le texte.

Où sont passés les 34 Go manquants

Comme 2 puissance 10 vaut 1024, proche de 1000, on a longtemps utilisé « kilooctet » pour les deux. En décembre 1998, la CEI a approuvé des noms distincts, que le NIST recense : 1 ko vaut 1000 octets mais 1 Kio, un kibioctet, vaut 1024 octets ; 1 Mo vaut 1 000 000 d'octets mais 1 Mio vaut 1 048 576 octets. Les fabricants de disques comptent en puissances de dix. Un disque vendu comme 500 Go contient 500 000 000 000 octets. Un système d'exploitation qui compte en puissances de deux divise par 1 073 741 824 et affiche environ 465.66 Gio. Les quelque 34 qui semblent disparus n'ont jamais existé. Les deux nombres utilisent simplement des unités différentes. L'écart grandit avec l'unité : un Kio est 2.4 % plus grand qu'un ko, un Gio environ 7.4 % plus grand qu'un Go.