Bytes, hexadecimal y texto

La letra A se guarda como 65, o 01000001. En UTF-8, una sílaba coreana como U+D55C ocupa tres bytes.

Primero, un problema cotidiano. (Es un ejemplo inventado.) Un estudiante escribe la palabra Korean en un chat, seis letras. Una amiga escribe la misma palabra en escritura coreana, que ocupa tres sílabas. ¿Qué mensaje es más grande? Probablemente no el que imaginas. Guardadas en UTF-8, las seis letras inglesas son 6 bytes. Las tres sílabas coreanas son 9 bytes, tres cada una. RFC 3629, el estándar que define UTF-8, usa justo esta palabra como uno de sus ejemplos y detalla sus bytes: ED 95 9C EA B5 AD EC 96 B4. Dos cosas explican la diferencia. Hace falta una forma corta de escribir bytes, y hace falta el acuerdo que convierte letras en números.

Dos dígitos hexadecimales por cada byte

Esos pares de letras y dígitos están en hexadecimal (hex). Las filas largas de ceros y unos cuestan de leer, así que los programadores usan esta forma abreviada. El hexadecimal tiene dieciséis dígitos: del 0 al 9, y luego de la A a la F para diez a quince. Un dígito hexadecimal cubre exactamente cuatro bits, así que un byte siempre son dos dígitos hexadecimales. Divide 01000001 en 0100 y 0001. Son 4 y 1, así que el byte es 0x41, donde 0x solo indica «esto es hexadecimal». En decimal es 4 × 16 + 1 = 65.

Seguramente ya te has topado con el hexadecimal sin darte cuenta. Los colores de las páginas web suelen escribirse como #RRGGBB, un byte para cada luz: roja, verde y azul (MDN). #FF0000 es rojo puro: 255 en el primer byte y 0 en los otros dos. #FFFFFF es blanco. El byte más grande, 11111111, es 0xFF, y 0xFF = 15 × 16 + 15 = 255.

La A es 65 porque todos acordaron que lo fuera

Una computadora no tiene idea de lo que es una letra. Guarda un número, y todos acuerdan de antemano qué número representa cada letra. El acuerdo usado en las primeras redes fue ASCII, y RFC 20 lo fijó para ARPANET en 1969. ASCII usa 7 bits, así que tiene 128 códigos. La A mayúscula es 65, la B es 66, y así hasta la Z, que es 90. La a minúscula es 97. Son exactamente 32 más que la A, una diferencia de un solo bit. Los dígitos también son códigos. El carácter 0 es 48, así que el carácter «7» se guarda como 55, no como el número 7.

Por qué una sílaba coreana necesita tres bytes

128 códigos alcanzan de sobra para el inglés y ni de lejos para el coreano, el árabe, el chino o los emojis. Unicode da a cada carácter de los sistemas de escritura del mundo su propio número, llamado punto de código, hasta U+10FFFF. UTF-8 (RFC 3629) es la forma más común de convertir esos números en bytes, con uno a cuatro bytes por carácter. Los 128 caracteres ASCII conservan sus antiguos códigos de un byte, así que un texto simple en inglés es idéntico en ASCII y en UTF-8. La tabla del RFC pone cada punto de código de U+0800 a U+FFFF en la fila de tres bytes, y las sílabas coreanas están en ese rango. Una é con tilde ocupa dos bytes, una sílaba coreana como U+D55C ocupa tres y un emoji como 😀 ocupa cuatro. El primer byte incluso anuncia la longitud. ED es 11101101, y sus tres 1 iniciales dicen que este carácter mide tres bytes.

El texto ilegible son los bytes correctos leídos con el acuerdo equivocado

Un archivo de texto simple son estos bytes en fila y nada más. La palabra Hello guardada en UTF-8 son cinco bytes: 48 65 6C 6C 6F en hexadecimal, o 72, 101, 108, 108, 111 en decimal. Las dos l son el mismo byte dos veces. Ahora abre ese archivo, o uno en coreano, con el acuerdo equivocado, por ejemplo una antigua codificación coreana o japonesa en lugar de UTF-8. El programa lee exactamente los mismos bytes como caracteres distintos. Nada en el archivo está roto, y al abrirlo otra vez como UTF-8 el texto vuelve.

Adónde fueron los 34 GB que faltan

Como 2 elevado a 10 es 1024, cerca de 1000, durante mucho tiempo se usó «kilobyte» para las dos cosas. En diciembre de 1998 la IEC aprobó nombres separados, y el NIST los recoge: 1 kB son 1000 bytes, pero 1 KiB, un kibibyte, son 1024 bytes; 1 MB son 1 000 000 de bytes, pero 1 MiB son 1 048 576 bytes. Los fabricantes de discos cuentan en potencias de diez. Un disco vendido como de 500 GB guarda 500 000 000 000 bytes. Un sistema operativo que cuenta en potencias de dos divide entre 1 073 741 824 y muestra unos 465.66 GiB. Los aproximadamente 34 que parecen perdidos nunca estuvieron ahí. Los dos números simplemente usan unidades distintas. La diferencia crece con la unidad: un KiB es un 2.4 % mayor que un kB, y un GiB, alrededor de un 7.4 % mayor que un GB.