Byte, heksadesimal, dan teks

Huruf A disimpan sebagai 65, atau 01000001. Dalam UTF-8, satu suku kata Korea seperti U+D55C memakan tiga byte.

Teka-teki sehari-hari dulu. (Ini contoh rekaan.) Seorang siswa mengetik kata Korean dalam obrolan, enam huruf. Temannya mengetik kata yang sama dalam aksara Korea, yang terdiri atas tiga suku kata. Pesan mana yang lebih besar? Mungkin bukan yang kamu tebak. Disimpan sebagai UTF-8, keenam huruf Inggris itu 6 byte. Ketiga suku kata Korea itu 9 byte, masing-masing tiga. RFC 3629, standar yang mendefinisikan UTF-8, memakai kata ini sebagai salah satu contohnya dan merinci byte-nya: ED 95 9C EA B5 AD EC 96 B4. Ada dua hal yang menjelaskan selisih itu. Kamu perlu cara singkat untuk menulis byte, dan kamu perlu kesepakatan yang mengubah huruf menjadi bilangan.

Dua digit heksa untuk setiap byte

Pasangan huruf dan angka itu adalah heksadesimal, atau heksa. Deretan panjang 0 dan 1 sulit dibaca, jadi programmer memakai singkatan ini. Heksa punya enam belas digit: 0 sampai 9, lalu A sampai F untuk sepuluh sampai lima belas. Satu digit heksa mewakili tepat empat bit, jadi satu byte selalu dua digit heksa. Pisahkan 01000001 menjadi 0100 dan 0001. Keduanya 4 dan 1, jadi byte itu 0x41, dengan 0x hanya berarti "ini heksa". Dalam desimal nilainya 4 × 16 + 1 = 65.

Kamu mungkin sudah bertemu heksa tanpa sadar. Warna di halaman web sering ditulis sebagai #RRGGBB, satu byte masing-masing untuk cahaya merah, hijau, dan biru (MDN). #FF0000 adalah merah penuh: 255 di byte pertama, 0 di dua byte lainnya. #FFFFFF adalah putih. Byte terbesar, 11111111, adalah 0xFF, dan 0xFF = 15 × 16 + 15 = 255.

A bernilai 65 karena semua orang sepakat begitu

Komputer tidak tahu apa itu huruf. Komputer menyimpan bilangan, dan semua orang sepakat sejak awal bilangan mana yang mewakili huruf mana. Kesepakatan yang dipakai di jaringan awal adalah ASCII, dan RFC 20 menetapkannya untuk ARPANET pada tahun 1969. ASCII memakai 7 bit, jadi punya 128 kode. Huruf kapital A adalah 65, B adalah 66, dan seterusnya sampai Z di 90. Huruf kecil a adalah 97. Itu tepat 32 lebih besar daripada A, selisih satu bit saja. Angka juga punya kode. Karakter 0 adalah 48, jadi karakter "7" disimpan sebagai 55, bukan sebagai bilangan 7.

Mengapa satu suku kata Korea butuh tiga byte

128 kode sudah banyak untuk bahasa Inggris, tetapi jauh dari cukup untuk bahasa Korea, Arab, Tionghoa, atau emoji. Unicode memberi setiap karakter dalam sistem tulisan dunia nomornya sendiri, yang disebut titik kode (code point), sampai U+10FFFF. UTF-8 (RFC 3629) adalah cara paling umum untuk mengubah nomor itu menjadi byte, dengan satu sampai empat byte per karakter. Ke-128 karakter ASCII tetap memakai kode satu byte yang lama, jadi teks bahasa Inggris biasa sama persis dalam ASCII dan UTF-8. Tabel di RFC itu menempatkan setiap titik kode dari U+0800 sampai U+FFFF di baris tiga byte, dan suku kata Korea berada di rentang itu. Huruf beraksen é memakan dua byte, suku kata Korea seperti U+D55C memakan tiga, dan emoji seperti 😀 memakan empat. Byte pertama bahkan memberi tahu panjangnya. ED adalah 11101101, dan tiga angka 1 di depannya menyatakan bahwa karakter ini panjangnya tiga byte.

Teks kacau adalah byte yang benar dibaca dengan kesepakatan yang salah

File teks biasa hanyalah byte-byte ini berderet, tidak lebih. Kata Hello yang disimpan sebagai UTF-8 berukuran lima byte: 48 65 6C 6C 6F dalam heksa, atau 72, 101, 108, 108, 111 dalam desimal. Kedua huruf l adalah byte yang sama dua kali. Sekarang buka file itu, atau file berbahasa Korea, dengan kesepakatan yang salah, misalnya pengodean lama Korea atau Jepang alih-alih UTF-8. Program membaca byte yang sama persis sebagai karakter yang berbeda. Tidak ada yang rusak di dalam file, dan membukanya lagi sebagai UTF-8 mengembalikan teksnya.

Ke mana perginya 34 GB yang hilang

Karena 2 pangkat 10 adalah 1024, mendekati 1000, orang lama memakai "kilobyte" untuk keduanya. Pada Desember 1998 IEC menyetujui nama terpisah, dan NIST mencantumkannya: 1 kB adalah 1000 byte, tetapi 1 KiB, kibibyte, adalah 1024 byte; 1 MB adalah 1 000 000 byte, tetapi 1 MiB adalah 1 048 576 byte. Produsen drive menghitung dengan pangkat sepuluh. Drive yang dijual sebagai 500 GB menampung 500 000 000 000 byte. Sistem operasi yang menghitung dengan pangkat dua membaginya dengan 1 073 741 824 dan menampilkan sekitar 465.66 GiB. Sekitar 34 yang tampak hilang itu sejak awal memang tidak ada. Kedua bilangan hanya memakai satuan yang berbeda. Selisihnya membesar seiring satuannya: KiB 2.4% lebih besar daripada kB, GiB sekitar 7.4% lebih besar daripada GB.