Xử Lý Unicode - UTF-8

Tiếng Anh là một ngôn ngữ thông dụng và được chúng ta tận dụng qua bảng mã ASCII. Vậy với các ngôn ngữ khác có các ký tự đặc biệt thì sao, UTF-16, UTF-8 (UTF16, UTF8) là bộ mã hóa ký tự dành cho Unicode là một chuẩn chung cho ngôn ngữ quốc tế, nhưng ưu điểm hơn UTF-16 là khả năng tương thích ngược với ASCII.

UTF-8

Mã hóa

Giả sử U là giá trị của ký tự cần được mã hoá (giá trị này được quy định theo chuẩn ISO 10646), giá trị này không vượt quá 0x10FFFF. Các bước để mã hoá ký tự trên như sau:

• Nếu U < 0x007F, mã hoá U bằng 1 byte với dạng 0xxxxxxx.
• Nếu U trong khoảng 0x0080 và 0x07FF, mã hóa U bằng 2 bytes: byte đầu tiên dạng 110xxxxx, byte thứ 2 dạng 10xxxxxx.
• Nếu U trong khoảng 0x0800 và 0xFFFF, mã hóa U bằng 3 bytes: byte đầu tiên dạng 1110xxxx, byte thứ 2 và 3 dạng 10xxxxxx.
• Nếu U trong khoảng 0x10000 và 0x10FFFF, mã hóa U bằng 4 bytes: byte đầu tiên dạng 11110xxx, 3 bytes cuối dạng 10xxxxxx.

Giải mã

Về giải mã, ta làm ngược lại với phương pháp mã hóa.

• Nếu byte đang xét có dạng 0xxx xxxx thì U đang được mã hóa 1 byte 0xxx xxxx.
• Nếu byte đang xét có dạng 110x xxxx thì U đang được mã hóa 2 bytes 110x xxxx 10xx xxxx.
• Nếu byte đang xét có dạng 1110 xxxx thì U đang được mã hóa 3 bytes 1110 xxxx 10xx xxxx 10xx xxxx.
• Nếu byte đang xét có dạng 1111 0xxx thì U đang được mã hóa 4 bytes 1111 0xxx 10xx xxxx 10xx xxxx 10xx xxxx.

* Với xxx... là dữ liệu chứa giá trị của U.

Ví dụ về mã hóa và giải mã

• S - mã hóa 1 byte
• © - mã hóa 2 bytes
• 中 - mã hóa 3 bytes
• 𐍉 - mã hóa 4 bytes