Unicode
Unicode是一種字符編碼標(biāo)準(zhǔn)，它為世界上幾乎所有的文字和符號(hào)分配了唯一的數(shù)字編碼。這使得不同的計(jì)算機(jī)系統(tǒng)和軟件能夠正確地顯示和處理各種語言的文字。Unicode采用16位或32位編碼，可以表示超過130萬個(gè)字符。
「為什么只有Unicode是不夠的」
- 「編碼長度不一致」：在Unicode中，字符的編碼長度可以是1個(gè)字節(jié)、2個(gè)字節(jié)、3個(gè)字節(jié)或4個(gè)字節(jié)，這使得在存儲(chǔ)和傳輸時(shí)需要考慮編碼長度的不一致性。
- 「存儲(chǔ)和傳輸效率」：由于Unicode字符集非常龐大，使用Unicode編碼可能會(huì)導(dǎo)致存儲(chǔ)和傳輸效率低下，特別是對(duì)于只包含少量字符的文本而言。
- 「兼容性」：許多現(xiàn)有的系統(tǒng)和軟件可能仍然使用其他編碼方式，如ASCII、ISO-8859等，因此需要與這些編碼方式進(jìn)行兼容。
舉個(gè)例子，假如我們自己為字符編碼，編碼規(guī)則如下：
a -- 1
b -- 2
c -- 3
...
z -- 26
如果用上面的編碼表示add，結(jié)果就是144。而當(dāng)我們要表示hello時(shí)沒結(jié)果就是85121215。此時(shí)85121215還可以表示為heababo、heababae、heablo等，此時(shí)這個(gè)編碼結(jié)果就不正確了。
圖片
此時(shí)的12和15就可以表示為不同的組合，這就會(huì)導(dǎo)致結(jié)果差異。這里僅僅只是表示了26個(gè)字母，再加入其他字符的情況下Unicode遠(yuǎn)遠(yuǎn)是不夠的。
我們看看UTF-8如何解決上面的編碼問題，此時(shí)有兩種思路：
- 第一種是固定位數(shù)解析：如固定兩位解析，不足的補(bǔ)0。這時(shí) hello的編碼結(jié)果就為0805121215。
- 第二種是增加標(biāo)志位：如最簡單的加空格，這時(shí)hello的編碼就是8 5 12 12 15。
在Unicode中，解決方案叫UTF(Unicode transformation format)，有三種編碼方式分別是UTF-8、UTF-16、UTF-32。UTF-32是第一種思路，固定32位解析，不足補(bǔ)0；UTF-8、UTF-16則是第二種思路。
UTF-8
UTF-8（8-bit Unicode Transformation Format）是一種針對(duì)Unicode的可變長度字符編碼，它可以用來表示世界上幾乎所有的字符。在UTF-8編碼中，每個(gè)字符的編碼長度可以是1個(gè)字節(jié)、2個(gè)字節(jié)、3個(gè)字節(jié)或4個(gè)字節(jié)，這使得UTF-8編碼非常靈活，可以節(jié)省存儲(chǔ)空間。UTF-8編碼通過靈活的字節(jié)長度來表示Unicode字符，使得它成為一種廣泛應(yīng)用的字符編碼方式。
UTF-8編碼的特點(diǎn)：
- 對(duì)于英文字符，使用1個(gè)字節(jié)表示，與ASCII兼容；
- 對(duì)于常見的其他語言（如西歐語言、中文、日文等）的字符，使用2個(gè)或3個(gè)字節(jié)表示；
- 對(duì)于較少使用的字符，使用4個(gè)字節(jié)表示。
UTF-8使用1至4個(gè)字節(jié)來表示一個(gè)字符。其編碼規(guī)則如下：
圖片
- 對(duì)于單字節(jié)字符（即ASCII字符），UTF-8編碼和ASCII編碼是相同的。
- 對(duì)于多字節(jié)字符，UTF-8使用不同的字節(jié)序列來表示不同的Unicode碼位。具體規(guī)則如下：
- 對(duì)于碼位在U+0000至U+007F范圍內(nèi)的字符，使用一個(gè)字節(jié)表示，最高位為0。
- 對(duì)于碼位在U+0080至U+07FF范圍內(nèi)的字符，使用兩個(gè)字節(jié)表示，最高三位為110。
- 對(duì)于碼位在U+0800至U+FFFF范圍內(nèi)的字符，使用三個(gè)字節(jié)表示，最高四位為1110。
- 對(duì)于碼位在U+10000至U+10FFFF范圍內(nèi)的字符，使用四個(gè)字節(jié)表示，最高五位為11110。
這種編碼方式保證了對(duì)于不同范圍的Unicode字符，UTF-8編碼的字節(jié)數(shù)是不同的，從而實(shí)現(xiàn)了對(duì)Unicode字符集的高效編碼和兼容性。
我們用漢這個(gè)字為例：
**漢**的 Unicode 編碼為:U+6C49
**漢**對(duì)應(yīng)的二進(jìn)制為:01101100 01001001
漢的Unicode為U+6C49，所以對(duì)應(yīng)規(guī)則多字節(jié)中的三個(gè)字節(jié)，此時(shí)編碼規(guī)則為1110xxxx 10xxxxxx 10xxxxxx。
圖片
將對(duì)用的二進(jìn)制帶入編碼規(guī)則中得到編碼為:11100110 10110001 10001001。
總結(jié)
Unicode是一種字符集，它為世界上幾乎所有的字符分配了一個(gè)唯一的標(biāo)識(shí)符，以便計(jì)算機(jī)可以理解和處理各種語言的文本。Unicode的目標(biāo)是為全球范圍內(nèi)的每個(gè)字符提供一個(gè)唯一的標(biāo)識(shí)符。
UTF-8是一種Unicode的實(shí)現(xiàn)方式，它是一種可變長度的字符編碼方式，可以用來表示Unicode標(biāo)準(zhǔn)中的字符。UTF-8編碼使用1到4個(gè)字節(jié)來表示一個(gè)字符，根據(jù)字符的不同范圍來確定使用的字節(jié)數(shù)，這樣可以節(jié)省存儲(chǔ)空間并提高傳輸效率。
Unicode的提出解決了傳統(tǒng)字符編碼方案的局限性，使得計(jì)算機(jī)可以更好地處理全球范圍內(nèi)的多語言文本。而UTF-8作為Unicode的一種實(shí)現(xiàn)方式，為文本的存儲(chǔ)和傳輸提供了高效的解決方案。
