文字コードについて調べたことをまとめます。

関連記事

• 文字コードの話 (1) - ASCII
• 文字コードの話 (2) - Shift_JIS
• 文字コードの話 (3) - Unicode (本記事)
• 文字コードの話 (4) - UnicodeのEmoji
• Unicode変換ツール

目次

• Unicode
  • 異体字セレクタ
  • Zero Width Joiner
  • その他組み合わせで表す文字
• Unicodeの符号化方式
  • UTF-16
  • UTF-8
• 参考
  • 異体字

Unicode

Unicodeは各国・各文化の文字コードの互換性を解決することを目的に、世界の全ての文字を一つのコードページに統一するという考えで作られた規格。ISOには「ISO/IEC 10646」として制定されている。
1984年から策定され始めたISO 10646と、1987年からXeroxらによって検討され始めたUnicodeを、1991年に統合して制定された。

符号位置の数は0x110000 = 1114112個。0x10000個ずつを1面(plane)とした、全17面で構成される。

• U+0000-U+00FFの範囲(Basic Latin)はIEC_8859-1を拡張するように定義されている。(つまりASCIIの拡張となっている)
• その後は各国・各文化の文字が続き、U+3041でひらがなが、U+4E00で漢字が登場する。
• U+D800-U+DFFFにはサロゲートペアという後述のUTF-16の仕組みで使うための符号が配置されている。

特殊な例も含めて、Unicodeの文字の例を以下に挙げる。

異体字セレクタ

「葛飾区」の「葛」と、「葛󠄀城市」の「葛󠄀」は異なる形の文字であるが、Unicodeでは同じU+845B(葛)に収録されている。このような微妙な違いのある文字の表現のために、Unicodeでは異体字セレクタという仕組みが用意されている。
この場合は、U+845B U+E0100と2文字続けて書くことで「葛󠄀」という文字を表現することができるようになる。(U+FE0Eが異体字セレクタ)

異体字セレクタには以下のような種類がある。

異体字セレクタの使用例を以下に挙げる。

Zero Width Joiner

Zero Width Joiner(ゼロ幅接合子, ZWJ)は2つの独立した文字を接合する形で表示するために用いる文字。
符号位置はU+200D。HTMLでは‍と記述することもできる。
元々アラビアやインドなどの文字のために用意されたものだが、現在は別記事で解説するEmoji(絵文字)にも多用される。

以下に使用例を挙げる。

逆にZero Width Non-Joiner(ゼロ幅非接合子, ZENJ)という概念も存在する。符号位置はU+200Cで、HTMLでは‌と記述することもできる。
「fl」などデフォルトで合字(fの先端とlが繋がっている)となる文字の並びに対して、「f‌l」というように合字を解除する機能がある。ドイツ語では単語同士を繋げて新たな単語とする複合語が多用されるが、「auf‌lage」=「auf」+「lage」のように「f」と「l」を繋げることが適切でない場合があり、このようなケースに対してZWNJが使われる。
また中東諸言語の文章に対してもZWNJは使われる。

他にもWord Joiner(U+2060)という文字もあり、Word Joinerで結合された文字列は改行によって分⁠断⁠さ⁠れ⁠る⁠こ⁠と⁠が⁠な⁠く⁠な⁠る。(この文中にも使っている)

その他組み合わせで表す文字

• U+3099・U+309Aはひらがな・カタカナと組み合わせることで濁点・半濁点を付与することができる。
  例： か゚ = U+304B U+309A
• ヨーロッパの文字でアクセント記号を表す結合文字が存在する。
  例： â = U+0061 U+0302

その他、言語特有の表現が多数存在する。

Unicodeの符号化方式

UTF-16

UTF-16(Unicode Transformation Format 16)はUnicodeの最も基本的な符号化方式。

• 仕組みは単純で、第0面の文字に対してはUnicodeの符号位置と同じ値の2バイトのbit列がそのままエンコード結果となる。UTF-16の名称はバイト表現が2バイト=16bitであることに由来する。
• リトルエンディアン・ビッグエンディアンの違いでUTF-16LE・UTF-16BEのバリエーションがある。LEの場合、Unicodeの符号位置の第1バイトと第2バイトを入れ替えた値がエンコード結果となる。
• ASCII文字も2バイトになるため互換性がない。
• 1996年のWindows CEで採用されて以来、Windowsは内部ではUTF-16で文字を処理している。

元々は2バイトの固定長の符号化方式だったが、1996年のUnicode 2.0で追加面(第1面以降)を実装するためにサロゲートペアという仕組みが導入され、固定長ではなくなった。

サロゲートペア

第1面以降(U+10000-)の文字はサロゲートペアという仕組みを使って4バイトで符号化する。

符号化する文字の符号位置を21bitのbit列と見て、(上位5bitの値-1)をyyyy、下位16bitの値をxxxx xxxx xxxx xxxxと置く。そのときエンコード結果は、1101 10yy yyxx xxxx 1101 11xx xxxx xxxx = (0xD800 + yy yyxx xxxx) (0xDC00 + xx xxxx xxxx)となる。
U+D800-U+DBFFは上位サロゲートとして、U+DC00-U+DFFFは下位サロゲートとして予約されているので、x, yにどのような値が来ても他の文字と衝突することはない。

この仕組みによりUnicodeは最大で0b1 0000 1111 1111 1111 1111 = U+10FFFF(第0x10面)まで拡張可能となった。

実際にUTF-16で文字「𝔅」をエンコードする例を見てみよう。
𝔅 = U+1D505 = 0b0 0001 1101 0101 0000 0101
したがって、yyyy = 0000, xxxx... = 1101 0101 0000 0101となる。
よって、UTF-16BEでのエンコード結果は1101 1000 0011 0101 1101 1101 0000 0101 = D8 35 DD 05となる。UTF-16LEの場合は35 D8 05 DD。

エンコードの例

UTF-16BEのエンコード例を挙げる。

UTF-8

UTF-8は1993年に発表されたUnicodeの符号化方式。符号位置によって1バイトから4バイト(6バイト)までの可変長のバイト表現にエンコードする仕組み。
第0面の文字に対して常に2バイトのエンコードを行うUTF-16に対して、UTF-8はASCII文字を1バイトにエンコードするので多くの場合で容量の節約になる。また、ASCIIで書かれた文書はASCIIとしてもUTF-8としてもデコードできるので互換性がある。

具体的には以下のように符号化する。(5バイト・6バイトの符号化はアルゴリズム上可能だがUnicodeでは行われない)

例えば「あ」(U+3042)は表の16bitの部分に当てはまるので、
「あ」 = U+3042 = 0b0011 0000 0100 0010
であることからバイト表現は
11100011 10000001 10000010 = E3 81 82
となる。

エンコードの例

参考

• Unicodeとは？ その歴史と進化、開発者向け基礎知識 - Build Insider
• (プログラマのための) いまさら聞けない標準規格の話 第1回 文字コード概要編 | オブジェクトの広場
• 文字列とUnicode · JavaScript Primer #jsprimer

異体字

• 異体字セレクタセレクタ
• Unicode IVS/IVDについて | 一般社団法人 文字情報技術促進協議会
• 現在のUnicodeモンゴル文字の問題点と最近の動き - にせねこメモ
• BabelStone Blog : The Secret Life of Variation Selectors