Unicode::Japanese::JA - 日本語文字コード変換
use Unicode::Japanese; use Unicode::Japanese qw(unijp); # convert utf8 -> sjis print Unicode::Japanese->new($str)->sjis; print unijp($str)->sjis; # same as avobe. # convert sjis -> utf8 print Unicode::Japanese->new($str,'sjis')->get; # convert sjis (imode_EMOJI) -> utf8 print Unicode::Japanese->new($str,'sjis-imode')->get; # convert ZENKAKU (utf8) -> HANKAKU (utf8) print Unicode::Japanese->new($str)->z2h->get;
Unicode::Japanese は,日本語の文字コードの相互変換を行うモジュールです.
Unicode::Japanese のインスタンスは,UTF-8 で文字列を保持します.
XS 使用/不使用を共にサポートしています. XS 版はパフォーマンスが必要な場合に, No-XS 版は手軽に使用したい場合に使用して下さい (Japanese.pm をコピーするだけで動作します).
全角半角変換,カタカナひらがな変換をサポートしています.
携帯電話 (DoCoMo i-mode,KDDI AU, Softbank Mobile, ASTEL dot-i) の絵文字を Unicode 私用領域にマッピングすることで,DB 等で安全に扱うことができます.
異なる携帯電話同士で,同じイメージの絵文字は相互変換することが可能です.
SJIS は, MS-CP932 とみなして Unicode とマッピングを行います.
Unicode -> SJIS(及びEUC-JP/JIS) のマッピング時,SJIS で表現できない文字は &#dddd; 形式に変換します. ただしUnicode私用領域におかれている絵文字は '?'になります. また, 携帯電話向けの変換時には, すべての対応しない文字は'?'になります.
Perl-5.8.0 以降において, utf8 フラグの設定処理を行います. utf-8 `バイト'列 の取得には utf8() メソッドを, utf-8 `文字'列 の取得には getu() メソッドを使います.
get() メソッドは現時点では utf-8 `バイト'列 を返します (将来的に変更される可能性もあります).
sjis(), jis(), utf8(), etc.. メソッドではバイト列を返します. new, set, getcode メソッドの入力には, utf8-flaged/bytes を問いません.
新しい Unicode::Japanese インスタンスを指定します.
パラメータを指定すると,set メソッドに渡されます.
Unicode::Janaese->new(...) と同義.
インスタンスに文字列をセットします. 文字コード指定を省略すると UTF-8 と見なされます.
文字コードを指定する場合は,'jis', 'sjis', 'euc', 'utf8', 'ucs2', 'ucs4', 'utf16', 'utf16-be', 'utf16-le', 'utf32', 'utf32-be', 'utf32-le', 'ascii', 'binary', 'sjis-imode', 'sjis-doti', 'sjis-jsky', 'sjis-icon-au'.
文字コードを自動判別する場合は,'auto' を指定しなくてはいけません. 'auto' 時の文字コード自動判別は,getcode() メソッドにより 行われます.
文字エンコードには,'base64' のみ指定可能です. base64 を指定した場合は,base64 デコードされてから String クラスの文字列となります.
バイナリをデコードする場合は,文字エンコードタイプとして 'binary' を指定します.
sjis-imode,sjis-doti,の場合,文字列中の &#dddd; は 絵文字に変換されます.
文字列を UTF-8 コードで取り出します.
現在は `バイト' 列 を返しますが, 将来的に変更される可能性もあります.
バイト列が必要なら utf8() メソッドを, 文字列が必要なら getu() メソッドを使うことをオススメします.
Perl-5.8.0 以降においては, utf-8 フラグのついた utf-8 文字列として 返します.
渡された文字列($str)の文字コードを自動判別します.
この関数では, 例外的に, インスタンスに保持されている 文字列のコードを判別するのではないことに注意してください.
文字コード自動判別時は,以下のアルゴリズムにより判定が行われます.
(PurePerl時)
UTF-32 の BOM があれば,utf32 と判定します.
UTF-16 の BOM があれば,utf16 と判定します.
UTF-32BE として正しい形式なら,utf32-be と判定します.
UTF-32LE として正しい形式なら,utf32-le と判定します.
非 ASCII 文字が含まれていなければ, ascii と判定します. (非 ASCII 文字には,エスケープシーケンス以外のコントロールコードは含まれません.)
JISエスケープシーケンスが含まれていれば,jis と判定します.
J-PHONE の絵文字が含まれていれば,sjis-jsky と判別します.
EUC-JP コードとして正しい形式なら,euc と判定します.
SJIS コードとして正しい形式なら,sjis と判定します.
SJIS と i-mode の絵文字として正しい形式なら,sjis-imode と判別します.
SJIS と dot-i の絵文字として正しい形式なら,sjis-doti と判別します.
UTF-8 として正しい形式なら,utf8 と判定します.
いずれにも当てはまらない場合,unknown と判定します.
(XS時)
以下のコードについて, 正しい文字コードであることを状態遷移を用いて調べます.
ascii / euc-jp / sjis / jis / utf8 / utf32-be / utf32-le / sjis-jsky / sjis-imode / sjis-doti
最後まで正しかったものの中から, 以下の優先順で1つをえらんで, それと判定します.
utf32-be / utf32-le / ascii / jis / euc-jp / sjis / sjis-jsky / sjis-imode / sjis-doti / utf8
以上のアルゴリズムのため,以下の点に注意してください.
UTF-8 文字列でも,SJISコードと見なされる可能性があります.
UCS2 の自動判別はできません.
UTF-16 は BOM がある場合のみ自動認識します.
携帯絵文字は,バイナリで直接絵文字がある場合のみ認識できます. &#dddd; 形式で記述されている場合は,携帯絵文字の自動判別は行われません. (&#dddd; のみの場合,参照先が異なるため,その後 getcode() の結果を 基に変換を行うと,絵文字が化けます.)
XSとPurePerlでは, 判別のアルゴリズムに違いがあるため, 異なる結果になる可能性があります. 特に, エスケープ文字を含んでいるsjisの場合, PurePerlではsjisと認識しますが XSでは認識しません. これはsjis-jskyと区別できなくなるためです. また, この 作用による誤認識を防ぐため, euc-jpにおいても, 同様にエスケープ文字を受け付けなく なっています.
文字列を指定した文字コードに変換してから取り出します.
文字エンコードには,'base64' のみ指定可能です. base64 を指定した場合は,base64 エンコードされた 文字列が返されます.
perl-5.8.0 以降において, 出力は utf-8 フラグを持たないバイト列になります.
文字列中に含まれる &#dddd; 形式の文字列を,それが表す文字自体に置き換えます.
全角を半角に変換します.
半角を全角に変換します.
ひらがなをカタカナに変換します.
カタカナをひらがなに変換します.
$str: JIS エンコーディング形式のバイト列
文字列を JIS(ISO-2022-JP) コードで取り出します.
$str: euc-jp エンコーディング形式のバイト列
文字列を EUC-JP コードで取り出します.
$str: utf-8 エンコーディング形式のバイト列
perl-5.8.0 以降においても, バイト列を返します.
$str: ucs2 エンコーディング形式のバイト列
文字列を UCS2 コードで取り出します.
$str: ucs4 エンコーディング形式のバイト列
文字列を UCS4 コードで取り出します.
$str: ucs-16 エンコーディング形式のバイト列
文字列を UTF-16 コードで取り出します. BOMは付きません. ビックエンディアン形式で返されます.
$str: sjis エンコーディング形式のバイト列
文字列を SJIS(MS-CP932) コードで取り出します.
$str: sjis/imode絵文字 エンコーディング形式のバイト列
文字列を i-mode 端末向けの SJIS コードで取り出します. 最新のimode絵文字(imode2)の別名です.
$str: sjis/imode 絵文字 エンコーディング形式のバイト列
文字列を i-mode 端末向けの SJIS コードで取り出します. 基本絵文字だけから成ります.
文字列を i-mode 端末向けの SJIS コードで取り出します. 基本絵文字, 拡張絵文字を含みます.
$str: sjis/dot-i 絵文字 エンコーディング形式のバイト列
文字列を dot-i 端末向けの SJIS コードで取り出します.
$str: sjis/j-sky 絵文字 エンコーディング形式のバイト列
文字列を j-sky 端末向けの SJIS コードで取り出します. 最新のj-sky絵文字(VERSION 0.15 では, jsky2)の別名です.
文字列を j-sky 端末向けの SJIS コードで取り出します. Page 1~3 のみの絵文字を含みます.
文字列を j-sky 端末向けの SJIS コードで取り出します. Page 1~6 の絵文字を含みます.
$str: sjis/AU iconタグ エンコーディング形式のバイト列
文字列を AU 端末向けの SJIS コードで取り出します.
$lenで指定された文字数以下の文字列の配列に分割します.
配列の各要素は, utf-8 フラグを持ったutf-8文字列です.
$len: 文字列の表示幅
UTF-8 文字に対して length() を使うと全角文字は1文字あたり長さ 3 になってしまいますが, このメソッドを使用すると,従来の SJIS のように,全角文字は1文字あたり長さ 2 を返します.
@values: データ配列
配列を CSV 文字列に変換し,インスタンスに格納します. 文字列の最後には改行("\n")が追加されます.
インスタンスに格納されている文字列を CSV と見なし,配列に分割します. 文字列の最後にある改行("\n")は取り除かれてから分割されます.
入力が binary でなければ utf-8 文字列を返します. binary だったときはバイト列を返します.
Unicode とのマッピングは以下のように行われます.
MS-CP932 として Unicode へマッピングを行います. マッピングテーブルは以下のURLのものを使用しています.
ftp://ftp.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP932.TXT
Unicode から SJIS へマッピングする場合に,表現できない文字があると, その文字は &#dddd; 形式に変換します. ただし,携帯絵文字は「?」に変換されます.
また,携帯向けの SJIS へ変換するときは,全ての表現できない文字は「?」に変換されます.
一度SJISコードに変換してから,Unicode へマッピングします. このとき,SJIS で表現できない文字が含まれていた場合, その文字は正しくマッピングできません.
F800 - F9FF の領域のうち絵文字が存在する部分を,U+0FF800 - U+0FF9FF の領域にマッピングします.
F000 - F4FF の領域のうち絵文字が存在する部分を,U+0FF000 - U+0FF4FF の領域にマッピングします.
J-SKY の絵文字は,エスケープシーケンス "\e\$" の後に,絵文字1バイト目, 1つ以上の絵文字2バイト目,"\x0f",と続きます. 1バイト目が同じ絵文字が続く場合は,2バイト目のみを連続して書くことで 圧縮することができます.
この1バイト目と2バイト目のペアを1文字と見なして,4500 - 47FF の領域を, U+0FFB00 - U+0FFDFF の領域にマッピングします.
Unicode::Japanese では,Unicode から J-SKY 絵文字にマッピングするとき, バイト目が同じ絵文字が連続している場合は,圧縮処理を自動的に行います.
use Unicode::Japanese qw(PurePerl);
use 時の引数に 'PurePerl' を与えることで, XSを使わないことを明示的に宣言できます.
'PurePerl'
EUC-JP,JIS コードは,SJIS に変換されてから UTF-8 へ変換されるため, SJIS で表現できない文字列は正しく変換することはできません.
XSを使用している場合,EUC-JP,SJIS(絵文字含む)コードの文字列中に \e が含まれると,EUC-JP,SJIS コードの判定に失敗し, 正しく自動判別や変換を行うことが出来ません.
Japanese.pm はファイル後半にバイナリを含むため,FTP の ASCII モードで 転送するとファイルが壊れます.
Copyright 2001-2004 SANO Taku (SAWATARI Mikage) and YAMASHINA Hio. All right reserved.
This library is free software; you can redistribute it and/or modify it under the same terms as Perl itself.
Bug reports and comments to: mikage@cpan.org. Thank you.
Thanks very much to:
NAKAYAMA Nao
SUGIURA Tatsuki & Debian JP Project
Copyright 2001-2007 SANO Taku (SAWATARI Mikage) and YAMASHINA Hio, all rights reserved.
このプログラムはフリーソフトウェアです。あなたは Perl と同じ ライセンスの 元で再配布及び変更を行うことが出来ます.
To install Unicode::Japanese::PurePerl, copy and paste the appropriate command in to your terminal.
cpanm
cpanm Unicode::Japanese::PurePerl
CPAN shell
perl -MCPAN -e shell install Unicode::Japanese::PurePerl
For more information on module installation, please visit the detailed CPAN module installation guide.