September 1999 - XEmacs-Beta-ja - XEmacs Mailing List Archives

Re: Mule-UCS 0.52 vs UTF-2000-MULE 0.7 25 years, 3 months

守岡知彦 / MORIOKA Tomohiko

>>>>> In [utf-2000 : No.00036] >>>>> "山岡" = Katsumi Yamaoka <yamaoka(a)jpl.org> wrote: 山岡> 某 ML で飛び交っているメールの山岡> Content-Type: text/plain; charset=UTF-8 山岡> Content-Transfer-Encoding: quoted-printable 山岡> なパートが読めないのですが (^^;;)、私は XEmacs の build に失敗し山岡> ているのでしょうか? ;; 失敗しているとしたら、UTF-2000 を日常用途に使っていることではないか ;; と。(^_^; 山岡> 文脈から想像するに、それらの記事では Mule-UCS-0.52 が使われてい山岡> て、次のように encode されていますが、山岡> "奥" -> "=E5=A5=A5" 山岡> "岡" -> "=E5=B2=A1" 山岡> XEmacs 21.2.19 + UTF-2000-MULE 0.7 では以下のように encode され山岡> ます。山岡> "奥" -> "=F8=BB=86=A9=83" 山岡> "岡" -> "=F8=BB=86=A9=91" 山岡> また、続く二つのパートにはどちらも同じ文章が書かれていて、XEmacs 山岡> では正しく (?) 読むことができます。現在の UTF-2000 では MULE-charset と BMP の統合漢字との変換は実装されていません。このため、BMP の font があって、それを ucs-bmp に設定すれば読めるかも知れませんが、ISO/IEC 2022 の図形文字集合用の font を使って統合漢字を表示することはできないし、また、ISO/IEC 2022 の図形文字集合と符号位置から BMP に変換することもできません。代わりに、０群の私用領域に１対１に写像されます。近い将来に多 byte 文字集合に対して任意の変換表を設定する機能が用意され、それを使って XEmacs-UCS (ucs-conv) と同様に BMP の統合漢字と相互に変換することが可能になるのではないかと思います。しかしながら、現在は、 UTF-2000 を使って日本語を含む utf-8 を扱うのは現実的ではないでしょう。 -- 匿名希望 (^_^;

2 participants
1 comments

Re: UTF-8 (Re: Invalid cording-system ... ) 25 years, 3 months

Katsumi Yamaoka

>>>>> In [tm(ja) / tm ML (日本語版) : No.5222] >>>>> nakaji(a)tutrp.tut.ac.jp (中治弘行) wrote: 中治さん> 中治＠豊橋％ucs-conv のことです。中治さん> xemacs -batch -eval '(setq load-path (cons (expand-file-name 中治さん> ".") load-path))' -f batch-byte-compile ucs-cjk.el 中治さん> だけが、なぜか固まってしまいます。こういうデカい .el ファイルを byte compile できない、という XEmacs 固有の問題があるんだそうです。:-p ;; 以前にぼくがアングラで作った package でも、これだけは諦めて生の .el ;; を使うようにしていました。その後 Steve さんが XEmacs の正規の package にして下さった際に、氏は ucs-cjk.el を分割して ucs-conv-1.01-pkg.tar.gz にまとめています。現在 ftp.xemacs.org からは消えていますが、CVS の xemacs-packages に含まれていないので、忘れられてしまったんじゃないかな。(?) ftp://ftp.jpl.org/pub/tmp/ (*) にもありますので、どうぞ。 (*) 今 ftp の転送が遅いかもしれませんが、メゲないで下さい。(^^;;) -- Katsumi Yamaoka <yamaoka(a)jpl.org>

2 participants
1 comments

Re: japanese-hiragana 25 years, 3 months

守岡知彦 / MORIOKA Tomohiko

>>>>> <m2zoyruqk2.fsf(a)lamp.atesoft.advantest.co.jp> にて >>>>> “福居”= Hirokazu FUKUI <fukui(a)atesoft.advantest.co.jp> さま曰く: 福居> In <14300.35472.696808.16868Y(a)kurusugawa.jaist.ac.jp> 福居> Shigeru OKUMURA <sokumura(a)jaist.ac.jp> wrote: 福居> > 先日xemacs-21.2.19(utf-2000/0.6)を福居> > ftp://ftp.m17n.org/pub/utf-2000/ 福居> > から取ってきて、installしてみたのですが福居> > (japanese-katakana "あいうえお") => "アイウエオ" 福居> > (japanese-hiragana "アイウエオ") => "アイウエオ" 福居> > となってしまいます。福居> utf-2000 でなくても、User-Agent: な環境で同様の現象が起きてます。福居> mule-base/japan-util.el を以下のように書き換えると直りました。福居> utf-2000 の場合ではどうでしょうか? 福居> [2 japan-util.el.integerp-char.patch <text/plain; US-ASCII (7bit)>] 福居> --- japan-util.el.orig Thu Jul 29 17:56:45 1999 福居> +++ japan-util.el Tue Aug 24 20:06:11 1999 福居> ＠＠ -94,7 +94,7 ＠＠福居> (get-char-code-property hira 'kana-composition))))) 福居> (put-char-code-property hiragana 'katakana katakana) 福居> (put-char-code-property hiragana 'jisx0201 jisx0201))) 福居> - (when (integerp katakana) 福居> + (when (characterp katakana) 福居> (put-char-code-property katakana 'hiragana hiragana) 福居> (put-char-code-property katakana 'jisx0201 jisx0201)) 福居> (if jisx0201 当たりです。(^_^; ;; それにしても、どうしてこんなばったもんで動くかね？ > UTF-2000. xemacs-patches に送ってください。福居> [3 <text/plain; ISO-2022-JP (7bit)>] 福居> ;; emacs-20 では、文字を integerp すると t が返るけど、福居> ;; xemacs では nil が返るようですね。はい。XEmacs では整数型と文字型は区別されています。 ;; エボラ再び。(^_^;;; -- ===『幾千億の分子に分かれても ======================================== 決して忘れない。この宇宙が終るまで』守岡知彦 (MORIOKA Tomohiko) ======================================== Email: <tomo(a)etl.go.jp> ===== ;; PGP public key: http://www.etl.go.jp/~tomo/hiko/pgp.key

3 participants
3 comments

Mule-UCS 0.52 vs UTF-2000-MULE 0.7 25 years, 3 months

Katsumi Yamaoka

某 ML で飛び交っているメールの Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: quoted-printable なパートが読めないのですが (^^;;)、私は XEmacs の build に失敗しているのでしょうか? 文脈から想像するに、それらの記事では Mule-UCS-0.52 が使われていて、次のように encode されていますが、 "奥" -> "=E5=A5=A5" "岡" -> "=E5=B2=A1" XEmacs 21.2.19 + UTF-2000-MULE 0.7 では以下のように encode されます。 "奥" -> "=F8=BB=86=A9=83" "岡" -> "=F8=BB=86=A9=91" また、続く二つのパートにはどちらも同じ文章が書かれていて、XEmacs では正しく (?) 読むことができます。 �� 本日は晴天なり。 -- Katsumi Yamaoka <yamaoka(a)jpl.org>

2 participants
1 comments

Re: UTF-2000 Version 0.7 (平野) 25 years, 3 months

守岡知彦 / MORIOKA Tomohiko

>>>>> In [utf-2000 : No.00034] >>>>> "守岡" = tomo(a)etl.go.jp (守岡知彦 / MORIOKA Tomohiko) wrote: 守岡> ;; header の編集をミスったせいで、うまく届かなかったようなので、守岡> ;; もう一度お送りします。もし、前回のが成功していたら申し訳あり守岡> ;; ません。 ;; xemacs-beta-ja の方には２通行ってしまったみたいですみませんでした。守岡> XEmacs 21.2.19 UTF-2000 Version 0.7 (平野) を守岡> ftp://ftp.m17n.org/pub/utf-2000/ 守岡> に置きました。守岡> UTF-2000 に関する議論は utf-2000(a)m17n.org でお願いします。 coded-charset `ucs-bmp' の make-char に bug がありました。以下はそれを修正するための patch です： +1999-09-14 MORIOKA Tomohiko <tomo(a)etl.go.jp> + + * char-ucs.h (MAKE_CHAR): Fix problem in 2-dimension charset. + Index: XEmacs/src/char-ucs.h diff -u XEmacs/src/char-ucs.h:1.1.2.20 XEmacs/src/char-ucs.h:1.1.2.21 --- XEmacs/src/char-ucs.h:1.1.2.20 Tue Sep 14 15:03:57 1999 +++ XEmacs/src/char-ucs.h Wed Sep 15 00:52:47 1999 ＠＠ -372,7 +372,13 ＠＠ /* return MIN_CHAR_94 + ('I' - '0') * 94 + (c1 - 33); */ return ' '; else if (CHARSET_UCS_MAX (XCHARSET (charset))) - return c1 - CHARSET_CODE_OFFSET (XCHARSET (charset)) + return (XCHARSET_DIMENSION (charset) == 1 + ? + c1 - CHARSET_CODE_OFFSET (XCHARSET (charset)) + : + (c1 - CHARSET_CODE_OFFSET (XCHARSET (charset))) + * XCHARSET_CHARS (charset) + + c2 - CHARSET_CODE_OFFSET (XCHARSET (charset))) + CHARSET_UCS_MIN (XCHARSET (charset)); else if (XCHARSET_DIMENSION (charset) == 1) { -- === ……つまり ======================================================= ====== 隠されているかもしれない可能性にかけてみようということです ==== 守岡知彦 (MORIOKA Tomohiko) Email: <tomo(a)etl.go.jp>

1 participants
0 comments

UTF-2000 Version 0.7 (平野) 25 years, 3 months

守岡知彦 / MORIOKA Tomohiko

;; header の編集をミスったせいで、うまく届かなかったようなので、もう一 ;; 度お送りします。もし、前回のが成功していたら申し訳ありません。 XEmacs 21.2.19 UTF-2000 Version 0.7 (平野) を ftp://ftp.m17n.org/pub/utf-2000/ に置きました。 UTF-2000 に関する議論は utf-2000(a)m17n.org でお願いします。 [主な変更点] ・charset に変換表関連の slot を設けた。また、latin-iso8859-2, -3, -4, -9, latin-jisx0201, vietnamese-viscii-upper, -lower 用の変換表を charset の属性として指定するようにした・Latin Extended-A 用の決め打ち変換表を廃止した・変数 default-coded-charset-priority-list の追加：文字の属する符号化文字集合を選択する際の既定値として用いる ;; 将来的には文字単位の設定と、coding-system 等の復号符号化文字集合 ;; の既定値等が追加される予定。この時、この変数は全体の既定値となる ;; 予定。 ;; これが nil の時には組込み charset 判定器が動いて、ascii 等のいく ;; つかの charset が見付かってしまう（弱気） ;;; ［問題］文字定義を elisp で行う場合に、その elist をどうやって ;;; load するかについて考えてみよう(^_^) ・text-coding.c において UCS-4, BIG-5, Shift_JIS 用の generic-encoder 用実装を追加した・text-coding.c の Shift_JIS において、JIS-Latin 用変換表を用い、7bit の領域をJIS-Latin として解釈するようにした・text-coding.c の generic-encoder での UTF-8 の parse の switch を if に書き換えた（でも、順番を逆にすべきだろうな） [既知の問題点] Latin 文字の重複符号化を廃止したが、文脈・状況に応じて文字の属すべき符号化文字集合を判別する機構はまだ実装していないために、例えば、 Latin-2と Latin-1 の双方に属する文字は常に Latin-1 の文字として扱われる。このため、iso-8859-2 の文字だけで書かれた file であっても、それを UTF-2000 0.6 で編集して iso-8859-2 として save すると一部が iso-8859-1 の文字と見倣され、指示シーケンスが入ることとなる。まだ正規表現の問題が起こる可能性がある。 [今後] charset における、変換表や code-range 等による符号化方法の指定を elisp で行えるようにするつもり。このため、charset における変換表の要素を現行の Emchar の配列から Lisp_Object の vector に変更する予定。この時、1 byte 目を key にして得た要素が vector の時に、2 byte 目を key にして要素を得ることにより、多 byte 文字集合を表現できるようにする。この表現により、Shift_JIS や BIG-5 といった可変 byte 符号や、VSCII-2 (TCVN 5712-1993; ISO-IR-180), X-TIS 等での文字結合を扱う予定。 -- === ……つまり ======================================================= ====== 隠されているかもしれない可能性にかけてみようということです ==== 守岡知彦 (MORIOKA Tomohiko) Email: <tomo(a)etl.go.jp>

1 participants
0 comments

UTF-2000 Version 0.7 (平野) 25 years, 3 months

守岡知彦 / MORIOKA Tomohiko

XEmacs 21.2.19 UTF-2000 Version 0.7 (平野) を ftp://ftp.m17n.org/pub/utf-2000/ に置きました。 UTF-2000 に関する議論は utf-2000(a)m17n.org でお願いします。 [主な変更点] ・charset に変換表関連の slot を設けた。また、latin-iso8859-2, -3, -4, -9, latin-jisx0201, vietnamese-viscii-upper, -lower 用の変換表を charset の属性として指定するようにした・Latin Extended-A 用の決め打ち変換表を廃止した・変数 default-coded-charset-priority-list の追加：文字の属する符号化文字集合を選択する際の既定値として用いる ;; 将来的には文字単位の設定と、coding-system 等の復号符号化文字集合 ;; の既定値等が追加される予定。この時、この変数は全体の既定値となる ;; 予定。 ;; これが nil の時には組込み charset 判定器が動いて、ascii 等のいく ;; つかの charset が見付かってしまう（弱気） ;;; ［問題］文字定義を elisp で行う場合に、その elist をどうやって ;;; load するかについて考えてみよう(^_^) ・text-coding.c において UCS-4, BIG-5, Shift_JIS 用の generic-encoder 用実装を追加した・text-coding.c の Shift_JIS において、JIS-Latin 用変換表を用い、7bit の領域をJIS-Latin として解釈するようにした・text-coding.c の generic-encoder での UTF-8 の parse の switch を if に書き換えた（でも、順番を逆にすべきだろうな） [既知の問題点] Latin 文字の重複符号化を廃止したが、文脈・状況に応じて文字の属すべき符号化文字集合を判別する機構はまだ実装していないために、例えば、 Latin-2と Latin-1 の双方に属する文字は常に Latin-1 の文字として扱われる。このため、iso-8859-2 の文字だけで書かれた file であっても、それを UTF-2000 0.6 で編集して iso-8859-2 として save すると一部が iso-8859-1 の文字と見倣され、指示シーケンスが入ることとなる。まだ正規表現の問題が起こる可能性がある。 [今後] charset における、変換表や code-range 等による符号化方法の指定を elisp で行えるようにするつもり。このため、charset における変換表の要素を現行の Emchar の配列から Lisp_Object の vector に変更する予定。この時、1 byte 目を key にして得た要素が vector の時に、2 byte 目を key にして要素を得ることにより、多 byte 文字集合を表現できるようにする。この表現により、Shift_JIS や BIG-5 といった可変 byte 符号や、VSCII-2 (TCVN 5712-1993; ISO-IR-180), X-TIS 等での文字結合を扱う予定。 -- === ……つまり ======================================================= ====== 隠されているかもしれない可能性にかけてみようということです ==== 守岡知彦 (MORIOKA Tomohiko) Email: <tomo(a)etl.go.jp>

1 participants
0 comments

Re: japanese-hiragana 25 years, 3 months

守岡知彦 / MORIOKA Tomohiko

>>>>> <m2vh9euvyi.fsf(a)lamp.atesoft.advantest.co.jp> にて >>>>> “福居”= Hirokazu FUKUI <fukui(a)atesoft.advantest.co.jp> さま曰く: 福居> In <htx1zc3xir2.fsf(a)mulelab3.etl.go.jp> 福居> tomo(a)etl.go.jp (守岡知彦 / MORIOKA Tomohiko) wrote: 守岡> ;; それにしても、どうしてこんなばったもんで動くかね？ > UTF-2000. 福居> UTF-2000 がちゃんと実装してあるから大丈夫なのでは :-) 福居> japanese-hiragana くらいなら、問題なく動きそうに見えます。福居> ;; 何か難しい部分でもあるのかな。 char-table は文字を key に値を格納するためのデータ構造で、現在の実装は mule 用のものをそのまま使っています。つまり、文字や文字列は leading-byte を使って表現されていると仮定している code になっています。文字の UCS-2000 表現と leading-byte 表現は互いに変換可能ではありますが、変換して元に戻る保証はないので非常に怪しい訳です。(^_^;;; 守岡> xemacs-patches に送ってください。福居> 2, 3 週間前に送りましたが、その後、音沙汰がありません。福居> どのくらい待てばよいのだろう:-) 福居> ;; 機械的に送られる確認のメイルは返ってきました。なるほど。 ;; Steve の体調が良くなるのを祈りつつ、今場所が終るのを待つという感じ ;; でしょうか？ :-) -- ===『幾千億の分子に分かれても ======================================== 決して忘れない。この宇宙が終るまで』守岡知彦 (MORIOKA Tomohiko) ======================================== Email: <tomo(a)etl.go.jp> ===== ;; PGP public key: http://www.etl.go.jp/~tomo/hiko/pgp.key

1 participants
0 comments

japanese-hiragana 25 years, 3 months

Shigeru OKUMURA

奥村と申します。よろしくお願いいたします。先日xemacs-21.2.19(utf-2000/0.6)を ftp://ftp.m17n.org/pub/utf-2000/ から取ってきて、installしてみたのですが (japanese-katakana "あいうえお") => "アイウエオ" (japanese-hiragana "アイウエオ") => "アイウエオ" となってしまいます。以上、報告でした。 -- Shigeru OKUMURA <sokumura(a)jaist.ac.jp>

2 participants
1 comments

Re: japanese-hiragana 25 years, 3 months

守岡知彦 / MORIOKA Tomohiko

;; utf-2000(a)m17n.org ができたので、こちらへどうぞ。 >>>>> <14300.35472.696808.16868Y(a)kurusugawa.jaist.ac.jp> にて >>>>> “s奥村”= Shigeru OKUMURA <sokumura(a)jaist.ac.jp> さま曰く: s奥村> 先日xemacs-21.2.19(utf-2000/0.6)を s奥村> ftp://ftp.m17n.org/pub/utf-2000/ s奥村> から取ってきて、installしてみたのですが s奥村> (japanese-katakana "あいうえお") => "アイウエオ" s奥村> (japanese-hiragana "アイウエオ") => "アイウエオ" s奥村> となってしまいます。なるほど。まだ、char-table を置き換えてないので何が起こっても不思議ではないです。そういう訳で、char-table の再実装を誰かがやる必要があります。 ;; regexp も同様です。 -- ===『幾千億の分子に分かれても ======================================== 決して忘れない。この宇宙が終るまで』守岡知彦 (MORIOKA Tomohiko) ======================================== Email: <tomo(a)etl.go.jp> ===== ;; PGP public key: http://www.etl.go.jp/~tomo/hiko/pgp.key

1 participants
0 comments

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000

1999

XEmacs-Beta-ja September 1999