Heirloom Toolchest tr: 멀티바이트 문자가 포함된 컬렉션의 보완물을 제거하는 동안 오류가 발생했습니까?

Question

나는 그것을 본 적이 있다. 실수. 노력하다:

--- tr.c        6 Sep 2005 23:04:11 -0000       1.10
+++ tr.c        30 May 2014 09:46:33 -0000
@@ -291,7 +291,6 @@
                if(c<ccnt) code[c] = d;
                if(d<ccnt && sflag) squeez[d] = 1;
        }
-       free(vect);
        while((d = next(&string2)) != NIL) {
                if(sflag) squeez[d] = 1;
                if(string2.max==NIL && (string2.p==NULL || *string2.p==0))

(이것은 몇 달 전의 간략한 모습이며 이 패치를 통해 앞으로 나아갈 수 있지만 그것이 정확하다고 보장할 수는 없습니다. Apply 를 사용하십시오 patch -l.)

이제 /dev/urandom스트림도 제공됩니다.바이트. UTF-8에서는 모든 바이트 시퀀스가 유효한 문자에 매핑되는 것은 아닙니다. 예를 들어 0x41 0x81 0x41은 0x80 0x81이므로 유효하지 않으므로 >=0x80바이트를 넘어서 2바이트 이상의 시퀀스로만 나타날 수 있습니다.

☠의 보완 문자 집합에 포함되지 않아 제거되지 않으므로 잘못된 바이트입니다 tr.

더 나은 방법은 다음과 같습니다.

recode ucs-2..u8 < /dev/urandom | tr -cd ☠

Ucs-2는 U+0000부터 U+FFFF까지의 문자이며, 각 문자는 2바이트로 인코딩되며 /dev/urandomucs-2 문자 스트림과 더 비슷해 보입니다. (그러나 U+10000에서 U+10FFFF까지의 문자가 누락되었습니다.)

하지만 여기에는 여전히 포함됩니다.D800..DFFF 프록시 쌍 범위 이것은 mbrtowc(3)숨막히는 일입니다(적어도 내 버전의 libc에서는).

이러한 코드 포인트는 UTF-16 인코딩용으로 예약되어 있습니다. 예를 들어 d800dc00은 U+10000의 UTF-16BE 인코딩이지만 U+D800 문자 또는 U+DC00은 없습니다. 이러한 문자의 UTF-8 인코딩도 의미가 없습니다(인접한 경우에도).

따라서 먼저 제외해야 합니다.

perl -ne 'BEGIN{$/=\2;binmode STDOUT,":utf8"}
          $c = unpack("n",$_); if ($c < 0xd800 || $c > 0xdfff) {
            no warnings "utf8"; print chr($c)
          }' < /dev/urandom | tr -cd ☠

목표가 UTF-8로 인코딩된 임의의 유니코드 문자 스트림을 얻는 것이라면 허용된 범위(0..0xd7ff, 0xf000..0x10ffff) 내에서 임의의 코드 포인트를 가져와 UTF-8로 변환하는 것이 좋습니다. 을 기반으로 하려는 경우 /dev/urandom각 코드 포인트에 대해 3바이트(24비트)를 사용할 수 있습니다.

perl -ne 'BEGIN{$/=\3;binmode STDOUT,":utf8"}
          $c = unpack("N","\0$_") * 0x10F800 >> 24;
          $c+=0x800 if $c >= 0xd800;
          do {no warnings "utf8"; print chr($c)}' < /dev/urandom |
  tr -cd ☠

Answer 1