JSON 문자열은 임의의 파일 경로, 프로세스 이름, 명령줄 인수 및 보다 일반적인 C 문자열(다양한 문자 집합으로 인코딩된 텍스트를 포함하거나 텍스트가 전혀 없음을 의미할 수 있음)을 직접적으로 나타낼 수는 없습니다.

예를 들어, 많은 util-linux, Linux LVM, systemdutilities curl, GNU parallel, ripgrep, sqlite3, tree,다양한 FreeBSD 유틸리티 및 해당 --libxo=json옵션...JSON 형식으로 데이터를 출력할 수 있으며, 프로그래밍 방식으로 "신뢰할 수 있게" 구문 분석할 수 있습니다.

그러나 출력하려는 ​​일부 문자열(예: 파일 이름)에 UTF-8로 인코딩되지 않은 텍스트가 포함되어 있으면 모든 것이 중단되는 것처럼 보입니다.

이 경우 유틸리티 간에 다양한 유형의 동작이 표시됩니다.

• 디코딩할 수 없는 바이트를 다음으로 대체하는 것문자 바꾸기예를 들어 ?(예: exiftool) 또는 U+FFFD(�) 또는 때로는 되돌릴 수 없는 방식으로 일부 인코딩 형식을 사용합니다( 예 "\\x80":column
• "json-string"from 에서 [65, 234]바이트 배열 in journalctl또는 from {"text":"foo"}에서 {"bytes":"base64-encoded"}in 과 같이 다른 표현으로 전환하는 것입니다 rg.
• 이를 잘못된 방식으로 처리하는 사람들. curl
• 대다수는 유효한 UTF-8을 그대로 형성하지 않는 바이트, 즉 유효하지 않은 UTF-8을 포함하는 JSON 문자열을 덤프합니다..

대부분의 util-linux유틸리티는 마지막 범주에 속합니다. 예를 들어 lsfd:

$ sh -c 'lsfd -Joname -p "$$" --filter "(ASSOC == \"3\")"' 3> $'\x80' | sed -n l
{$
   "lsfd": [$
      {$
         "name": "/home/chazelas/tmp/\200"$
      }$
   ]$
}$

이는 잘못된 UTF-8을 출력하므로 잘못된 JSON을 출력한다는 의미입니다.

이제 이 출력은 엄격하게 유효하지 않지만 여전히 명확하며 이론적으로는 후처리가 가능합니다.

그런데 JSON 처리 유틸리티를 많이 확인해 봤는데 그 중 어느 것도 처리할 수 없었습니다. 그들은 다음 중 하나를 수행합니다:

• 디코딩 오류로 인한 오류
• 이 바이트를 U+FFFD로 바꾸세요.
• 비극적인 방법으로 실패했습니다

뭔가 빠진 것 같은 느낌이 듭니다. 확실히 이 형식을 선택할 때 이 점을 고려해야 합니까?

긴 이야기 짧게

그래서 내 질문은 다음과 같습니다

• UTF-8로 인코딩된 문자열이 잘못 포함된 JSON 형식의 이름이 있습니까(일부 바이트 값 ​>= 0x80은 유효한 UTF-8 인코딩 문자의 일부를 형성하지 않음)?
• perl이 형식을 안정적으로 처리할 수 있는 도구나 프로그래밍 언어 모듈(바람직하지만 다른 사람들에게도 열려 있음) 이 있습니까 ?
• jq또는 JSON 처리 유틸리티(예: , json_xs, ...) 에서 처리할 수 있도록 형식을 유효한 JSON으로 변환하거나 그 반대로 변환할 수 있습니다. mlr바람직하게는 정보 손실 없이 유효한 JSON 문자열을 보존하는 방식으로 처리하시겠습니까?

추가 정보

다음은 제가 직접 조사한 내용입니다. 이는 단지 유용하다고 생각할 수 있는 지원 데이터일 뿐입니다. 이것은 단지 빠른 덤프일 뿐이며, 명령은 zsh구문을 취하고 Debian 불안정 시스템(및 일부 FreeBSD 12.4-RELEASE-p5)에서 실행됩니다. 혼란을 드려 죄송합니다.

lsfd(및 대부분의 util-linux 유틸리티): 원시 데이터를 출력합니다.

$ sh -c 'lsfd -Joname -p "$$" --filter "(ASSOC == \"3\")"' 3> $'\x80' | sed -n l
{$
   "lsfd": [$
      {$
         "name": "/home/chazelas/\200"$
      }$
   ]$
}$

---

열: 명시적으로 이스케이프되지 않음:

$ printf '%s\n' $'St\351phane' 'St\xe9phane' $'a\0b' | column -JC name=firstname
{
   "table": [
      {
         "firstname": "St\\xe9phane"
      },{
         "firstname": "St\\xe9phane"
      },{
         "firstname": "a"
      }
   ]
}

latin1(또는 전체 바이트 범위를 포괄하는 단일 바이트 문자 집합)을 사용하여 로케일로 전환하면 원래 형식을 얻는 데 도움이 됩니다.

$ printf '%s\n' $'St\351phane' $'St\ue9phane' | LC_ALL=C.iso88591 column -JC name=firstname  | sed -n l
{$
   "table": [$
      {$
         "firstname": "St\351phane"$
      },{$
         "firstname": "St\303\251phane"$
      }$
   ]$
}$

---

Journalctl: 바이트 배열:

$ logger $'St\xe9phane'
$ journalctl -r -o json | jq 'select(._COMM == "logger").MESSAGE'
[
  83,
  116,
  233,
  112,
  104,
  97,
  110,
  101
]

---

컬: 페이크

$ printf '%s\r\n' 'HTTP/1.0 200' $'Test: St\xe9phane' '' |  socat -u - tcp-listen:8000,reuseaddr &
$ curl -w '%{header_json}' http://localhost:8000
{"test":["St\uffffffe9phane"]
}

\U이제 유니코드가 코드 포인트로 제한된다는 점을 제외하면 말이 됩니다 \U0010FFFF.

---

cvtsudoers: 원본

$ printf 'Defaults secure_path="/home/St\351phane/bin"' | cvtsudoers -f json  | sed -n l
{$
    "Defaults": [$
        {$
            "Options": [$
                { "secure_path": "/home/St\351phane/bin" }$
            ]$
        }$
    ]$
}$

---

dmesg:원본

$ printf 'St\351phane\n' | sudo tee /dev/kmsg
$ sudo dmesg -J | sed -n /phane/l
         "msg": "St\351phane"$

---

iproute2: 원시적이고 버그가 있음

적어도 ip link제어 문자 0x1 .. 0x1f(그 중 일부만 인터페이스 이름에 허용되지 않음)도 원시 출력이므로 JSON에서는 유효하지 않습니다.

$ ifname=$'\1\xe9'
$ sudo ip link add name $ifname type dummy
$ sudo ip link add name $ifname type dummy

(두 번 추가되었습니다! 처음에는 이름이 변경되었습니다 __.)

$ ip l
[...]
14: __: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 12:22:77:40:6f:8c brd ff:ff:ff:ff:ff:ff
15: �: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 12:22:77:40:6f:8c brd ff:ff:ff:ff:ff:ff
$ ip -j l | sed -n l
[...]
dcast":"ff:ff:ff:ff:ff:ff"},{"ifindex":14,"ifname":"__","flags":["BRO\
ADCAST","NOARP"],"mtu":1500,"qdisc":"noop","operstate":"DOWN","linkmo\
de":"DEFAULT","group":"default","txqlen":1000,"link_type":"ether","ad\
dress":"12:22:77:40:6f:8c","broadcast":"ff:ff:ff:ff:ff:ff"},{"ifindex\
":15,"ifname":"\001\351","flags":["BROADCAST","NOARP"],"mtu":1500,"qd\
isc":"noop","operstate":"DOWN","linkmode":"DEFAULT","group":"default"\
,"txqlen":1000,"link_type":"ether","address":"12:22:77:40:6f:8c","bro\
adcast":"ff:ff:ff:ff:ff:ff"}]$

$ ip -V
ip utility, iproute2-6.5.0, libbpf 1.2.2

---

Exiftool: 바이트를 다음으로 변경하시겠습니까?

$ exiftool -j $'St\xe9phane.txt'
[{
  "SourceFile": "St?phane.txt",
  "ExifToolVersion": 12.65,
  "FileName": "St?phane.txt",
  "Directory": ".",
  "FileSize": "0 bytes",
  "FileModifyDate": "2023:09:30 10:04:21+01:00",
  "FileAccessDate": "2023:09:30 10:04:26+01:00",
  "FileInodeChangeDate": "2023:09:30 10:04:21+01:00",
  "FilePermissions": "-rw-r--r--",
  "Error": "File is empty"
}]

---

lsar: 바이트 값을 tar의 유니코드 코드 포인트로 해석합니다.

$ tar cf f.tar $'St\xe9phane.txt' $'St\ue9phane.txt'
$ lsar --json f.tar| grep FileNa
      "XADFileName": "Stéphane.txt",
      "XADFileName": "Stéphane.txt",

zip의 경우: URI 인코딩

$ bsdtar --format=zip -cf a.zip St$'\351'phane.txt Stéphane.txt
$ lsar --json a.zip | grep FileNa
      "XADFileName": "St%e9phane.txt",
      "XADFileName": "Stéphane.txt",

---

lsipc:원본

$ ln -s /usr/lib/firefox-esr/firefox-esr $'St\xe9phane'
$ ./$'St\xe9phane' -new-instance
$ lsipc -mJ | grep -a phane | sed -n l
         "command": "./St\351phane -new-instance"$
         "command": "./St\351phane -new-instance"$

---

GNU 병렬: 원본

$ parallel --results -.json echo {} ::: $'\xe9' | sed -n l
{ "Seq": 1, "Host": ":", "Starttime": 1696068481.231, "JobRuntime": 0\
.001, "Send": 0, "Receive": 2, "Exitval": 0, "Signal": 0, "Command": \
"echo '\351'", "V": [ "\351" ], "Stdout": "\351\\u000a", "Stderr": ""\
 }$

---

rg: "text": "..."에서 "bytes": "base64..."로 전환합니다.

$ echo $'St\ue9phane' | rg --json '.*'
{"type":"begin","data":{"path":{"text":"<stdin>"}}}
{"type":"match","data":{"path":{"text":"<stdin>"},"lines":{"text":"Stéphane\n"},"line_number":1,"absolute_offset":0,"submatches":[{"match":{"text":"Stéphane"},"start":0,"end":9}]}}
{"type":"end","data":{"path":{"text":"<stdin>"},"binary_offset":null,"stats":{"elapsed":{"secs":0,"nanos":137546,"human":"0.000138s"},"searches":1,"searches_with_match":1,"bytes_searched":10,"bytes_printed":235,"matched_lines":1,"matches":1}}}
{"data":{"elapsed_total":{"human":"0.002445s","nanos":2445402,"secs":0},"stats":{"bytes_printed":235,"bytes_searched":10,"elapsed":{"human":"0.000138s","nanos":137546,"secs":0},"matched_lines":1,"matches":1,"searches":1,"searches_with_match":1}},"type":"summary"}

$ echo $'St\xe9phane' | LC_ALL=C rg --json '.*'
{"type":"begin","data":{"path":{"text":"<stdin>"}}}
{"type":"match","data":{"path":{"text":"<stdin>"},"lines":{"bytes":"U3TpcGhhbmUK"},"line_number":1,"absolute_offset":0,"submatches":[{"match":{"text":"St"},"start":0,"end":2},{"match":{"text":"phane"},"start":3,"end":8}]}}
{"type":"end","data":{"path":{"text":"<stdin>"},"binary_offset":null,"stats":{"elapsed":{"secs":0,"nanos":121361,"human":"0.000121s"},"searches":1,"searches_with_match":1,"bytes_searched":9,"bytes_printed":275,"matched_lines":1,"matches":2}}}
{"data":{"elapsed_total":{"human":"0.002471s","nanos":2471435,"secs":0},"stats":{"bytes_printed":275,"bytes_searched":9,"elapsed":{"human":"0.000121s","nanos":121361,"secs":0},"matched_lines":1,"matches":2,"searches":1,"searches_with_match":1}},"type":"summary"}

흥미로운 "x-사용자 정의" 인코딩:

$ echo $'St\xe9\xeaphane' | rg -E x-user-defined --json '.*'  | jq -a .data.lines.text
null
"St\uf7e9\uf7eaphane\n"
null
null

ASCII가 아닌 텍스트 전용 영역의 문자를 포함합니다.https://www.w3.org/International/docs/encoding/#x-사용자 정의

---

sqlite3:원본

$ sqlite3 -json a.sqlite3 'select * from a' | sed -n l
[{"a":"a"},$
{"a":"\351"}]$

---

나무: 원본

$ tree -J | sed -n l
[$
  {"type":"directory","name":".","contents":[$
    {"type":"file","name":"\355\240\200\355\260\200"},$
    {"type":"file","name":"a.zip"},$
    {"type":"file","name":"f.tar"},$
    {"type":"file","name":"St\303\251phane.txt"},$
    {"type":"link","name":"St\351phane","target":"/usr/lib/firefox-es\
r/firefox-esr"},$
    {"type":"file","name":"St\351phane.txt"}$
  ]}$
,$
  {"type":"report","directories":1,"files":6}$
]$

---

lslock:원본

$ lslocks --json | sed -n /phane/l
         "path": "/home/chazelas/1/St\351phane.txt"$

---

@raf~의생가죽: 날것의

$ rh -j | sed -n l
[...]
{"path":"./St\351phane", "name":"St\351phane", "start":".", "depth":1\
[...]

---

FreeBSD ps --libxo=json: 탈출:

$ sh -c 'sleep 1000; exit' $'\xe9' &
$ ps --libxo=json -o args -p $!
{"process-information": {"process": [{"arguments":"sh -c sleep 1000; exit \\M-i"}]}
}
$ sh -c 'sleep 1000; exit' '\M-i' &
$ ps --libxo=json -o args -p $!
{"process-information": {"process": [{"arguments":"sh -c sleep 1000; exit \\\\M-i"}]}
}

---

FreeBSD wc --libxo=json: 원시

$ wc --libxo=json  $'\xe9' | LC_ALL=C sed -n l
{"wc": {"file": [{"lines":10,"words":10,"characters":21,"filename":"\351"}]}$
}$

당신은 또한 볼 수 있습니다이 버그 보고서는 다음과 같습니다.sesutil map --libxo보고자와 개발자 모두 출력이 UTF-8이어야 한다고 기대합니다. 그리고libxo 토론 소개코딩 문제가 논의되지만 실제 결론은 도출되지 않습니다.

---

JSON 처리 도구

jsec: 수락하지만 U+FFFD로 변환

$ jsesc  -j $'\xe9'
"\uFFFD"

---

jq: 수락하고 U+FFFD로 변환하지만 가짜:

$ print '"a\351b"' | jq -a .
"a\ufffd"
$ print '"a\351bc"' | jq -a .
"a\ufffdbc"

---

gojq: 오류도 없습니다

$ echo '"\xe9ab"' | gojq -j . | uconv -x hex
\uFFFD\u0061\u0062

---

json_pp: 수락, U+FFFD로 변환

$ print '"a\351b"' | json_pp -json_opt ascii,pretty
"a\ufffdb"

---

json_xs: 동일

$ print '"a\351b"' | json_xs | uconv -x hex
\u0022\u0061\uFFFD\u0062\u0022\u000A

-e같은

$ print '"\351"' | PERL_UNICODE= json_xs -t none -e 'printf "%x\n", ord($_)'
fffd

---

JSON: 오류

$ printf '{"file":"St\351phane"}' | jshon -e file -u
json read error: line 1 column 11: unable to decode byte 0xe9 near '"St'

---

json5: 수락, U+FFFD로 변환

$ echo '"\xe9"' | json5 | uconv -x hex
\u0022\uFFFD\u0022

---

jc: 오류

$ echo 'St\xe9phane' | jc --ls
jc:  Error - ls parser could not parse the input data.
             If this is the correct parser, try setting the locale to C (LC_ALL=C).
             For details use the -d or -dd option. Use "jc -h --ls" for help.

---

mlr: 수락, U+FFFD로 변환

$ echo '{"f":"St\xe9phane"}' | mlr --json cat | sed -n l
[$
{$
  "f": "St\357\277\275phane"$
}$
]$

---

vd: 오류

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 1: invalid continuation byte

---

JSON::분석: 오류

$ echo '"\xe9"'| perl -MJSON::Parse=parse_json -l -0777 -ne 'print parse_json($_)'
JSON error at line 1, byte 3/4: Unexpected character '"' parsing string starting from byte 1: expecting bytes in range 80-bf: 'x80-\xbf' at -e line 1, <> chunk 1.

---

조: 틀렸어

$ echo '\xe9' | jo -a
jo: json.c:1209: emit_string: Assertion `utf8_validate(str)' failed.
zsh: done             echo '\xe9' |
zsh: IOT instruction  jo -a

base64를 사용할 수 있습니다.

$ echo '\xe9' | jo a=@-
jo: json.c:1209: emit_string: Assertion `utf8_validate(str)' failed.
zsh: done             echo '\xe9' |
zsh: IOT instruction  jo a=@-
$ echo '\xe9' | jo a=%-
{"a":"6Qo="}

---

jsed: 수락하고 U+FFFD로 변환

$ echo '{"a":"\xe9"}' | ./jsed get --path a | uconv -x hex
\uFFFD%

---

^{zgrep -li json ${(s[:])^"$(man -w)"}/man[18]*/*(N)1 JSON을 처리할 수 있는 명령 목록은 참고자료를 참조하세요 .}

^{² C 문자열은 JSON 문자열과 달리 NUL을 포함할 수 없기 때문에 임의의 JSON 문자열을 나타낼 수 없습니다.}

^{3 처리가 문제가 될 수 있지만 두 개의 문자열을 연결하면 유효한 문자로 끝나고 일부 가정이 깨질 수 있습니다.}