utf-8 텍스트 파일에 BMP만 유지하는 방법은 무엇입니까? [복사]

보충 다국어 평면(예: UCS-2)을 지원하지 않는 문자 집합을 통해 전달합니다.

$ iconv -f utf-8 -t ucs-2 -c input.txt | iconv -f ucs-2 -t utf-8
这是无效的字符  
这是正常的字符  哈

어떤 트릭도 필요하지 않습니다. Perl은 여러분이 원하는 것을 정확하게 수행합니다.

$ perl -Mopen=locale -ne 's/[^\x{1}-\x{FFFF}]//g; print' infile
这是无效的字符
这是正常的字符  哈

이것을 봐주세요이 답변더 많은 솔루션을 확인하세요.