줄 끝 문자

Question 1

쉬운 수정은 \r줄 끝에서 검색하는 정규식을 사용하는 것입니다( sed파일을 읽을 때 처리되지만 정규식 앵커를 사용하여 감지할 수 있음 $).

sed 's/\r$//' file.dos >file.txt

sed리터럴 지원이 없으면 스크립트 \r에 리터럴 캐리지 리턴을 포함하는 Bash "C 스타일" 문자열을 사용해 보세요 sed.

sed $'s/\r$//' file.dos >file.txt

...또는 기호 표현이 표준인 Awk를 사용하세요.

awk '{ sub(/\r$/, "") } 1' file.dos >file.txt

...또는 dos2unix논리를 바이너리로 캡슐화하는 이 도구를 사용하세요.

dos2unix file.dos

당신은 또한 볼 수 있습니다https://stackoverflow.com/questions/39527571/are-shell-scripts-sensitive-to-encoding-and-line-endings

이 전처리 후에 표준 이메일 도구를 사용하여 헤더를 추출할 수 있습니다. Procmail은 모든 헤더 행의 접기를 제공 formail -c하거나 추가할 수 있습니다 -z. 또는 간단한 Awk 단일 행을 사용할 수도 있습니다.

awk '!body { if(NR > 1 && $0 ~ /^[^ \n]/) printf "\n"; printf "%s", $0 }
  /^$/ { printf "\n"; body=1 }
  body'

물론 원한다면 sub이전 Awk 솔루션의 작업을 이 스크립트의 상단에 추가 할 수 있습니다.

데모:https://ideone.com/1z8uOU

Answer

쉬운 수정은 \r줄 끝에서 검색하는 정규식을 사용하는 것입니다( sed파일을 읽을 때 처리되지만 정규식 앵커를 사용하여 감지할 수 있음 $).

sed 's/\r$//' file.dos >file.txt

sed리터럴 지원이 없으면 스크립트 \r에 리터럴 캐리지 리턴을 포함하는 Bash "C 스타일" 문자열을 사용해 보세요 sed.

sed $'s/\r$//' file.dos >file.txt

...또는 기호 표현이 표준인 Awk를 사용하세요.

awk '{ sub(/\r$/, "") } 1' file.dos >file.txt

...또는 dos2unix논리를 바이너리로 캡슐화하는 이 도구를 사용하세요.

dos2unix file.dos

당신은 또한 볼 수 있습니다https://stackoverflow.com/questions/39527571/are-shell-scripts-sensitive-to-encoding-and-line-endings

이 전처리 후에 표준 이메일 도구를 사용하여 헤더를 추출할 수 있습니다. Procmail은 모든 헤더 행의 접기를 제공 formail -c하거나 추가할 수 있습니다 -z. 또는 간단한 Awk 단일 행을 사용할 수도 있습니다.

awk '!body { if(NR > 1 && $0 ~ /^[^ \n]/) printf "\n"; printf "%s", $0 }
  /^$/ { printf "\n"; body=1 }
  body'

물론 원한다면 sub이전 Awk 솔루션의 작업을 이 스크립트의 상단에 추가 할 수 있습니다.

데모:https://ideone.com/1z8uOU

Question 2

sed는 기본적으로 한 번에 한 줄만 확인하고 버퍼에 개행 문자도 포함하지 않으므로 쉬운 방법은 s/\r\n/.../말할 것도 없고 그런 일도 할 수 없습니다. s/\r\n +//전체 파일을 한 번에 처리하도록 예약해야 합니다.

이것이 sed에서 쉽게 수행될 수 있는지는 확실하지 않지만 적어도 GNU sed에서는 -z개행 문자 대신 NUL 바이트를 구분 기호로 사용하는 옵션을 사용할 수 있습니다. 텍스트 파일에는 NUL이 있어서는 안 됩니다. 따라서 실제로는 전체 파일을 읽는 효과가 있습니다.

예를 들어 다음 입력 파일을 사용합니다.

$ cat -A foo.txt
from: foo bar^M$
to: someone ^M$
  someone else^M$
cc: something ^M$
   something else^M$
^M$

다음과 같이 작동할 수 있습니다.

$ sed -z -Ee 's/\r\n +//g' foo.txt |cat -A
from: foo bar^M$
to: someone someone else^M$
cc: something something else^M$
^M$

또는 옵션을 통해 전체 파일을 읽을 수 있는 Perl을 사용할 수도 있습니다 -0777.

$ perl -0777 -pe 's/\r\n +//g' foo.txt |cat -A
from: foo bar^M$
to: someone someone else^M$
cc: something something else^M$
^M$

하지만 이메일 헤더 처리에 대한 규칙이 무엇인지 잘 모르므로 이에 대해서는 언급하지 않겠습니다. 하지만 이메일 처리를 위한 도구/라이브러리/모듈이 이미 있다는 점에 유의하세요. 또한 동일한 파일에 메시지 데이터가 있는 경우 여기서 수행하는 작업도 메시지 데이터를 손상시킵니다.

Answer