URL이 포함된 CSV 파일을 처리하여 잘못된 "기본" 포트를 명시적으로 지정된 포트로 교체합니다.

CSV 파일에 URL/포트 설명이 있는데 그 중 일부가 잘못된 "기본" 값입니다.

입력 데이터 예시

http://example.com, 80
https://lookup/bin/search, 443
testecho345.unix.abc1200.org:8115,80
century.testing.external-abc03:6112,80
century.testing.external-abc03:6112,80
https://century.testing.internal-abc03:6112,443
testecho345.unix.abc1200.org:8115,80
testecho345.unix.abc1200.org:8117,80

• 포트 번호가 URL에 명시적으로 지정된 경우 열 2의 '기본 포트' 80을 나중에 .txt 파일에 명시된 실제 포트로 재정의하고 싶습니다 :.
• 행이 http://다음으로 시작하면 포트는 80이어야 하고, 그렇다면 https://포트는 443이어야 합니다. 그러나 포트가 명시적으로 지정되면 포트가 2열에 인쇄되기를 원합니다.
• 또한 중복된 행을 제거하고 싶습니다.

원하는 출력

http://example.com, 80
https://lookup/bin/search, 443
testecho345.unix.abc1200.org,8115
century.testing.external-abc03,6112
https://century.testing.internal-abc03,6112
testecho345.unix.abc1200.org,8117

아래 스크립트를 사용해 보았지만 예상한 결과를 얻지 못했습니다.

    grep -P  '((?<=[^0-9.]|^)[1-9][0-9]{0,2}(\.([0-9]{0,3})){3}(?=[^0-9.]|$)|(http|ftp|https|ftps|sftp)://([\w_-]+(?:(?:\.[\w_-]+)+))([\w.,@?^=%&:/+#-]*[\w@?^=%&/+#-])?|\.port|\.host|contact-points|\.uri|\.endpoint)' 4file|sed 's/com.*/com/'|sed 's/org.*/org/'|grep '^[^#]'|sed '/.com\|.org\|10.\|17./!d'|awk '{split($0,a,"#"); print a[1]}'|awk '{split($0,a,"="); print a[1],a[2]}'|awk '{split($0,a,":"); print a[1],a[2]}'|sed -E 's/^([^:]*):([^,]*),.*$/\1,\2/'|sed 's/^\|#/,/g'|awk '/http:\/\//  {print $2,80}
       /https:\/\// {print $2,443}
       /Points/     {print $2,"9042"}
       /host/       {h=$2}
       /port/       {print h,$2; h=""}'|awk -F'[, ]' '{for(i=1;i<NF;i++){print $i,$NF}}'|awk 'BEGIN{OFS=","} {$1=$1} 1'|sed '/^[0-9]*$/d'|awk -F, '$1 != $2'|sed -E 's_^https?://__'
done |awk '!a[$0]++

당신의 도움에 미리 감사드립니다.