sed 명령과 컬 명령을 사용하여 웹 URL에서 특정 문자열을 추출하는 방법

Question 1

@Nikhil, 귀하의 원래 질문에는 XML 형식이 언급되지 않았으며 원시 콘텐츠만 있었습니다. 데이터가 XML에 포함되어 있다는 것을 알고 있으므로 보다 안정적인 접근 방식은 xmlstarlet을 제안하는 다른 답변 중 하나 또는 이 작업과 관련된 도구의 조언을 따르는 것입니다.

만약 너라면확신하는형식은 변경되지 않으며 이에 대해 빠르고 더러운 작업을 수행하고 싶고 awk를 사용하고 싶습니까? 이것이 효과가 있습니까?

awk -F"." '{print $5}' | sort --unique

다음은 이 코드에 대한 링크와 질문의 일부 샘플 데이터입니다. 온라인으로 사용해 보세요!

Answer

@Nikhil, 귀하의 원래 질문에는 XML 형식이 언급되지 않았으며 원시 콘텐츠만 있었습니다. 데이터가 XML에 포함되어 있다는 것을 알고 있으므로 보다 안정적인 접근 방식은 xmlstarlet을 제안하는 다른 답변 중 하나 또는 이 작업과 관련된 도구의 조언을 따르는 것입니다.

만약 너라면확신하는형식은 변경되지 않으며 이에 대해 빠르고 더러운 작업을 수행하고 싶고 awk를 사용하고 싶습니까? 이것이 효과가 있습니까?

awk -F"." '{print $5}' | sort --unique

다음은 이 코드에 대한 링크와 질문의 일부 샘플 데이터입니다. 온라인으로 사용해 보세요!

Question 2

curl "URL" | grep -E -o 'AP[[:digit:]]+' | sort -u

이렇게 하면 데이터를 가져와 모든 AP 번호를 추출하고 중복 항목을 제거하면서 정렬합니다.

이는 AP 번호가 표시되는 데이터에만 나타나고 다른 관련 없는 위치에는 표시되지 않는다고 가정합니다(표시하는 XML 문서는 끝 부분이 잘립니다).

XML을 보다 안전하게 구문 분석하려면 다음을 사용하십시오 xmlstarlet.

curl "URL" |
xmlstarlet sel -t -v '/timeSeries/series/@parentPath[contains(.,"AP")]' |
grep -E -o 'AP[[:digit:]]+' | sort -u

이는 속성의 모든 긴 값을 구문 분석하여 and parentPath에 전달합니다 .grepsort

그것 으로 이 모든 일을 하는 xmlstarlet것도 가능 합니다 . 여기서는 문자열을 포함하는 속성 값에 해당하는 모든 AP 번호가 필요하다고 가정합니다 credit.

curl "URL" |
xmlstarlet sel -t \
    -m '/timeSeries/series/@parentPath[contains(., "credit")]' \
    -v 'concat("AP", substring-before(substring-after(., "AP"), "."))' -nl

문자열을 찾는 것만으로도 credit일부 AP 번호가 손실된다면, 모두 추출하고 sort -u이전과 같이 결과 목록을 고유하게 만드세요.

curl "URL" |
xmlstarlet sel -t \
    -m '/timeSeries/series/@parentPath' \
    -v 'concat("AP", substring-before(substring-after(., "AP"), "."))' -nl |
sort -u

Answer

curl "URL" | grep -E -o 'AP[[:digit:]]+' | sort -u