병렬 처리 루프에서 파일 읽기

병렬 처리 루프에서 파일 읽기

PCAP 스크립트.

32개의 프로세서가 있는 서버가 있고 이러한 프로세서를 활용하려면 이 스크립트를 최대화해야 합니다. 현재 프로그램은 프로세서 1개만 사용하므로 여러 인스턴스를 동시에 실행 tshark해야 합니다 . tshark현재 아래 스크립트에 정의된 루프는 한 번에 1 pcap을 실행하는데 이는 매우 느립니다. 한 번에 최대 15초 동안 실행해야 tshark하지만 루프가 파일 끝에 도달할 때까지는 그 이상 실행되지 않습니다.

기본적으로 스크립트는 일부 pcap 파일을 읽고 텍스트 파일에 pcap을 나열한 tshark다음 mergecap.

이 예에는 필터링할 pcap 파일이 5개 있습니다.

  1. full_cap_1589
  2. full_cap_1590
  3. full_cap_1591
  4. full_cap_1592
  5. full_cap_1593

#!/bin/bash
# pcap 파일 구문 분석을 위한 테스트 스크립트
#DATE=`날짜|awk '{print $2}'`
세트-x


echo "시작 시간 - 월/일 시간 예시: 07/19 08:00"

읽기 -e 날짜1

echo "종료 시간 - 월/일 시간 예시 07/19 08:35"

읽기 -e 날짜 2

echo "어떤 IP 주소를 필터링해야 하나요?"

읽기 -e IP

$ip를 에코하세요

FIND=`/mnt/pcap/captures/ -type f -newermt "$date1" ! -newermt "$date2" |cut -c20-40 > /home/username/loading_dock/load.txt`

#"${FIND[@]}"의 전체 대문자

나를 위해 `cat /home/username/loading_dock/load.txt`에 있습니다.

하다

  tshark -r /mnt/pcap/captures/$i "-Y ip.addr == $ip" -w /home/username/loading_dock/$i.pcap


완벽한

mergecap -w /home/username/loading_dock/*.pcap -w /home/username/test1.pcap

rm -rf /home/사용자 이름/loading_dock/*.pcap
rm -f /home/사용자 이름/loading_dock/load.txt

0번 출구

답변1

GNU 병렬성을 사용할 수 있습니까?

parallel -j15 tshark -r /mnt/pcap/captures/{} \'"-Y ip.addr == $ip"\' -w /home/username/loading_dock/{}.pcap :::: /home/username/loading_dock/load.txt

GNU Parallel은 동일한 컴퓨터 또는 SSH를 통해 액세스할 수 있는 여러 컴퓨터에서 작업을 병렬로 쉽게 실행할 수 있게 해주는 범용 병렬 처리기입니다.

4개의 CPU에서 32개의 서로 다른 작업을 실행하려는 경우 병렬화하는 간단한 방법은 각 CPU에서 8개의 작업을 실행하는 것입니다.

간단한 스케줄링

대신, GNU Parallel은 작업이 완료되면 새로운 프로세스를 생성하여 CPU를 활성 상태로 유지하여 시간을 절약합니다.

GNU 병렬 스케줄링

설치하다

보안상의 이유로 패키지 관리자를 사용하여 GNU Parallel을 설치해야 하지만 GNU Parallel이 배포용으로 패키지되어 있지 않은 경우 루트 액세스가 필요하지 않은 개인 설치를 수행할 수 있습니다. 이 작업은 10초 안에 완료할 수 있습니다.

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

다른 설치 옵션은 다음을 참조하세요.http://git.savannah.gnu.org/cgit/parallel.git/tree/README

더 알아보기

더 많은 예시 보기:http://www.gnu.org/software/parallel/man.html

소개 비디오 보기:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

이 튜토리얼을 살펴보세요:http://www.gnu.org/software/parallel/parallel_tutorial.html

지원을 받으려면 이메일 목록에 가입하세요.https://lists.gnu.org/mailman/listinfo/parallel

관련 정보