특정 로그 항목을 데이터 파일에 미러링(동기화)하는 방법은 무엇입니까?

특정 로그 항목을 데이터 파일에 미러링(동기화)하는 방법은 무엇입니까?

VPS에서 CentOS 7.7 실행

질문:
특정 검색 기준과 일치하는 특정 로그 파일의 행을 참조 보관을 위해 별도의 데이터 파일로 복사|복사|동기화하는 기본 기능이 있습니까?

목적:
저는 CSF 방화벽을 실행하고 있으며 ASN.1을 기반으로 하는 일반적인 사이버 범죄자에 대한 정기적인 통계 분석을 위해 블록을 나타내는 로그 라인을 보관하고 싶습니다.

방화벽은 국가별 또는 ASN별 차단을 허용합니다. 이는 스팸 및 포트 스캐너를 줄여 원치 않는 트래픽을 96% 이상 제거하는 매우 효과적인 방법입니다. 이전에는 변환된 데이터를회전 가능한 Google 스프레드시트로 분석.

로그 예:

/var/log/lfd.log
Sep 21 06:14:30 server lfd[7330]: *Port Scan* detected from 120.202.192.171 (CN/China/-/-/-/[AS9808 Guangdong Mobile Communication Co.Ltd.]). 6 hits in the last 230 seconds - *Blocked in csf* for 36000 secs [PS_LIMIT]

노트:
• 일치하는 줄은 '로 쉽게 식별됩니다.뇌척수액 폐쇄' 그리고 '로.
• 로그는 하루에 언제든지 최대 120개의 항목을 수신할 수 있습니다.
• 로그 파일은 매주 일요일 오전 0300시 이후에 순환됩니다. 시작 시간과 종료 시간은 일반적으로 이 기간 동안 입력됩니다.
• 회전 파일은 gzip으로 압축되고 이름이 다음과 같이 변경됩니다: /var/log/lfd.log-YYYYMMDD.gz
• 날짜는 불규칙한 형식이므로 통계 분석을 위해 로그 줄의 약 절반이 필요하지 않습니다.

지침:
어떤 항목이 복사되었고 어떤 항목은 아직 복사되지 않았는지 추적할 필요가 없으므로 실시간 솔루션이 이상적이라고 생각합니다. 그렇지 않으면 솔루션은 일관되지 않은 시간에 정기적으로 로그가 순환되고 압축되는 문제를 해결해야 합니다.

이상적으로는 데이터를 아카이브 파일에 복사하여 가장 인기 있는 형식(빈도) 날짜별 범죄자. CSV 또는 TSV 형식만 필요합니다.

[DATE], [COUNTRY], [ASN], [ISP]

저는 이러한 범죄자를 매일부터 매주 분석하고 싶기 때문에 선택한 날짜 기간에 대한 명령줄을 통한 간단한 통계 분석을 포함하여 이를 최대한 쉽게 만들고 싶습니다. 저는 Linux 통계에 대한 경험이 없기 때문에 아카이브 파일에서 호출하기 쉬운 기본 통계 패키지에 대한 제안도 찾고 있습니다. 지금까지 PSPP는 해당 작업에 가장 효과적인 도구인 것으로 보입니다.

선택적 로그 라인 아카이브 생성, 프로세스 중 변환 또는 기본 통계 패키지에 대한 제안에 미리 감사드립니다.

관련 정보