deduplication

중복 제거 파일 시스템을 갖춘 Pop OS
deduplication

중복 제거 파일 시스템을 갖춘 Pop OS

나는 친구의 개발 컴퓨터를 Linux(PopOS)로 영구적으로 마이그레이션하는 중입니다. 걱정하지 마세요. 그는 부츠를 신고 있고 턱시도도 준비되어 있습니다. 문제는 그의 추진력이다. 거의 프로젝트로 가득 찬 녹슨 512GB HDD에서 마이그레이션하는 것은 256GB SSD이며, 사용된 공간의 대부분은 공급업체 공유 라이브러리(npm hell, 작곡가 등)에서 가져옵니다. 패키지 관리자가 라이브러리를 다운로드한 후 프로젝트에 복사하므로 중복 제거를 처리하는 파일 시스템에 유용할 것이라고 생각했습니다....

Admin

동일한 접두사를 공유하는 일괄 이름 바꾸기 파일
deduplication

동일한 접두사를 공유하는 일괄 이름 바꾸기 파일

내 서버에 중복 항목을 제거하려는 접두어가 포함된 파일 목록이 있습니다. 이들은 완전히 다른 makefile입니다. 생성된 파일인 것 같습니다. {Title} - {yyyy-MM-dd}_{random} - {Description}.ts 예를 들어: Camera Recording - 2023-08-11_14 - Front Deck.ts Camera Recording - 2023-08-11_14 - Back Deck.ts Camera Recording - 2023-08-16_27 - Front Deck...

Admin

20개 이상의 백업 디렉터리, 모든 파일을 1개의 "홈 디렉터리"에 중복 제거하고 싶습니다.
deduplication

20개 이상의 백업 디렉터리, 모든 파일을 1개의 "홈 디렉터리"에 중복 제거하고 싶습니다.

제목에서 알 수 있듯이 나는 텍스트 파일로 가득 찬 약 30개의 파일 서버의 "전체 또는 부분 백업"을 포함하는 파일 구조를 물려받았습니다. 이것은 분명히 말이 되지 않습니다. 저는 이것에 대해 중복 제거를 실행하여 모든 백업의 모든 고유 파일을 포함하는 "마스터 디렉터리"를 생성하고 싶습니다. (이 시점에서 모든 백업을 삭제할 수 있으며 실제로 아무것도 잃지 않습니다.) 예, 파일 변경이 문제라는 것을 알고 있습니다. 이 경우 최신 파일을 유지하고 싶습니다. rdupes, jdupes 및 robin...

Admin

각 열마다 고유한 값을 유지합니다(쉼표로 구분).
deduplication

각 열마다 고유한 값을 유지합니다(쉼표로 구분).

.tsvLinux 시스템에 다양한 유형(문자열, 숫자)의 쉼표로 구분된 값을 포함하는 다음 열이 포함된 (탭으로 구분된 열) 파일이 있습니다 . col1 col2 . NS,NS,NS,true,true . 12,12,12,13 1,1,1,2 door,door,1,1 고유한 가치를 유지하고 싶습니다(아쉽게도 시도했지만 실패했습니다). 출력은 다음과 같습니다. col1 col2 . NS,true . 12,13 1,2 ...

Admin

중복 제거 기능을 갖춘 독립형 파일 서버 필요
deduplication

중복 제거 기능을 갖춘 독립형 파일 서버 필요

상태: Homelab 서버(Windows OS)를 Linux 기반 서버로 다시 설치하고 싶습니다. 섬기는 사람|목적: 백업 시스템(주로 오프라인) 현재 HP Proliant Microserver N54 Turion II Neo N54l 2,2Ghz, 4GB RAM을 사용하고 있습니다. https://geizhals.at/a688459.html 설정 JBOD 스토리지(15,6TiB)에 대한 풀의 물리적 디스크 6개(HDD 5개, SSD 1개) LUN 1개, Windows 공유(SMB/Cifs)를 ...

Admin

여러 zip 파일 중 디렉터리 구조에 원본 파일이 포함되어 있는지 확인하세요.
deduplication

여러 zip 파일 중 디렉터리 구조에 원본 파일이 포함되어 있는지 확인하세요.

여기에 매우 어려운 문제가 있습니다. 다양한 폴더에 많은 사진이 들어 있는 사진 라이브러리가 있습니다. 그러다가 구글 포토를 이용해 사진을 찍기 시작했고, 그 원본을 구글 포토에 넣고 5년 넘게 사용했어요. 이제 Google 포토를 포기하고 싶습니다. 모든 사진을 Google로 내보내고 약 1.5TB(150 x ~10GB 파일) 상당의 모든 Zip 파일을 다운로드했습니다. 이제 원래 디렉토리 구조를 유지하고 Google 포토에서 모든 중복 파일을 제거하고 싶습니다. 이 작업 후에는 기본적으로 각각 고...

Admin

grep을 사용하거나 쉘 스크립트를 사용하는 다른 옵션을 사용하여 텍스트를 나열하고 싶습니다.
deduplication

grep을 사용하거나 쉘 스크립트를 사용하는 다른 옵션을 사용하여 텍스트를 나열하고 싶습니다.

하위 폴더 가 rules/resources있기 때문에 라는 폴더가 있습니다 A. 각 하위 폴더에는 .BCconstraint.yaml 이제 문자열이 포함된 파일을 원합니다 grep. 나는 다음과 같이 사용하려고합니다 :constraint.yamlassetTypegrep grep -rIih assetType rules/resources/ 나는 다음과 같은 결과를 얻습니다. assetType: cloudfunctions.googleapis.com/CloudFunction assetType: cloudfu...

Admin

rmlint 또는 기타 도구를 사용하여 여러 디렉터리(경로 2개 이상)에서 중복 항목을 제거하세요.
deduplication

rmlint 또는 기타 도구를 사용하여 여러 디렉터리(경로 2개 이상)에서 중복 항목을 제거하세요.

여러 디렉터리에서 중복된 파일과 폴더를 제거하려고 하는데 rmlint가 여러 디렉터리 입력을 지원하는지 알고 싶습니다. (둘 중 하나를 참조로 설정하면 두 디렉터리를 사용할 수 있다는 것을 알고 있습니다.) 그렇지 않다면 대용량 디렉토리를 탐색하기 위한 빠르고 효율적인 cli 도구를 찾은 사람이 있습니까? ...

Admin

중복 항목 이동, 병합 및 이름 바꾸기를 위한 Linux 명령
deduplication

중복 항목 이동, 병합 및 이름 바꾸기를 위한 Linux 명령

디렉터리(하위 디렉터리 및 파일 포함)를 다른 디렉터리로 이동하려고 합니다. 일부 mv폴더는 파일이 동일한 디렉터리에 존재하기 때문에 병합되지 않습니다. 이는 소스 디렉터리에 있는 파일이 최신 버전이라 하더라도 이동하면 삭제되기 때문에 좋지 않습니다. 다음 명령이 필요합니다. 대상 디렉터리에 존재하지 않는 디렉터리를 이동합니다. 대상 디렉터리에 이미 존재하는 디렉터리를 병합합니다. 중복된 파일의 이름을 바꿉니다(예: file.txt이미 존재하는 경우 소스 파일의 이름을 로 바꿉니다 file(1).t...

Admin

duperemove에 대한 올바른 블록 크기 선택
deduplication

duperemove에 대한 올바른 블록 크기 선택

여러 하위 볼륨이 있는 BTRFS 파일 시스템의 중복을 제거하려고 합니다. 총 약 3.5TB의 데이터를 보유하고 있으며, 중복 제거 후에는 그 크기가 절반 이상이 될 것으로 예상됩니다. 내 주요 관심사는 개별 블록이 아닌 중복 파일입니다(그러나 여전히 작은 파일을 중복 제거하고 싶습니다). 파일 크기는 매우 다양합니다. 드라이브는 현재 유지 관리 모드에 있습니다. 이는 중복 제거가 진행되는 동안 파일이 변경되지 않음을 의미합니다. duperemove16GB 물리적 메모리, 8GB 스왑 공간을 갖춘 시...

Admin

도구
deduplication

도구

정기적으로 스냅샷을 생성하는 btrfs 볼륨이 있습니다. 스냅샷은 순환되며 가장 오래된 것이 1년이 된 것입니다. 따라서 대용량 파일을 삭제해도 실제로 삭제 후 1년 동안 공간이 확보되지 않을 수 있습니다. 약 1년 전에 파티션을 더 큰 드라이브에 복사했지만 이전 파티션은 그대로 유지했습니다. 이제 새 드라이브가 손상되었으므로 데이터를 가져오는 유일한 방법은 btrfs-restore. 내가 아는 한, 새 드라이브의 데이터는 이전의 더 작은 드라이브에 여전히 맞아야 하며 파일은 실제로 그렇게 많이 변경...

Admin

AWK를 사용하여 타임스탬프별로 다른 중복 항목 필터링
deduplication

AWK를 사용하여 타임스탬프별로 다른 중복 항목 필터링

아래와 같이 타임스탬프별로 정렬된 파일 목록을 제공합니다. 각 파일의 마지막 항목(각 파일의 맨 아래에 있는 파일)을 검색하려고 합니다. 예를 들어: archive-daily/document-sell-report-2022-07-12-23-21-02.html archive-daily/document-sell-report-2022-07-13-23-15-34.html archive-daily/document-loan-report-2022-07-18-05-12-16.html archive-daily/docu...

Admin