수백만 개의 작은 파일 업로드, 저장 및 찾아보기 - 모범 사례

저는 매일 수천 개의 작은 파일을 생성하는 애플리케이션을 개발하고 있습니다. 그런 다음 해당 파일을 NAS에 업로드하고 Windows 컴퓨터의 네트워크 공유에서 검색해야 합니다.

이 프로세스는 기술적으로 가능하지만 파일 업로드와 탐색이 매우 느립니다. Windows 컴퓨터에서는 탐색이 너무 느려 원활하게 진행되지 않습니다.

파일 크기는 매우 작습니다. 그 중 수백만 개가 100MB 미만입니다.

나는 이 문제를 해결하기 위해 몇 가지 가능한 옵션을 생각해 보았습니다.

• 파일을 압축합니다 gz(시도했지만 별로 도움이 되지 않았습니다).
• .tar파일을 연령에 따라 여러 아카이브로 수집합니다(약 10개의 아카이브로 분할됩니다).
• ZFS를 사용하여 다른 NAS에 업로드합니다(현재 NAS에는 없습니다).

이 응용 프로그램이 실행되는 서버는 XFS에서 실행되며 다른 것을 사용하도록 다시 포맷할 수 없습니다.

이것이 도움이 될지는 모르겠지만, 귀하의 경험을 바탕으로 이 상황을 처리하는 가장 좋은 방법이 무엇인지 궁금합니다.

많은 작은 파일을 처리할 때 모범 사례는 무엇입니까?

어떤 의견이라도 대단히 감사하겠습니다.

감사해요!

업데이트: 제안해 주신 모든 분들께 감사드립니다. 파일을 tar 아카이브로 그룹화하고 공유를 NFS로 교체했는데 이제 모든 것이 훨씬 더 원활하게 실행됩니다. 감사합니다!