파일 시스템에서 Postgres로 데이터를 로드하고 있습니다. 각 파일에 1개의 json이 포함된 5억 개의 단일 파일이 있습니다. Postgres를 보다 효율적으로 만들기 위해 개별 파일이 아닌 일괄적으로 로드하고 싶습니다. 이제 다음 루프가 생겼습니다.
time for i in datafiles/*; do psql -c "\copy json_parts(json_data) FROM $i"& done
여기에 "대량 기능"을 추가하는 데 도움을 주실 수 있나요? 나는 bash에 능숙하지 않습니다. 한 번에 40개의 파일을 처리한 다음 그 사이에 구분 기호를 추가하여 postgres가 이것이 별도의 줄임을 알 수 있도록 하려면 일종의 외부 루프가 필요하다고 생각합니다. 나는 놀고 있어요
ls|head -$j| tail -40
외부 루프로서, 말했듯이 나는 숙련되지 않았습니다 ...