"빅 데이터"(거의 1TB, 더 작은 단위로 나눌 수 있음)를 처리해야 합니다. 여러 프로그래밍 언어(Java, Python, C++, Perl) 및 기타 스크립팅 옵션(Perl, awk, sed 등)을 고려하고 다음과 같은 경우 성능을 비교하는 방법을 고려하세요.
- 데이터는 파일에 있으므로 읽고 처리하기만 하면 됩니다.
- 데이터는 Oracle 서버에 있으므로 Oracle에서 가져와서 처리한 후 다시 Oracle에 넣어야 합니다.
언어의 구문적 복잡성(예: 학습이나 프로그래밍의 어려움)은 내 작업에 중요하지 않습니다. 주요 질문은 I/O 수행에 있어 한 사람이 다른 사람보다 나은지 여부입니다.
답변1
귀하가 제안하는 내용은 많은 양의 데이터처럼 들리지만 오늘날의 기준으로 보면 데이터가 거의 필요하지 않습니다. 저는 직장에서 이 문제를 많이 다루며, 어떤 배포판이든 이를 처리할 수 있으며, 귀하가 나열한 언어는 작업에 달려 있습니다.
제한 요소는 물리적 하드 드라이브 기술입니다. 방정식의 다른 모든 것은 "상관 없음"입니다.