Unix SORT는 메모리 제한을 준수하지 않습니다.

2024-6-4 • tag-icon

과도한 메모리 사용으로 인해 종료되는 문제에 직면해 있는데 sort왜 주어진 한도를 크게 초과하는지 이해할 수 없습니다.

Context: 
Available physical RAM: 8GB 
Memory in use by system: <500MB (FreeBSD 13) 
Free memory: ~7.5GB 
Swap: 2G
No system hard limit on mem usage ($ ulimit -> unlimited)
File being sorted: 300+ GB 
HDD space: 1Tb+ free both on target or temporary dir.

정렬을 실행할 때 사용 가능한 리소스 제한을 지정하거나 명시적인 매개변수(사용 가능한 값의 90%로 자동 설정되어야 함) 없이 사용하더라도 결국 초과 커밋으로 인해 종료됩니다.

[mario@casa-server ~/pjy]$ sort -S 7G -T /filesWD-WMAY03648941/tmp/ -o /filesWD-WMAY03648941/pjA-sorted.txt pjyA.txt

Killed
[mario@casa-server ~/pjy]$
[mario@casa-server ~/pjy]$ sort -T /filesWD-WMAY03648941/tmp/ -o /filesWD-WMAY03648941/pjA-sorted.txt pjyA.txt

Killed
[mario@casa-server ~/pjy]$

분명히 리소스 제한을 초과합니다. -S 3G로 실행할 때 가끔 5G 사용량을 관찰할 수 있습니다.

# ~5G USAGE EVEN WITH EXPLICIT -S 3G LIMIT


  [mario@casa-server ~]$ sudo procstat -r 3183
  PID COMM             RESOURCE                          VALUE        
 3183 sort             user time                    00:27:51.849171   
 3183 sort             system time                  00:03:28.220262   
 3183 sort             maximum RSS                          5423072 KB
 3183 sort             integral shared memory              10505728 KB
 3183 sort             integral unshared data               1910064 KB
 3183 sort             integral unshared stack             30560128 KB
 3183 sort             page reclaims                        8172561   
 3183 sort             page faults                             1724   
 3183 sort             swaps                                      0   
 3183 sort             block reads                            24296   
 3183 sort             block writes                           17719   
 3183 sort             messages sent                              0   
 3183 sort             messages received                          0   
 3183 sort             signals received                           0   
 3183 sort             voluntary context switches              5868   
 3183 sort             involuntary context switches           30700   
[mario@casa-server ~]$ 


# TOP excerpt
 PID USERNAME    THR PRI NICE   SIZE    RES STATE    C   TIME    WCPU COMMAND
 3183 mario         1 103    0  4657M  4603M CPU3     3  38:23  99.88% sort -S 3G -T /filesWD-WMAY03648941/tmp/ -o /files



# NO SO LIMIT ON USAGE
[mario@casa-server ~]$ sudo procstat -l 3183
  PID COMM             RLIMIT                  SOFT             HARD     
 3183 sort             cputime             infinity         infinity     
 3183 sort             filesize            infinity         infinity     
 3183 sort             datasize               32768 MB         32768 MB  
 3183 sort             stacksize             524288 KB        524288 KB  
 3183 sort             coredumpsize        infinity         infinity     
 3183 sort             memoryuse           infinity         infinity     
 3183 sort             memorylocked           65536 B          65536 B   
 3183 sort             maxprocesses           12186            12186     
 3183 sort             openfiles             234576           234576     
 3183 sort             sbsize              infinity         infinity     
 3183 sort             vmemoryuse          infinity         infinity     
 3183 sort             pseudo-terminals    infinity         infinity     
 3183 sort             swapuse             infinity         infinity     
 3183 sort             kqueues             infinity         infinity     
 3183 sort             umtxp               infinity         infinity     
[mario@casa-server ~]$
[mario@casa-server ~]$ ulimit 
unlimited

이는 7G 제한(7.5에서 사용 가능)에서 실행될 때 또는 제한이 자동으로 설정될 때 종료되는 이유를 설명합니다. 모든 mem+swap 사용을 초과합니다(예상대로 OS에 의해 종료됩니다).

그런데 내가 여기서 무엇을 놓치고 있는 걸까요? man sort:

 -S size, --buffer-size=size
         Use size for the maximum size of the memory buffer.  Size
         modifiers %,b,K,M,G,T,P,E,Z,Y can be used.  If a memory limit is
         not explicitly specified, sort takes up to about 90% of available
         memory.  If the file size is too big to fit into the memory
         buffer, the temporary disk files are used to perform the sorting.

설정된 경우 -S 3GHDD 임시 폴더 대신 RAM을 사용하는 이유는 무엇입니까?

추신: 다른 "메모리 부족으로 인해 종료됨" 문제와 관련하여 이 질문을 하려고 했지만 일부 중재자가 이를 잘못 관리했습니다. 나는 이것이 관련 있는 질문이라고 생각합니다(관련 없는 것으로 표시하면 솔루션이 단편화될 뿐입니다). 또한 다른 가능한 해결책을 많이 읽었지만 이 상황에는 맞지 않습니다.

다들 감사 해요

관련 정보