AWS EC2 내부의 Centos7을 기반으로 구축된 Jenkins 인스턴스에서 Docker 컨테이너를 구축하거나 실행하고 있습니다. 2개의 CPU와 3.5GB의 여유 메모리를 갖춘 2개의 t2.medium 인스턴스가 있습니다.
어떤 경우에는 다른 컨테이너 안에 컨테이너를 만들고 그냥 끌어서 실행합니다(다른 컨테이너).

오류가 발생하기 시작했습니다.

open /var/lib/docker/overlay/<sha>-init/merged/dev/console: cannot allocate memory

우리는 journalctl얻었다

page allocation failure: order:4

페이지 캐시 덤프를 실행하면 문제가 일시적으로 해결될 수 있습니다.

echo 1 > /proc/sys/vm/drop_caches

그래서 나는 도커 작업을 실행할 때 Dirty메모리 블록이 (필요한 대로) 급증하고 Mapped그 뒤를 따라 점프한다는 것을 발견했습니다. 그러나 DirectMap4k이번 점프는 상대적으로 가깝습니다.

예를 들어:
유휴 기계

cat /proc/meminfo | grep -P "(Dirty|Mapped|DirectMap4k)"
Dirty:               104 kB
Mapped:            45696 kB
DirectMap4k:      100352 kB

주된 동기

cat /proc/meminfo | grep -P "(Dirty|Mapped|DirectMap4k)"
Dirty:             72428 kB
Mapped:            70192 kB
DirectMap4k:      100352 kB

따라서 이 머신이 실패하기 시작하는 데는 어느 정도 시간이 걸리는 반면, 동일한 머신은 보고되어 DirectMap4k: 77824 kB주기적으로 실패하지만(더 복잡한 컨테이너 구축도 처리해야 함) sysctl vm마찬가지입니다.

도커 컨테이너를 빌드/실행하면 메모리 부족 오류가 발생하며 문제는 커널을 안정적으로 만들기 위해 어떤 조정이 필요한지입니다.

---

도커 버전

Client:
 Version:      17.06.0-ce
 API version:  1.30
 Go version:   go1.8.3
 Git commit:   02c1d87
 Built:        Fri Jun 23 21:20:36 2017
 OS/Arch:      linux/amd64

Server:
 Version:      17.06.0-ce
 API version:  1.30 (minimum version 1.12)
 Go version:   go1.8.3
 Git commit:   02c1d87
 Built:        Fri Jun 23 21:21:56 2017
 OS/Arch:      linux/amd64
 Experimental: false

핵심3.10.0-327.10.1.el7.x86_64

시스템 제어 가상 머신

vm.admin_reserve_kbytes = 8192
vm.block_dump = 0
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 30
vm.dirty_writeback_centisecs = 500
vm.drop_caches = 1
vm.extfrag_threshold = 500
vm.hugepages_treat_as_movable = 0
vm.hugetlb_shm_group = 0
vm.laptop_mode = 0
vm.legacy_va_layout = 0
vm.lowmem_reserve_ratio = 256   256     32
vm.max_map_count = 65530
vm.memory_failure_early_kill = 0
vm.memory_failure_recovery = 1
vm.min_free_kbytes = 67584
vm.min_slab_ratio = 5
vm.min_unmapped_ratio = 1
vm.mmap_min_addr = 4096
vm.nr_hugepages = 0
vm.nr_hugepages_mempolicy = 0
vm.nr_overcommit_hugepages = 0
vm.nr_pdflush_threads = 0
vm.numa_zonelist_order = default
vm.oom_dump_tasks = 1
vm.oom_kill_allocating_task = 0
vm.overcommit_kbytes = 0
vm.overcommit_memory = 0
vm.overcommit_ratio = 50
vm.page-cluster = 3
vm.panic_on_oom = 0
vm.percpu_pagelist_fraction = 0
vm.stat_interval = 1
vm.swappiness = 30
vm.user_reserve_kbytes = 108990
vm.vfs_cache_pressure = 100
vm.zone_reclaim_mode = 0