cgroups: Linux에서 사용자별 디스크 I/O 대역폭 제한

Question

감사해요LL3내 질문에 대한 의견에 대한 응답으로 맞춤 스크립트를 사용해야 한다는 사실을 알게 되었습니다. 그래서 그게 다입니다. PHP-FPM 프로세스를 조회하고, 해당 실행 사용자와 PID를 가져오고, cgroupsPID를 생성하여 올바른 cgroups.

crontab그런 다음 스크립트가 매시간 실행되도록 항목을 구성했는데 , 제 경우에는 충분했습니다. Linux는 자동으로 하위 프로세스를 상위 프로세스에 넣기 cgroup때문에 스크립트는 실제로 PHP-FPM이 다시 시작할 때마다 실행하면 됩니다. 시작 후 한 번 실행 (예: 시작 시 또는 새 사이트/사용자 추가 시) 매시간 실행되므로 예정된 시간에 수동으로 실행하는 것을 잊지 않도록 도와줍니다.

스크립트는 /cgroups디렉토리가 파일 시스템으로 마운트된다고 가정 cgroup2하므로 이를 미리 준비해야 합니다. /etc/fstab커널이 cgroups기본적으로 버전 1을 설치하는 경우 /etc/default/grubv1을 비활성화하고 재부팅하도록 구성하는 항목을 추가할 수 있습니다 (팁: cgroup_no_v1=all에 추가한 GRUB_CMDLINE_LINUX_DEFAULT후 실행 update-grub && reboot).

현재 한 달 동안 프로덕션 환경에서 실행 중이며 작동하는 것 같습니다. 나는 이것을 배치한 두 서버 중 적어도 하나에 손상된 사이트가 있다고 확신하며 피해를 제한하는 데 꽤 효과적입니다(관련되지 않은 사이트는 때때로 몇 초 동안만 다운됩니다).

이 스크립트의 첫 번째 버전 이후에는 디스크 I/O 모니터링만으로는 충분하지 않기 때문에 CPU와 메모리도 모니터링하도록 편집해야 했습니다.

#!/bin/bash

DEVICE="254:0" # see /proc/partitions, this is /dev/vda in my case
WRITE_IOLIMIT=2097152 # 2MB/s, choose this as a fraction of your disk max write rate, I tested mine with `dd if=/dev/vda of=/testmaxspeed.dd bs=1M count=10000 status=progress`
READ_IOLIMIT=4194304 # 4MB/s, choose this as a fraction of your disk max read rate, I tested mine with `dd if=/dev/vda of=/dev/null bs=1M count=10000 status=progress`

function cleanup
{
  rm -f "$PLISTFILE" >/dev/null 2>&1
}

trap cleanup INT TERM EXIT

PLISTFILE=$(mktemp)

ps axo user:40,pid,comm | grep php-fpm | grep -v 'grep php-fpm' | grep -v '^root ' | tr -s ' ' | cut -d' ' -f 1-2 | sort | uniq > $PLISTFILE

cat $PLISTFILE | while read ROW ; do
  USERNAME=$(echo "$ROW" | cut -d' ' -f1)
  mkdir /cgroups/$USERNAME 2>/dev/null
  echo "$DEVICE rbps=$READ_IOLIMIT" > /cgroups/$USERNAME/io.max
  echo "$DEVICE wbps=$WRITE_IOLIMIT" > /cgroups/$USERNAME/io.max
  echo 402653184 > /cgroups/$USERNAME/memory.high # throttle when user is above 384MB of RAM
  echo 603979776 > /cgroups/$USERNAME/memory.max # OOM-Kill when user is above 576MB of RAM
done

echo "+io" > /cgroups/cgroup.subtree_control
echo "+cpu" > /cgroups/cgroup.subtree_control
echo "+memory" > /cgroups/cgroup.subtree_control

cat $PLISTFILE | while read ROW ; do
  USERNAME=$(echo "$ROW" | cut -d' ' -f1)
  PROCESSID=$(echo "$ROW" | cut -d' ' -f2)
  echo $PROCESSID > /cgroups/$USERNAME/cgroup.procs  
done

Answer 1