☰

내 서버가 응답하지 않는 이유에 대한 가능한 설명

tag-icon • tag-icon linux filesystems
내 서버가 응답하지 않는 이유에 대한 가능한 설명

내 서버가 몇 분 동안 응답하지 않게 되기 직전에 관련성이 있어 보이는 다음 로그 줄을 발견했습니다. 나는 이것이 무엇을 의미하고 어떤 조건에서 발생하는지 더 잘 이해하고 싶습니다.

Aug 25 18:23:32 myserver journal: Runtime journal is using 776.0M (max allowed 793.9M, trying to leave 1.1G free of 6.9G available → current limit 793.9M).
Aug 25 18:23:32 myserver journal: Runtime journal is using 776.0M (max allowed 793.9M, trying to leave 1.1G free of 6.9G available → current limit 793.9M).
Aug 25 18:23:32 myserver kernel: INFO: task in:imjournal:2125 blocked for more than 120 seconds.
Aug 25 18:23:32 myserver kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Aug 25 18:23:32 myserver kernel: in:imjournal    D ffff88042bd2b8c8     0  2125      1 0x00000080
Aug 25 18:23:32 myserver kernel: ffff88041bfdfdb8 0000000000000082 ffff88042be0bec0 ffff88041bfdffd8
Aug 25 18:23:32 myserver kernel: ffff88041bfdffd8 ffff88041bfdffd8 ffff88042be0bec0 ffff88042be0bec0
Aug 25 18:23:32 myserver kernel: ffff88042bd2b8b8 ffff88042bd2b8c0 ffffffff00000000 ffff88042bd2b8c8
Aug 25 18:23:32 myserver kernel: Call Trace:
Aug 25 18:23:32 myserver kernel: [<ffffffff8168c7f9>] schedule+0x29/0x70
Aug 25 18:23:32 myserver kernel: [<ffffffff8168dfa5>] rwsem_down_write_failed+0x115/0x220
Aug 25 18:23:32 myserver kernel: [<ffffffff81327647>] call_rwsem_down_write_failed+0x17/0x30
Aug 25 18:23:32 myserver kernel: [<ffffffff812a84c0>] ? cap_mmap_addr+0x60/0x60
Aug 25 18:23:32 myserver kernel: [<ffffffff8168b9bd>] down_write+0x2d/0x30
Aug 25 18:23:32 myserver kernel: [<ffffffff811a07fc>] vm_mmap_pgoff+0x8c/0xe0
Aug 25 18:23:32 myserver kernel: [<ffffffff811b62d6>] SyS_mmap_pgoff+0x116/0x270
Aug 25 18:23:32 myserver kernel: [<ffffffff8102fb82>] SyS_mmap+0x22/0x30
Aug 25 18:23:32 myserver kernel: [<ffffffff81697809>] system_call_fastpath+0x16/0x1b

도움이 된다면 내 서버에 대한 몇 가지 정보를 알려드리겠습니다.

Centos 7.3 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux - 쿼드 코어(16GB RAM 포함) - 2TB 소프트 RAID 드라이브

답변1

imjournal 사용이 성능에 미치는 영향에 대한 이 기사를 확인하세요.
http://www.rsyslog.com/doc/v8-stable/configuration/modules/imjournal.html

특히 이 부분은:

경고: 일부 시스템 로그 버전에는 로그가 긴밀한 루프에서 동일한 데이터를 끝없이 반환하게 만드는 데이터베이스 손상 문제가 있습니다. 이로 인해 rsyslog 내에서 많은 수의 메시지 중복이 발생하여 시스템 리소스가 고갈되면 서비스 거부가 발생할 수 있습니다. 이는 적절한 속도 제한기를 사용하여 어느 정도 완화할 수 있지만, 그래도 오래된 데이터에는 끝없이 반복되는 급증이 있습니다. 기본적으로 속도 제한이 활성화되어 10분 안에 20,000개의 메시지를 처리할 수 있습니다. 이는 대부분의 사용 사례에 충분합니다. 충분하지 않은 경우 아래 매개변수를 사용하여 허용되는 볼륨을 조정하세요. 꼭 필요한 경우에만 이 플러그인을 사용하는 것이 좋습니다.

전반적으로 imuxsock 사용을 고려해야 한다고 생각합니다.

관련 정보