Как контролировать использование памяти для тревожных целей

Question

У нас встроенная система Linux без свопа.

В настоящее время мы должны поднять тревогу, когда использование памяти% увеличивается в течение трех секунд. И перезагрузка, когда использование памяти% увеличивается (более высокий) порог.

Почему мы хотим это сделать: если какая-то программа утечка, мы можем сделать безопасную перезагрузку, прежде чем ядро начнет убивать наши процессы (что может привести к повреждению данных или недоступности).

Но у нас есть проблема:

Как посчитать использование памяти -%, которое можно использовать для наших целей?

Мы попытались посчитать использование памяти, используя значения /proc /meminfo:

/ # cat /proc/meminfo
MemTotal:       126744 kB
MemFree:         58256 kB
Buffers:         16740 kB
Cached:          31308 kB
SwapCached:          0 kB
Active:          37580 kB
Inactive:        24000 kB

Безуспешно:

(MemTotal - MemFree) не может использоваться, потому что он содержит, например, кэши.

(MemTotal - MemFree - Buffers - Cached) игнорировал эффект Inactive . Так что это также дает слишком большие значения использования памяти.

(MemTotal - MemFree - Buffers - Cached - Inactive) невозможно использовать, поскольку результат может быть отрицательным.

Answer 1

Мониторинг системы через free

[root@localhost ~]# free
          total       used       free     shared    buffers     cached
Mem:    2058240    1776788     281452          0      89780    1335840
-/+ buffers/cache:  351168    1707072
Swap:   4095992        100    4095892

Посмотрите на строку -/+ buffers/cache used и free

Контролировать каждый процесс через /proc

Я использовал этот скрипт на python и /proc /pid /stat для мониторинга памяти процесса:

http://phacker.org/2009/02/20/monitoring-virtual-memory-usage-with-python/

Вы, вероятно, хотели бы перевести что-то вроде этого в c.

Ограничить ресурс для каждого процесса

или используйте ulimit / setrlimit

https://stackoverflow.com/questions/4983120/limit-memory-usage-for-a-single-linux-process

Answer 2

#!/bin/bash

threshold=90
threshold2=95

freemem=$(($(free -m |awk 'NR==2 {print $3}') * 100))

usage=$(($freemem / 512))

if [ "$usage" -gt "$threshold" ]

then

/etc/init.d/service_name restart

     if [ "$usage" -gt "$threshold2" ]

     then

     echo "The memory usage has reached $usage% on $HOSTNAME." | mail -s "High Memory Usage Alert" admin@domain.com


     fi
fi

Назовите его как alert.sh и выполните команду: chmod +x alert.sh

Сконфигурируйте cron для запуска этого скрипта каждые 10 минут

Обязательно замените "512" на общий объем памяти сервера в МБ, а «admin@domain.com» - на реальный адрес электронной почты. Это отправит уведомление по электронной почте, когда использование памяти превысит 95%, и перезапустит службу "service_name", если оно достигнет 90%.

Answer 3

Вы можете использовать сценарий оболочки в cron с командой free, чтобы отслеживать память и действовать в соответствии с ее значениями. Например, для мониторинга оперативной памяти:

#!/bin/bash

LOG_DIR=/var/log/memory_monitor.log

DATE=$(date +%d/%m/%Y)
TIME=$(date +%H:%M)
TIMESTAMP="$DATE $TIME"

MONITOR=$(free | grep Mem)
MEM_USED=$(echo $MONITOR | awk '{ print $3 }')
MEM_FREE=$(echo $MONITOR | awk '{ print $4 }')

echo "$TIMESTAMP $MEM_USED $MEM_FREE" >> $LOG_DIR

Вместо того, чтобы выводить вывод, вы можете оценить значения в желаемых пределах и отправить по почте, перезагрузиться или выполнить любое другое действие:

if [ eval_values > threshold ]
then
    # Do stuff (mail, reboot, etc)
fi

Затем вы добавляете его в crontab для запуска в нужные вам интервалы.

Answer 4

Еще одна полезная утилита из пакета sysstat - это sar.

Для информации о памяти используйте:

$ sar -r 1
Linux 3.0.0-12-generic (HFC-2600)       05/03/2012      _i686_  (4 CPU)

01:35:45 PM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact
01:35:46 PM    118484    907364     88.45     59200    317368   2169716    104.75    412476    436140

Я определенно мог бы использовать больше оперативной памяти на этой коробке.