Падение скорости записи в VMWare ESXi


 

Имеем:

VMware ESXi 5.5

Различные гостевые системы.

Снапшотов (snapshots) на момент проблемы нет

 

Симптомы:
Ухудшение производительности некоторых гостевых систем
Падение скорости записи на хосте до 4-6 Мбайт в секунду

 

Возможная причина:

Некорректное завершение работы при существующих снапшотах или в момент создания снапшота. Какие-то другие причины которые нарушили работу со снапшотами.

 

Как исправить:

Нужно сделать процедуру consolidation для виртуальных машин с проблемной ситуацией. В vSphere client на вкладке Summary для такой машины будет выдаваться предупреждение:

Configuration Issues
Virtual machine disks consolidation is needed

 

Подробнее:

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2003638

http://kb.vmware.com/selfservice/search.do?cmd=displayKC&docType=kc&docTypeID=DT_KB_1_1&externalId=1007849

 

Другая возможная причина:

Гостевая система использует свой механизм выстраивания очереди запросов к дисковой подсистеме, что в виртуальной среде может привести к ухудшению производительности поскольку происходит накладка

с механизмами организации очереди в гипервизоре. Например: в гостевых системах Linux на базе 2.6 ядра по умолчанию используется механизм Completely Fair Queuing .

VMware советует включать другой:  noop или Deadline.

Проверить:

# cat /sys/block/disk/queue/scheduler

Изменить временно:

# echo noop > /sys/block/sda/queue/scheduler

Изменить постоянно:

Прописать опцию загрузки ядра в /boot/grub/menu.lst

title CentOS (2.6.18-128.4.1.el5)
root (hd0,0)
kernel /vmlinuz-2.6.18-128.4.1.el5 ro root=/dev/VolGroup00/LogVol00 elevator=noop
initrd /initrd-2.6.18-128.4.1.el5.img

Подробнее: Linux 2.6 kernel-based virtual machines experience slow disk I/O performance

Причина найденная в данном кейсе:

HP Smart Array P420i Controller  установленный на хосте (HP ProLiant DL380P G8) после сбоя питания выключил write cache, что и привело к такому сильному снижению
скорости записи. Выключение скорей всего произошло из-за разрядки батареи, но почему не произошла зарядка батареи и включение кэша после восстановления питания — непонятно.
iLO никаких варнингов не показывало.

Поблагодарить: