Каждую ночь, когда нагрузка на сервер минимальная, делаю pg_dump, custom-формат, с основного порта кластера БД (не через pgbouncer).
Файл *.bak намедни перевалил за 5 ГБ.
Проблема такая: pgbouncer в это время занимает весь свой max_client_conn лимит, плюс к этому берёт reserve_pool_size и вся система перестаёт обрабатывать запросы.
Лог pgbouncer :
2014-11-18 05:04:20.122 5700 LOG Stats: 1 req/s, IN 42 b/s, out 90 b/s,query 2387565 us 2014-11-18 05:05:20.135 5700 LOG Stats: 1 req/s, IN 22 b/s, out 43 b/s,query 1066 us 2014-11-18 05:06:20.148 5700 LOG Stats: 1 req/s, IN 22 b/s, out 43 b/s,query 1174 us 2014-11-18 05:07:20.162 5700 LOG Stats: 1 req/s, IN 22 b/s, out 43 b/s,query 821 us 2014-11-18 05:08:15.682 5700 WARNING C-018edee0: db/postgres@::1:50183 Taking connection FROM reserve_pool 2014-11-18 05:08:15.776 5700 WARNING C-0193bf40: db/postgres@::1:50184 Taking connection FROM reserve_pool
Перезагрузка pgbouncer'а его приводит в чувства и система продолжает работать дальше. Файл бекапа успешно собран.
В postgresql логе такая кутерьма:
2014-11-18 05:07:59 BDT ОШИБКА: выполнение оператора отменено по запросу пользователя 2014-11-18 05:08:00 BDT ОТМЕТКА: не удалось послать данные клиенту: No connection could be made because the target machine actively refused it. 2014-11-18 05:08:00 BDT ВАЖНО: подключение к клиенту потеряно 2014-11-18 05:08:00 BDT ОШИБКА: выполнение оператора отменено по запросу пользователя ..... 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: процесс с кодом 9828, полученным в запросе на отмену, не найден 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:00 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88 2014-11-18 05:08:01 BDT ОТМЕТКА: ожидался ответ с паролем, но получено сообщение 88
При чём эти ошибки только в заданное время, в другое время их нет.