Список форумов forum.alsor.net forum.alsor.net
Форум небольшого круга друзей
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Эх, приятна....

 
Начать новую тему   Ответить на тему    Список форумов forum.alsor.net -> IT-форум
Предыдущая тема :: Следующая тема  
Автор Сообщение
Kempoo



Зарегистрирован: 05.05.2006
Сообщения: 18

СообщениеДобавлено: Пт Май 05, 2006 12:56 pm    Заголовок сообщения: Эх, приятна.... Ответить с цитатой

Эт я про то, что приятно, када спецом для тебя ветку открывают....
ну да ладна....есть насущная проблема:
сервак DEPO Storm
xeon 2x3.2GHz RAM 3.5Gb Lan 2xGBit
райд 5 из 5 SCSI + 1 hot spare

стоит

FirebirdCS-1.0.2.908-0.64IO с архитектурой classic
сервера приложений нет, потому фсе коннекты к базе прямые
фсе это под ASP Linux 7.3 (Vostok)

размер базы щас около 7Гб
каждую ночь делается бэкап/рестор кроме вторника в этот день делается просто бэкап с очисткой мусора
юзеров около 60
пиковая нагрузка в обед (load average 3-5)

так вот, это предисловие, а теперь вопрос знатокам....
когда база вспухает до 8гб, то начинается конкретный висяк в часы пиковой нагрузки
при попытке подключиться к базе выдается отказ в обслуживании что можно прооптимизировать/поднастроить/установить шоб облегчить сию проблему....
после 8гигов режу базу(часть промежуточных доков кидаю в архив), после чего получаю 2-1.5 гига....до бесконечности это продолжаться ессесвенно не может...
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Пт Май 05, 2006 1:19 pm    Заголовок сообщения: Ответить с цитатой

В базе что, одни блобы? Иначе что за разговор про какие-то доки? Как долго база "пухнет" до 8 гиг от стартовых 1.5-2?

Сколько транзакций проходит за это время? Сними статистику по базе на текущий момент и покажи. Также покажи все недефолтные значения конфига.

Конкретный висяк - это импотенция. Что именно не работает? "Выдается отказ в обслуживании" - так и пишет? Прямо по-русски? Или может таки процитируешь дословно, что он пишет? Существующие коннекты тормозят или работают нормально, а только новые не принимаются? Что показывает "top" по процессам?

IBAnalyst на базу натравливал? Какие рекомендации он дал?

"бекап с очисткой мусора" - это с ключом -g или без него?

Апгрейд до 1.5 не производится по религиозным соображениям или есть проблемы?

Правильно заданный вопрос - половина ответа. С вышеописанным я могу только в платный саппорт отправить. Так что давай детали.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Пт Май 05, 2006 1:21 pm    Заголовок сообщения: Ответить с цитатой

люди, если вы меня еще и здесь работать заставите, я сбегу нах... Mad
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
alsor



Зарегистрирован: 25.11.2005
Сообщения: 1166
Откуда: Киберпространство

СообщениеДобавлено: Пт Май 05, 2006 1:48 pm    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
люди, если вы меня еще и здесь работать заставите, я сбегу нах...


не боись... мы пока живем на мускуле Laughing С файером на продакшене тут не много юзеров. Вопрос фактически переадресовал я - мне просто самому стало интересно 8 гиг для 1.0 это как вообще? Ты вроде называл какие-то размеры которые для файера уже рекорды - я просто забыл какого они порядка.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
alsor



Зарегистрирован: 25.11.2005
Сообщения: 1166
Откуда: Киберпространство

СообщениеДобавлено: Пт Май 05, 2006 1:49 pm    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
Апгрейд до 1.5 не производится по религиозным соображениям или есть проблемы?


А насчет того что ты первым делом посоветуешь перейти на 1.5 - я был прав Laughing
_________________
JIT happens!
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Пт Май 05, 2006 2:01 pm    Заголовок сообщения: Ответить с цитатой

я не советовал, я спрашивал. Принцип "работает - не трожь" это конечно святое, но для кого мы тогда баги фиксим и фичи делаем? Confused Через пару лет я и не вспомню, что там в 1.0 за проблемы были. Поэтому хочется знать, в чем причины подобного консерватизма.

А про размеры - 8 гиг для 1.0 это абсолютно ненапряжно, при прямых руках тех, кто проектировал базу и приложение. До рекордов тут как до луны. Полтерабайта самая большая известная база на файре.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
alsor



Зарегистрирован: 25.11.2005
Сообщения: 1166
Откуда: Киберпространство

СообщениеДобавлено: Пт Май 05, 2006 2:14 pm    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
при прямых руках тех, кто проектировал базу и приложение.


Ну это понятно, что можно и порш об дерево уебать... Ну то есть 8 гиг это еще не тот предел при котором проблемы начнут появляться именно из-за размера базы.
_________________
JIT happens!
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Пт Май 05, 2006 2:18 pm    Заголовок сообщения: Ответить с цитатой

нет, конечно. Но кривым запросом с натуралом по ведомой таблице можно сервер "опустить" и на 100 меговой базе Wink
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kempoo



Зарегистрирован: 05.05.2006
Сообщения: 18

СообщениеДобавлено: Пт Май 05, 2006 5:40 pm    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
В базе что, одни блобы? Иначе что за разговор про какие-то доки? Как долго база "пухнет" до 8 гиг от стартовых 1.5-2?

доки - связанные записи примерно из 10-15 таблиц- так или иначе, каждый док в разных состояниях имеет в них свои записи.
пухнет за 4-5 месяцев.
dimitr писал(а):
"бекап с очисткой мусора" - это с ключом -g или без него?

без
dimitr писал(а):
Апгрейд до 1.5 не производится по религиозным соображениям или есть проблемы?

мои религиозные соображения здесь не причем, это политика партии в Москве....

dimitr писал(а):
Конкретный висяк - это импотенция. Что именно не работает? "Выдается отказ в обслуживании" - так и пишет? Прямо по-русски? Или может таки процитируешь дословно, что он пишет? Существующие коннекты тормозят или работают нормально, а только новые не принимаются? Что показывает "top" по процессам?

на самом деле я не знаю, че пишет, т.к. прогу пишут в москве....ну а прога сама выдает именно это...существующие тормозят, новые не принимаются...
топ показывает тока плохое....каждый сервер отжирает памяти от 40 до 180мегов...наскока знаю в этой версии чего та плохо реализовано с очисткой памяти ....оператива обычно вся занята...своп 2-3 гига...

dimitr писал(а):
Сколько транзакций проходит за это время? Сними статистику по базе на текущий момент и покажи. Также покажи все недефолтные значения конфига.


dimitr писал(а):
IBAnalyst на базу натравливал? Какие рекомендации он дал?

делал в 17:00 - кол-во 226227
б/р был в 04:00 (работаем круглосуточно)
и в то же время активных транзакций - 216130 (96%)

на бде написано..... Evil or Very Mad
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Сб Май 06, 2006 10:51 am    Заголовок сообщения: Ответить с цитатой

сними статистику с header page (gstat-ом) и покажи тут

а вообще, BDE - это клиника. Если бы не ежедневный b/r, то вообще была бы жопа.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kempoo



Зарегистрирован: 05.05.2006
Сообщения: 18

СообщениеДобавлено: Сб Май 06, 2006 10:57 am    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
сними статистику с header page (gstat-ом) и покажи тут

Database header page information:
Flags 0
Checksum 12345
Generation 226285
Page size 8192
ODS version 10.0
Oldest transaction 10146
Oldest active 10147
Oldest snapshot 2303
Next transaction 226277
Bumped transaction 1
Sequence number 0
Next attachment ID 0
Implementation ID 19
Shadow count 0
Page buffers 1024
Next header page 0
Database dialect 1
Creation date May 5, 2006 4:00:05
Attributes force write

Variable header data:
Sweep interval: 0
*END*
dimitr писал(а):
а вообще, BDE - это клиника. Если бы не ежедневный b/r, то вообще была бы жопа.

потому и стал делать, что без него пипец....
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
Kempoo



Зарегистрирован: 05.05.2006
Сообщения: 18

СообщениеДобавлено: Сб Май 06, 2006 11:01 am    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
Полтерабайта самая большая известная база на файре.

а это где такая? и как, нормальна работает?
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Сб Май 06, 2006 11:28 am    Заголовок сообщения: Ответить с цитатой

Цитата:
Oldest transaction 10146
Oldest active 10147
Oldest snapshot 2303
Next transaction 226277

это происки либо BDE, либо самой проги. Активные транзакции висят с утра и до конца. Сборка мусора по сути парализована. Но раз за сутки выживаете, то не в этом главная проблема на текущий момент.
Цитата:
юзеров около 60
каждый сервер отжирает памяти от 40 до 180мегов

60 * 200 (худший случай) = 1.2GB. Кто ест остальные 2 гига ОЗУ? Или каждая прога открывает несколько коннектов? Или на этом сервере крутится что-то еще?
Цитата:
Page buffers 1024

попробуй уменьшить, хотя бы наполовину.
Цитата:
Attributes force write

если сервер защищен от сбоев питания, то можно попробовать отключить forced writes и настроить линух на сброс файлового кеша раз в 10 минут, скажем.

также интересует содержимое interbase.log в моменты отказов в обслуживании.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Сб Май 06, 2006 11:34 am    Заголовок сообщения: Ответить с цитатой

еще попробуй раз в 100 увеличить V4_LOCK_MEM_SIZE и ANY_LOCK_MEM_SIZE (в конфиге). Т.е. до 10МБ примерно.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Сб Май 06, 2006 11:37 am    Заголовок сообщения: Ответить с цитатой

Kempoo писал(а):
а это где такая? и как, нормальна работает?

в Канаде, оператор телефонной связи. Логи биллинга приходится секционировать вручную (резать помесячно в разные таблицы) из-за ограничения в 36 гиг на таблицу. Сейчас они переходят на FB2, где это ограничение снято. В остальном у них нареканий нет.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kempoo



Зарегистрирован: 05.05.2006
Сообщения: 18

СообщениеДобавлено: Сб Май 06, 2006 4:47 pm    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
60 * 200 (худший случай) = 1.2GB. Кто ест остальные 2 гига ОЗУ? Или каждая прога открывает несколько коннектов? Или на этом сервере крутится что-то еще?

больше ниче не крутится....конечно в топе (да и в других утилитках тоже) низя понять, занята ли память именно процессами или ее просто держит в резерве операционнка....но! есть нюанс, с утра своп почти нулевой....к обеду уже он вырастает до 0.5гига...каких то астрономических сумм сжираемой памяти в топе нет (ну максимум че видел - 380мегов было как-то), всех процессов не более 110...остается не понятным откуда растут ноги у свопа....

dimitr писал(а):
если сервер защищен от сбоев питания, то можно попробовать отключить forced writes и настроить линух на сброс файлового кеша раз в 10 минут, скажем.

ну сервак у нас на упсе арс-5000....конечно, можно и убрать, тока блин оштрафуют меня за это....ну, а во-вторых, почитал я тут про этот кэш, вроде как смысла нет его на SCSI (вот если б иде был....) и в-третьих, все юзеры занимаются разными делами и работа связана с разными таблицами, т.е. получится, что будут кэшироваться все таблицы и выйгрыш если и будет, то мизерный....опять же своп только больше будет
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
Kempoo



Зарегистрирован: 05.05.2006
Сообщения: 18

СообщениеДобавлено: Сб Май 06, 2006 4:55 pm    Заголовок сообщения: Ответить с цитатой

dimitr писал(а):
Цитата:
Page buffers 1024

попробуй уменьшить, хотя бы наполовину.

а на че они влияют?
их тока через рестор менять?

dimitr писал(а):
еще попробуй раз в 100 увеличить V4_LOCK_MEM_SIZE и ANY_LOCK_MEM_SIZE (в конфиге). Т.е. до 10МБ примерно.

а где создаются эти файлы блокировок?
увидел в дире, где сам файр установлен че та типа
isc_lock1_тра-ля-ля это оно?
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Сб Май 06, 2006 5:47 pm    Заголовок сообщения: Ответить с цитатой

Kempoo писал(а):
почитал я тут про этот кэш, вроде как смысла нет его на SCSI (вот если б иде был....) и в-третьих, все юзеры занимаются разными делами и работа связана с разными таблицами, т.е. получится, что будут кэшироваться все таблицы и выйгрыш если и будет, то мизерный....опять же своп только больше будет

не знаю, о чем ты читал, но forced writes - это синхронная запись файла на диск, без кеширования на запись. На наличие и размер файлового кеша это никак не влияет. И насчет SCSI все же ты не совсем прав, кеш контроллера не даст тебе нужную производительность.
Цитата:
а на че они влияют?
их тока через рестор менять?

Влияют на кол-во памяти, отжираемой процессом под страничный кеш. Менять через gfix.
Цитата:
а где создаются эти файлы блокировок?
увидел в дире, где сам файр установлен че та типа
isc_lock1_тра-ля-ля это оно?

оно
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Kempoo



Зарегистрирован: 05.05.2006
Сообщения: 18

СообщениеДобавлено: Сб Май 06, 2006 6:25 pm    Заголовок сообщения: Ответить с цитатой

бальшое спасибо! Блин, сам по себе я человек ленивый, если б не задал вопрос, хрен бы я б щас прочитал стока инфы по этому поводу... но все же интересно, че лежит в свопе и почему все время растет? есть ли какая утилитка, которая может сказать, кому принадлежит кусок свопа?
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
dimitr



Зарегистрирован: 28.11.2005
Сообщения: 1124

СообщениеДобавлено: Сб Май 06, 2006 6:52 pm    Заголовок сообщения: Ответить с цитатой

про своп ничего не могу сказать, я в линухе не копенгаген...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов forum.alsor.net -> IT-форум Часовой пояс: GMT + 4
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Powered by phpBB © 2001, 2005 phpBB Group
Русская поддержка phpBB