Validation в IB7.5

basile · Сообщение **basile** » 10 июл 2005, 02:52

Всё бы хорошо в ИБ7.5 у меня пропали всякие "болезни" которые были у меня на старых серверах, свип это слово перестало меня пугать теперья могу включать его во время работы пользователей и это их не тревожит, временные таблицы... тоже есть свои вкусности. Но во всем этом "кайфе" (не побоюсь этого слова) есть трудность мож кто пользовался подскажет.
когда делаю validation на своей базе данных (40гб приблизительно) этот процесс занимает где-то около 6-7 часов, точно не мерял потому как на старом ибейзе это было максимум 1,5. это счастье происходит ночью и вроде как не тревожит но ночью хотелось бы ещё чтонить поделать а там gfix -v -full работает

в общем как-то не здорово нифига. может кто скажет что это такое и как с этим бороться?

Сообщение **kdv** » 11 июл 2005, 10:55

IB 7.5.1?

basile · Сообщение **basile** » 11 июл 2005, 11:39

Ага он самый 7.5.1
щас перевёл ещё одну точку на этот ибейз погляжу что она скажет по поводу этого гфикса

basile · Сообщение **basile** » 12 июл 2005, 06:43

Проверил на новой базке которую только что жфиксом прошёлся по ней... база 20 гектар 2 часа... раньше было меньше на 7.0
причем что меня сильно паразило и в первом и во втором случае жфикс сказал что индекс на rdb@dependencies разрушен ну и еще на пару таблиц что самое интересное на теже самые что и в первом что и во втором случае...
что-то мне это не нравиться.
2 разные базы данных одинаковые симптомы... все жили после рестора ну день может 2 (живут и до сих пор, просто жфикс грит что битые слегка)
народ скажите что это? кто пользовался 7.51 может у кого было такое? блин очень не хочется чтобы без базенки остаться

мне руководитель сказал что когда-то он первую 7,1 ставил и был подобный глюк с gfix он рушил индекса самостоятельно, может подобный глюк и здесь.

_so_ · Сообщение **_so_** » 12 июл 2005, 13:22

На 7.5 таких глюков не было (правдо один раз база падала).
Пока не рискую преходить. Мало еще тестится. Локально неделю. Пока не падает, но gfix не запускал. При случае попробую.

Сообщение **kdv** » 12 июл 2005, 13:29

7.5.1 надо. 7.5.0 - нельзя.

basile · Сообщение **basile** » 12 июл 2005, 13:50

Короче в продолжение разговора.
Попробовал несколько точек у себя в конторе и у конторы с подобной базой данных, медленнее стало это факт налицо у меня в разы у кого то в 2 всеголишь раза. Однако в логе пишеться теперь не просто номер индекса а его имя, что конечно упрощает его восстановление

.
однако у всех кого я спросил все сказали что индексы на системные таблицы (RDB$DEPENDENCIES например) сыплются... у меня только на эту замечено у товаришей еще какие-то валяться. мля... что-то меня это пугает.

в общем вот.

KDV вот статистика моя:

Database header page information:
Flags 0
Checksum 12345
Generation 64662714
Page size 4096
ODS version 11.2
Oldest transaction 66279738
Oldest active 66279739
Oldest snapshot 66279739
Next transaction 66545621
Bumped transaction 1
Sequence number 0
Next attachment ID 0
Implementation ID 16
Shadow count 0
Page buffers 131000
Next header page 0
Database dialect 1
Creation date Jun 25, 2005 13:54:41
Attributes no reserve

Variable header data:
Sweep interval: 0

Merlin · Сообщение **Merlin** » 12 июл 2005, 14:00

basile писал(а): Попробовал несколько точек у себя в конторе и у конторы с подобной базой данных, медленнее стало это факт налицо у меня в разы у кого то в 2 всеголишь раза.

Неинтересное поскипано.

basile писал(а): Oldest transaction 66279738
Oldest active 66279739
Oldest snapshot 66279739
Next transaction 66545621

Выпей йаду.

_so_ · Сообщение **_so_** » 12 июл 2005, 14:36

Попробовал gfix IB 7.5.1.
База 6Гб. Длилось приблизительно 30 минут (вроде так было и раньше точно не помню). Все индескы целы.
Но честно сказать база локальная копия и использование минимальное.

Сообщение **kdv** » 12 июл 2005, 14:46

блин, ну и теперь что, я буду из текста выколупывать статистику, сохранять в файл, и засовывать в ibanalyst? Конечно, я это сделаю, но последний раз.

Значит, так. со свипом все ОК, а вот с транзакциями вообще....

Oldest Active отстает от Next на 260 ТЫСЯЧ транзакций. Что за фигня???
Да и транзакций в день - 3.5 миллионов. Вы чем там занимаетесь, вообще?

приложения лупят транзакции почем зря? да я максимум транзакций в день на самых загруженных системах видел - 400 тысяч в сутки.

basile · Сообщение **basile** » 12 июл 2005, 21:50

хехе, прикольно всех удивил. это норма у меня бывало с транзакциями ещё хуже 200 тыщ это ваще просто фигня.

а вот 3-4 миллиона вот это да... в базе работает не меньше 50 каждый из них держит одни и теже таблицы на запись, человек 10 колотит документы это около 10 таблиц на запись, человек 15 заказы, это еще около 10-15 таблиц причем пересекаются с первыми где-то в 70%-тах, ночью туда вкатывается (репликации всякие) с нескольких магазинов хренова гора данных. 40 гектар данных это данные по всем магазинам за всего лишь 3 года (по большому счёту) но скаждым годом данных прирастает всё больше и больше. за следующий год ожидается мной увелечение в 2 раза скорости роста базы данных. когда я пришёл туда базка была 16 гектар или около того это было 1 год назад, ну чуть больше - полтора.
по поводу транзакций были действительно сильные проблемы, но потом программистов сильно напрягли и они пересмотрели свой код вроде как с транзакциями стало проще. перевели отчёты на риадонли (еще бы научились темповыми таблицами пользоваться вообще хорошо былобы, а то я чувствую что я сам половину перепишу пока они ёжика родят). пробовал смотреть что за транзакции вертятся чудным перфмоном, но ещё бы понять что я должен там хорошего или плохого увидеть... короче попялился попялился на несколько десятков активных транзакций и оставил это неблагодарное дело.

один раз в "тяжёлые годы" сервер так заглючило что свип не сдвигал транзакции вообще, милиардные отставания по ним, дисконнект пользователей приводил сервер просто в замешательство, причем так мне и неясно было чтоже это было такое, закончилось бекап/рестором (единственное предположение которое могу сделать это чудный параметр -g при бекапе, потом я его убирал всегда).

а что можно сказать про БД, ну бед масса на мой взгляд и даже не в транзакциях дело, машинка стоит хорошая так что жаловаться с чудным 7,51 на свип нет причин, один только раз было плохо когда пнул задачу она делалась в одной транзакции около 6 часов а потом я по глупости её прервал.... ну 40-50 минут точно никто не работал

задача пересчитывала некоторые параметры часто использующихся справочников, представляю какая там была к тому времени версионность

было весело но недолго.
а так меня расстраивает использование UDF. поскольку программа учёта товародвижения в ней есть масса вещей которые имеют очень сложный алгоритм рассчёта, и программисты внедрили UDF. и всё бы здорово когда базка 1 гектар и пользователей 3 калеки с половинкой, а когда она уже хотябы 20-ть гектар и пару десятков в ней работает... и тут кто-то начинает пересчитыватьчто-либо с помощью удф-ок... начинается шоу, пару раз посчитает конечно а потом сервер перестаёт реагировать на любые раздражители, шатдаунить БД просто безсмысленно кстати стопить сервак ИБ себе дороже, дешевле просто перегрузить сервер БД

хотелось бы услышать мнение по поводу УДФ-ок.
а по поводу гфикса скажу так, когда я его делаю у меня уже прошёлся свип по базе так что переживать за версионность и разницу транзакций нет смысла. свип кстати делается где-то около часа или чуть больше. база хоть и 40 гектар но винтовые операции работают достойно. 40 гиг с себя на себя копируется около 25 минут.

Сообщение **kdv** » 12 июл 2005, 22:07

это норма у меня бывало с транзакциями ещё хуже 200 тыщ это ваще просто фигня. Smile а вот 3-4 миллиона вот это да... в базе работает не меньше 50 каждый из них держит одни и теже таблицы на запись, человек 10 колотит документы это около 10 таблиц на запись, человек 15 заказы, это еще около 10-15 таблиц причем пересекаются с первыми где-то в 70%-тах, ночью туда вкатывается (репликации всякие) с нескольких магазинов хренова гора данных.

это отмазки. тебе привести статистику по базе с 350 активных пользователей? ты в ibanalyst запусти калькулятор транзакций, увидишь, что даже если у тебя 50 человек работает, то каждый человек шарашит по 3 транзакции в секунду (даже если 100 - то 1.3 транзакции в секунду). Это нонсенс. Я тебе совершенно серьезно советую искать или глюк или неверный алгоритм в твоем софте.

чудным перфмоном, но ещё бы понять что я должен там хорошего или плохого увидеть... короче попялился попялился на несколько десятков активных транзакций и оставил это неблагодарное дело.

ну... там несложно. по email попробую объяснить.

Merlin · Сообщение **Merlin** » 12 июл 2005, 23:31

basile писал(а):хехе, прикольно всех удивил. это норма у меня бывало с транзакциями ещё хуже 200 тыщ это ваще просто фигня.

С тоскою я гляжу на это поколенье (С). Сделано через жопу и горжусь этим и гордиться буду пока железо тянет. Ведь перестанет рано или поздно.