FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Обсуждение FBDataGuard, IBFirstAid, FBFirstAid, IBBackupSurgeon, IBUndelete и других инструментов IBSurgeon/iBase.ru

Модераторы: Oleg_M, kdv

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 15 апр 2009, 18:38

Кто запасся попкорном: логов получил немало, есть существенный баг.
Буду ловить. :-k

kiby
Сообщения: 18
Зарегистрирован: 13 апр 2009, 15:50

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение kiby » 16 апр 2009, 10:40

кстати вопрос какие системные требования для FBS нужны если нагрузка 200-250 пользователей и 200000 транзакций за рабочий день

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 16 апр 2009, 11:47

kiby писал(а):кстати вопрос какие системные требования для FBS нужны если нагрузка 200-250 пользователей и 200000 транзакций за рабочий день
Какие-то определенных требований нет.
Практика показывает, что установка FBS на тот же сервер, где стоит FB, при 100 активных коннектах не создает ощутимой нагрузки.
Исходите из того, что сервис FBS будет потреблять 150...250 Мб памяти (скоро появятся параметры, влияющие на потребление памяти).
Нагрузка на CPU зависит не столько от количества транзакций (хотя это тоже хороший показатель), сколько от интенсивности запросов.

Можно например, создать экстремальный тест, который будет выполнять prepare запросу много тысяч раз в секунду,
и загрузить FBS один коннектом. Но в реальной задаче таково небывает.

На сколько я помню, версия 2.2.x тестировалась запуском TPC-C на 1000 коннектов.
Нагрузка на процессор составляла <25% на машине P4 2,4 Ггц, 512 Ram

Сейчас на одном из моих серверов (в среднем 40-50 коннектов)
- Пиковое использование памяти сервисом - 160 Мб
- Текущее использование памяти сервисом - 86Мб
- Средняя нагрузка на процессор (CPU Time / время работы) = 1,5%

Предварительные тесты 2.5.x показывают, что потребление времени процессора удвоилось.

В любом случае - надо тестировать. Вы ведь можете не сразу все 250 коннектов пустить через FBS?
Константин Беляев, на сколько я помню, так и делал - постепенно, все новые отделы добавлял.
Были проблемы - присылал логи... я делал новые версии, которые становились лучше.

kiby
Сообщения: 18
Зарегистрирован: 13 апр 2009, 15:50

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение kiby » 16 апр 2009, 12:21

интенсивность запросов примерно 400-450 транзакций в минуту (200000 за 8 часов работы).
кстати вопрос в чем отличие 2.5.х CE от 2.1 которую продаете? и какие ограничения в лицензии (на кол-во подключений, сервера или др.)

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 16 апр 2009, 14:51

kiby писал(а):кстати вопрос в чем отличие 2.5.х CE от 2.1 которую продаете? и какие ограничения в лицензии (на кол-во подключений, сервера или др.)
1) Отличия Community Edition:
http://forum.ibase.ru/phpBB3/viewtopic. ... 38&start=0

>кол-во подключений, сервера
не ограничивается.

2) Различие между FBS2.0...2.2 и FBS2.5 в принцыпиально новом парсере TCPпотока.
Но FBS2.5 еще не вышел и пока не продается.

FBS2.2 и более ранние версии немогут корректно обрабатывать поток FB2.1 и FB2.5.
Т.е. проблемы, конечно, это не вызовет в плане анализа коннектов.
Но картина по транзакциям/стейментам может быть недостоверная:
например внутри коннекта показывается две активные транзакции,
а на самом деле вторая уже закрылась.

Еще раз повторю: на FB2.1 и старше.

FB2.0 + FBScanner2.2 = картина достоверная
IB(любой версии) + FBScanner2.2 = картина достоверная

kiby
Сообщения: 18
Зарегистрирован: 13 апр 2009, 15:50

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение kiby » 22 апр 2009, 09:17

Обновление когда ждать?

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 22 апр 2009, 12:58

Постараюсь к понедельнику (27.04.2009) выпустить v2.5.11.

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 27 апр 2009, 08:55

Oleg_M писал(а):Постараюсь к понедельнику (27.04.2009) выпустить v2.5.11.
Сегодня версии не будет.
Клиентские коннекты уже не зависают, и FBS теперь понимает gds32.dll от Ya или любой версии IB, если вы подключаетесь к серверу FB.
Но сам баг не устранен: error.log пополняется.
Еще немного потерпите.

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 27 апр 2009, 15:47

И все-таки это эвенты.
Ну и ладно. Все равно когда-то надо было FBS c эвентами подружить.

Akella
Сообщения: 95
Зарегистрирован: 13 дек 2005, 12:07

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Akella » 22 май 2009, 13:49

Скачал, установил. При установке всё оставил по умолчанию. Запустил, ввёл пароль.
Запустил IBExpert, подключился к базе (через localhost и через IP пробовал). FBScanner видит подключение к базе, но в колонке Запрос и в нижней панели пусто.

Показывает пользователя, DNS имя, путь к базе.
Firebird 2.0.5, IBExpert 2009.03.25, база в кодировке Win1251, FBScanner 2.5.11

Запустил своё приложение. Которое подключается к той же базе (используется Fib+6.9.6, D2007).
Та же проблема.

В итоге обнаружил, что запрос появляется на долю секунды и сразу исчезает. Куда это годится. Не успеешь и отследить.

Далее открыл Последние запросы. Там номер и запрос. Хотелось бы, чтобы в этом окне была вся та информация, которая видна в главной таблице. И назвать это можно История запросов.

Непонятно, какую роль играет колонка Тэг и почему в момент запроса там проскакивает зелёная полоса.

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 23 май 2009, 22:25

Akella писал(а): ...колонке Запрос и в нижней панели пусто.
Вы уверены, что в данный момент какой-то запрос выполняется?
Небольшая проблема есть, обнаружил вчера, будет исправлено в 2.5.12.
Однако надо понимать, что FBScanner показывает в главной форме тексты запросов, которые выполняются прямо сейчас. Если запрос выполнился за долю секунды, отдал результат и завершился - в главной форме вы его не увидите. Для этого и создана форма "Последние запросы".
Попробуйте запустить тяжелый запрос, который выполняется достаточно долго. Текст запроса виден?
Akella писал(а): Далее открыл Последние запросы. Там номер и запрос. Хотелось бы, чтобы в этом окне была вся та информация, которая видна в главной таблице. И назвать это можно История запросов.
"Последние запросы" - будет дорабатываться в ближайшее время. Смотрите в следующих версиях, но не в 2.5.12
Akella писал(а): Непонятно, какую роль играет колонка Тэг и почему в момент запроса там проскакивает зелёная полоса.
Колонка Тэг выполняет две функции.
1) Графический индикатор (зеленая и розовая полоса), который отображает нагрузку на CPU от данного подключения. Попробуйте запустить тяжелый запрос, который выполняется хотя бы несколько секунд. Попробуйте запустить несколько коннектов, создающих реальную нагрузку. Графический индикатор позволяет одним взглядом найти коннект, который загрузил сервер. Розовый сектор - kernel time, зеленый сектор - user time. Как в Task Manager.
2) Собственно Тэг. Позволяет "подписывать" подключения, а также транзакции и запросы - в полной версии. Например, попробуйте в вашем IBExpert выполнить следующие настройки:

Настройки подключения\Скрипты\после подключения
впишите запрос
SELECT 1 FROM RDB$DATABASE /* FBSCANNER$CON_NAME=IBExpert.Akella; */;

Настройки подключения\Скрипты
включите галку "Also execute event scripts when reconnect"

Akella
Сообщения: 95
Зарегистрирован: 13 дек 2005, 12:07

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Akella » 24 май 2009, 00:08

Вы уверены, что в данный момент какой-то запрос выполняется?
Я так понял, что пока транзакция не подвержена, то запрос виден, а сразу после коммита запрос из соответствующей колонки исчезает.

Тогда как же посмотреть запросы, выполненные за определённое время, от такого-то пользователя и т.д.?
Для этого и создана форма "Последние запросы".
Попробуйте запустить тяжелый запрос, который выполняется достаточно долго. Текст запроса виден?
Да, виден. Но это неудобно.
Есть предложение. Создаём форму, не модальную, но плавающую, которая бы показывала ту же самую таблицу, что и в главной форме, но в виде истории запросов. Т.е. мы видим таблицу записей, которые выполняются/выполнились в данный момент. Таблица же, само собой, динамически наполняется. Ну как это сделано в filemon или regmon М.Руссиновича.
Ну или реализовать это более грамотно.

Может быть есть или будет резон организовать в отдельном потоке запись данных в базу, типа логирование все запросов.

kdv
Forum Admin
Сообщения: 6595
Зарегистрирован: 25 окт 2004, 18:07

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение kdv » 24 май 2009, 04:01

Тогда как же посмотреть запросы, выполненные за определённое время, от такого-то пользователя и т.д.?
Вы, пожалуйста, не путайте мониторинг выполняющихся запросов, и аудит ВЫПОЛНЕННЫХ запросов.
Вы представляете себе, что будет на экране, если FBScanner будет показывать прямо в онлайне весь список выполненных (а не выполняющихся) запросов системой с примерно 100-200 пользователей?

По большому счету, в FBScanner Вы видите примерно то, что есть в FB 2.1 в MON$STATEMENTS, MON$TRANSACTIONS, MON$ATTACHMENTS, только несколько иначе, и с возможностью логирования.
Создаём форму, не модальную, но плавающую, которая бы показывала ту же самую таблицу, что и в главной форме, но в виде истории запросов. Т.е. мы видим таблицу записей, которые выполняются/выполнились в данный момент. Таблица же, само собой, динамически наполняется. Ну как это сделано в filemon или regmon М.Руссиновича.
я против. Лог это одно, а мониторинг выполняющихся - другое. См. выше.

Буквально - всем не угодишь. Мы не можем ориентироваться на тех, кто хочет "медленно" мониторить быстрые запросы.
На самом деле я более чем уверен, что в реальной жизни Вам такое, что Вы хотите сейчас, не надо.
Ну как это сделано в filemon или regmon М.Руссиновича.
А Вы запустите filemon с мониторингом всего, когда запущено штук 10 приложений. Нормально? :) Вот и я об этом же. Все мелькает, понять ничего невозможно.

Akella
Сообщения: 95
Зарегистрирован: 13 дек 2005, 12:07

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Akella » 24 май 2009, 11:11

Ну монитор, обычно используется для отладки того, что передаётся на сервер, т.е. при разработке проекта. Лично я не вижу смысла мониторинга одновременно большого количества пользователей на боевом сервере.
Я пользовался несколько раз SQL монитором У MS SQL, опять же для того чтобы посмотреть что передаётся на сервер.
На самом деле я более чем уверен, что в реальной жизни Вам такое, что Вы хотите сейчас, не надо.
Наоборот - надо.

А вот то, что сейчас видно в главной форме монитора, как можно применить, где? Может я не совсем понимаю назначение монитора? :?
Вы представляете себе, что будет на экране, если FBScanner будет показывать прямо в онлайне весь список выполненных (а не выполняющихся) запросов системой с примерно 100-200 пользователей?
Включаем фильтры... и видим в списке только нужные конкретные запросы.

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 24 май 2009, 16:08

Akella писал(а):Может быть есть или будет резон организовать в отдельном потоке запись данных в базу, типа логирование все запросов.
Оно уже есть, но доступно только в полной версии. Так и называется - логгирование.
Akella писал(а):Ну монитор, обычно используется для отладки того, что передаётся на сервер
Совсем нет. Отладка - вторая функция, не менее важная, но все же вторая.
Если вам нужна отладка - откройте форму Последние запросы, и вы увидите, что она постоянно пополняется новыми запросами, правда без обозначений транзакций. Форма модальная, т.к. изначально не предполагалось открытие нескольких таких форм.
Akella писал(а): А вот то, что сейчас видно в главной форме монитора, как можно применить, где? Может я не совсем понимаю назначение монитора?
Пример1. Звонит разъяренный главбух, и спрашивает "почему все так тормозит?". По главное форме вы не только увидите, кто из пользователей активно работает, но и чем занят именно сейчас. Займет это пару секунд.
Пример2. Вы видите что ваш Classic Server потратил слишком много памяти, или вы по иным признакам видите, что процессов классика ощутимо больше, чем подключений. Как быть? кто создал эти процессы, и на каком этапе они "застряли"? FBScanner в этом смысле - не имеет аналогов. Ибо последние 20 запросов из каждого такого процесса вы увидите.
Пример3. Попробуйте понять, кто держит продвижение OAT на любом сервере до FB2.0 включительно. Да и на FB2.1 много ли вы увидите? Только текущую картинку, а что к этому привело...
Пример4. Вы так же, как и все, приняли к сведению рекомендацию на ошибки вида "INET 10054 " в firebird.log - "просто забить, потому как это всего лишь сеть глючит"? С помощью FBScanner вы легко соберете статистику, коннекты с каких машин и сегментов сети чаще всего так глючат.

Все выше перечисленное относится к мониторингу боевого сервера, в плане периодической потери производительности и трате лишних ресурсов.

Другое применение FBScanner - как вы верно отметили - отладка.
Тогда - да, вы ставите его на машину разработчика... в этом случае я непременно рекомендую вам полную версию,
по нескольким причинам:
1) т.к. вы получаете замеры времени (CPU Time, Execute Time...) по каждому выполненному запросу.
http://csmon.narod.ru/LatestQuery_Full.PNG
2) Вы видите не только коннект, как в Community Edition, но и все открытые транзакции, их флаги, время старта.
А также не один текущий запрос, но и все стейменты:
http://csmon.narod.ru/FBS_Full.PNG


В этом смысле пример монитора MSSQL - интересен, но... у MSSQL нет параллельных транзакций. Им проще.
Если вы разработчик и собираетесь отлаживать - Community Edition вас никак не устроит.

Как вариант - вы можете включить логгирование, и увидеть в логе всю картинку записанную...
Akella писал(а):Включаем фильтры... и видим в списке только нужные конкретные запросы.
Мой телепатический анализатор мне подсказывает, что вы предполагаете для отладки некую форму, в которой будет отображаться история запросов не только одного коннекта. Я прав? Иначе вас бы по всем параметрам устроила форма "Последние запросы" из текущего коннекта. Какой смысл дублировать поля из главной формы, которые никогда не меняются на протяжении коннекта? Часть из них уже повторена в заголовке окна. Список запросов - и сейчас пополняется. С некоторыми ограничениями.

В любом случае, всяческая критика а также хорошо аргументированные "хотелки" - обсуждаются. Лучше в отдельных топиках. Продукт коммерческий. Если мы увидим здравые идеи и поймем, что данная фича будет иметь реальных потребителей, покупающих продукт - она будет реализована.

Akella
Сообщения: 95
Зарегистрирован: 13 дек 2005, 12:07

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Akella » 25 май 2009, 11:40

Спасибо за разъяснения.
1) т.к. вы получаете замеры времени (CPU Time, Execute Time...) по каждому выполненному запросу.
Разве IBExpert даёт не то же самое? Если нет, то в чём различие?

Немного об интерфейсе.
Может будет удобнее дать пользователю сделать так. Разделить главное окно на три части.
В верхней части видим все соединения.
В средней всё, что связано с запросами выделенной строки, той строки, которую выделил пользователь.
В нижней части Memo с запросом выделенной строки из средней части.

Т.е. выделяем строку в верхней части и видим все данные (выполненные и выполняющиеся запросы) по этому соединению в средней части. Выделяем строку в средней части и видим запрос.

Или как-то так?

Хотя переделывать интерфейс, наверное никто не станет.

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 25 май 2009, 12:07

Разве IBExpert даёт не то же самое? Если нет, то в чём различие?
Execute Time - у IBExpert и FBScanner должны совпадать, плюс-минус точность измерения.
Но IBExpert - один частный случай. А как посмотреть Execute Time у произвольной программы?


CPU Time, IBExpert не дает и архитектурно неможет взять. FBScanner дает этот показатель точно для ClassicServer и расчетно для SuperServer.
Нужно это опять-таки для сбора информации с боевого сервера, а не с тестового.
Например, некий запрос выполняется за 10 секунд (Execute Time), если сервер ничем другим сейчас не занят.
Если процессоров/ядер на сервере, скажем, 4, то и четыре таких запроса выполнятся так же, за 10 секунд каждый.
Но что будет, если таких запросов будет 8? Если запустить их одновременно, у каждого время выполнения будет примерно 20сек.
Но CPU Time у всех останется прежние 10сек.
В общем, грубо, CPU Time - это время за которое выполнился бы ваш запрос, если бы сервер занимался только вашим запросом.

Интересно, например, смотреть соотношение Execute Time/CPU Time для одних и тех же запросов в разное время.
При высокой нагрузке и при низкой. Это как раз то, что ощущает реальный пользователь, пользуясь вашей программой, и говоря "сейчас сервер тормозит".
Execute Time/CPU Time = "во сколько раз тормозит".

Разделить главное окно на три части.
вы говорите о полной версии FBScanner. Попробуйте Trial или Demo. Может некоторые вопросы отпадут сами собой.
только там нет средней части, а в верхней - дерево, строки подключений по [+] открываются на содержащиеся в них транзакции и стейтменты.

kiby
Сообщения: 18
Зарегистрирован: 13 апр 2009, 15:50

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение kiby » 20 ноя 2009, 08:22

какая последняя версия FBScanner Community

Oleg_M
Сообщения: 68
Зарегистрирован: 06 апр 2005, 19:04

Re: FBScanner Community Edition 2.5.3 Alpha –приглашаем тестеров

Сообщение Oleg_M » 20 ноя 2009, 08:26

Последняя версия FBScanner 2.6.15

Ответить