Страница 1 из 1

Удаление дублированных записей в таблице

Добавлено: 22 ноя 2007, 09:37
sundoom
Подскажите, плиз, как лучше сделать, чтобы удалить из таблицы БД дублированные данные. К примеру, есть в БД такая таблица физические лица, в которую вносятся соответствующие данные.Есть такие люди, которые посредством клиентского ПО заносят эти данные.Так вот эти люди по несколько раз бывают заносят новых физ. лиц, несмотря на то,что подобная информация уже есть в этой БД.В результате база захломляется. Поэтому и нужно избавится от таких двойных записей.

Re: Удаление дублированных записей в таблице

Добавлено: 22 ноя 2007, 09:52
stix-s
sundoom писал(а):Подскажите, плиз, как лучше сделать, чтобы удалить из таблицы БД дублированные данные. К примеру, есть в БД такая таблица физические лица, в которую вносятся соответствующие данные.Есть такие люди, которые посредством клиентского ПО заносят эти данные.Так вот эти люди по несколько раз бывают заносят новых физ. лиц, несмотря на то,что подобная информация уже есть в этой БД.В результате база захломляется. Поэтому и нужно избавится от таких двойных записей.
1 - поиском по форуму
http://ibase.ru/devinfo/deldupes.htm
2 - индексы уникальные не судьба построить?

Добавлено: 22 ноя 2007, 11:00
WildSery
ИМХО тут проблема несколько шире, чем тупое удаление дубликатов.
Ведь "Иванов", "ивонов" и "Ивaнов" с английской "a" - разные с точки зрения системы записи.
Здесь можно опереться либо на какой-то естественный ключ - например, ИНН, если такой заносится, номер паспорта (хотя это неправильно, его человек может поменять), либо заниматься анализом "схожести" внесённых данных, предварительно приведённых к одному регистру, раскладке, и почищеных от мусора типа пробелов и прочих спецсимволов.

Добавлено: 22 ноя 2007, 13:09
belov-evgenii
плят, сделайте там наконец поиск удобный, тогда и дублировать никто ничего не будет! А так нам быстрей нового забить, чем найти уже существующего! И с транзакциями наконец разберитесь, а то определенно точно непонятки будут. Один занес, другой не видит, попытается занести - фиг вам. А то база, у них, видите ли, захламляется. А то, что до 3 НФ она не дотягивает, вас не волнует? Сплошное дублирование данных тоже пофиг? Чего вы сотрудничать-то не хотите? Когда наконец триггеры в порядок приведете?

Добавлено: 22 ноя 2007, 13:26
stix-s
belov-evgenii писал(а):плят, сделайте там наконец поиск удобный, тогда и дублировать никто ничего не будет! А так нам быстрей нового забить, чем найти уже существующего! И с транзакциями наконец разберитесь, а то определенно точно непонятки будут. Один занес, другой не видит, попытается занести - фиг вам. А то база, у них, видите ли, захламляется. А то, что до 3 НФ она не дотягивает, вас не волнует? Сплошное дублирование данных тоже пофиг? Чего вы сотрудничать-то не хотите? Когда наконец триггеры в порядок приведете?
оооооооо, а вот и пользователь программы автора :)

Добавлено: 22 ноя 2007, 15:03
belov-evgenii
нас несколько тысяч по всей России

Добавлено: 23 ноя 2007, 06:15
sundoom
belov-evgenii писал(а):нас несколько тысяч по всей России
Это точно.Только вот я не автор.Я такой же пользователь корявой проги как и ты. А с запросом по поводу удалением дубликатов я уже частично сделал.Осталось этот запрос сделать на удаление по многим критериям, так сказать, глубокий.

Добавлено: 23 ноя 2007, 09:23
stix-s
belov-evgenii писал(а):нас несколько тысяч по всей России
что за програмулина такая, которая корявая, но тысячи пользуют? :)

Добавлено: 23 ноя 2007, 10:38
belov-evgenii
to stix-s:
Навязали, обязали, приказали - вот и пользуем. Государева служба.

to sundoom:
Ну вот наконец-то хоть ответил. Откуда?

Добавлено: 23 ноя 2007, 11:05
sundoom
belov-evgenii писал(а):to stix-s:
Ну вот наконец-то хоть ответил. Откуда?
Усольский отдел. А ты?

Добавлено: 23 ноя 2007, 11:13
belov-evgenii
Череповец, Вологодская обл.

Добавлено: 26 ноя 2007, 05:33
sundoom
belov-evgenii писал(а):Череповец, Вологодская обл.
а точнее Усольский отдел Иркутской области.

Кстати, у нас в одном из наших отделов ставили коммерческую прогу от фирмы.Она понравилась значительно.Конечно там были свои недоработки, но это ерунда.НО эно стоит денег.Вот так зажмотило наше государство деньги на продукт, который во многих отношениях очень удобен.

Я слыхал, что в Москве, Питере (в общем в тех районах) используют совсем другую прогу - коммерческую.