Удаление дублированных записей в таблице

Модераторы: kdv, CyberMax

Ответить
sundoom
Сообщения: 10
Зарегистрирован: 18 окт 2007, 09:53

Удаление дублированных записей в таблице

Сообщение sundoom » 22 ноя 2007, 09:37

Подскажите, плиз, как лучше сделать, чтобы удалить из таблицы БД дублированные данные. К примеру, есть в БД такая таблица физические лица, в которую вносятся соответствующие данные.Есть такие люди, которые посредством клиентского ПО заносят эти данные.Так вот эти люди по несколько раз бывают заносят новых физ. лиц, несмотря на то,что подобная информация уже есть в этой БД.В результате база захломляется. Поэтому и нужно избавится от таких двойных записей.

stix-s
Заслуженный разработчик
Сообщения: 557
Зарегистрирован: 13 дек 2005, 11:52

Re: Удаление дублированных записей в таблице

Сообщение stix-s » 22 ноя 2007, 09:52

sundoom писал(а):Подскажите, плиз, как лучше сделать, чтобы удалить из таблицы БД дублированные данные. К примеру, есть в БД такая таблица физические лица, в которую вносятся соответствующие данные.Есть такие люди, которые посредством клиентского ПО заносят эти данные.Так вот эти люди по несколько раз бывают заносят новых физ. лиц, несмотря на то,что подобная информация уже есть в этой БД.В результате база захломляется. Поэтому и нужно избавится от таких двойных записей.
1 - поиском по форуму
http://ibase.ru/devinfo/deldupes.htm
2 - индексы уникальные не судьба построить?

WildSery
Заслуженный разработчик
Сообщения: 1738
Зарегистрирован: 05 июн 2006, 16:19

Сообщение WildSery » 22 ноя 2007, 11:00

ИМХО тут проблема несколько шире, чем тупое удаление дубликатов.
Ведь "Иванов", "ивонов" и "Ивaнов" с английской "a" - разные с точки зрения системы записи.
Здесь можно опереться либо на какой-то естественный ключ - например, ИНН, если такой заносится, номер паспорта (хотя это неправильно, его человек может поменять), либо заниматься анализом "схожести" внесённых данных, предварительно приведённых к одному регистру, раскладке, и почищеных от мусора типа пробелов и прочих спецсимволов.

belov-evgenii
Сообщения: 52
Зарегистрирован: 28 сен 2007, 10:19

Сообщение belov-evgenii » 22 ноя 2007, 13:09

плят, сделайте там наконец поиск удобный, тогда и дублировать никто ничего не будет! А так нам быстрей нового забить, чем найти уже существующего! И с транзакциями наконец разберитесь, а то определенно точно непонятки будут. Один занес, другой не видит, попытается занести - фиг вам. А то база, у них, видите ли, захламляется. А то, что до 3 НФ она не дотягивает, вас не волнует? Сплошное дублирование данных тоже пофиг? Чего вы сотрудничать-то не хотите? Когда наконец триггеры в порядок приведете?

stix-s
Заслуженный разработчик
Сообщения: 557
Зарегистрирован: 13 дек 2005, 11:52

Сообщение stix-s » 22 ноя 2007, 13:26

belov-evgenii писал(а):плят, сделайте там наконец поиск удобный, тогда и дублировать никто ничего не будет! А так нам быстрей нового забить, чем найти уже существующего! И с транзакциями наконец разберитесь, а то определенно точно непонятки будут. Один занес, другой не видит, попытается занести - фиг вам. А то база, у них, видите ли, захламляется. А то, что до 3 НФ она не дотягивает, вас не волнует? Сплошное дублирование данных тоже пофиг? Чего вы сотрудничать-то не хотите? Когда наконец триггеры в порядок приведете?
оооооооо, а вот и пользователь программы автора :)

belov-evgenii
Сообщения: 52
Зарегистрирован: 28 сен 2007, 10:19

Сообщение belov-evgenii » 22 ноя 2007, 15:03

нас несколько тысяч по всей России

sundoom
Сообщения: 10
Зарегистрирован: 18 окт 2007, 09:53

Сообщение sundoom » 23 ноя 2007, 06:15

belov-evgenii писал(а):нас несколько тысяч по всей России
Это точно.Только вот я не автор.Я такой же пользователь корявой проги как и ты. А с запросом по поводу удалением дубликатов я уже частично сделал.Осталось этот запрос сделать на удаление по многим критериям, так сказать, глубокий.

stix-s
Заслуженный разработчик
Сообщения: 557
Зарегистрирован: 13 дек 2005, 11:52

Сообщение stix-s » 23 ноя 2007, 09:23

belov-evgenii писал(а):нас несколько тысяч по всей России
что за програмулина такая, которая корявая, но тысячи пользуют? :)

belov-evgenii
Сообщения: 52
Зарегистрирован: 28 сен 2007, 10:19

Сообщение belov-evgenii » 23 ноя 2007, 10:38

to stix-s:
Навязали, обязали, приказали - вот и пользуем. Государева служба.

to sundoom:
Ну вот наконец-то хоть ответил. Откуда?

sundoom
Сообщения: 10
Зарегистрирован: 18 окт 2007, 09:53

Сообщение sundoom » 23 ноя 2007, 11:05

belov-evgenii писал(а):to stix-s:
Ну вот наконец-то хоть ответил. Откуда?
Усольский отдел. А ты?

belov-evgenii
Сообщения: 52
Зарегистрирован: 28 сен 2007, 10:19

Сообщение belov-evgenii » 23 ноя 2007, 11:13

Череповец, Вологодская обл.

sundoom
Сообщения: 10
Зарегистрирован: 18 окт 2007, 09:53

Сообщение sundoom » 26 ноя 2007, 05:33

belov-evgenii писал(а):Череповец, Вологодская обл.
а точнее Усольский отдел Иркутской области.

Кстати, у нас в одном из наших отделов ставили коммерческую прогу от фирмы.Она понравилась значительно.Конечно там были свои недоработки, но это ерунда.НО эно стоит денег.Вот так зажмотило наше государство деньги на продукт, который во многих отношениях очень удобен.

Я слыхал, что в Москве, Питере (в общем в тех районах) используют совсем другую прогу - коммерческую.

Ответить