Как вывести повторяющиеся записи sql

Поиск одинаковых записей в MySQL

Иногда в базе данных бывает нужно подсчитать кол-во записей-дубликатов. Сделать это можно следующим способом:

Давайте поподробнее разберем этот запрос. Нам нужно выявить записи с одинаковыми id в таблице table1, для этого нужно сделать выборку в таблице table1 с условием IN:

что буквально означает «выбрать все из table1 где поле id равно диапазону значений». Последнее слово IN означает, что поле id должно быть равно не просто определенному значению, а соответствовать нескольким значениям, которые указываются в скобках после него. В нашем случае, в скобках после оператора IN указан подзапрос, который и возвращает все дублирующиеся id.

Как было сказано ранее, этот запрос возвращает значения id, которые повторяются более одного раза. «Выбрать id из table1, сгруппировать их и выбрать те, количество которых после группировки больше 1». Происходит группировка по полю id, и в мы как раз можем подсчитать кол-во «сгруппировавшихся» id-шников, т. е. количество одинаковых id. Так как группировка происходит по одному полю — id, то все одинаковые значения id будут сгруппированы в одно, то есть, например, у нас есть 3 айдишника со значением «1», еще 4 айди со значением «2», то есть всего 7 айдишников. В результате 3 айдишника сгруппируются в один, а еще 4 айдишника со значением «2» тоже сгруппируются в отдельную запись, и в результате после группировки мы получим два айдишника вместо 7-ми со значениями «1» и «2». С помощью оператора having и функции count мы можем посчитать кол-во сгруппированных id-шников, и если кол-во сгруппировавшихся id-шников больше 1, то мы учитываем их при выборке (т. е. учитываем их в операторе IN), например, из подзапроса мы узнали, что id-дубликаты — это 1 и 2. В основном запросе мы в итоге получим:

Бывает, что нужно найти записи, которые повторяются не по одному, а по нескольким полям. Допустим у нас есть таблица info с полями name и surname (имя и фамилия), нам нужно найти записи с двумя повторяющимися полями (name и surname). Для этого нам поможет оператор MySQL «CONCAT»:

Источник

Поиск повторяющихся значений в таблице SQL

Легко найти duplicates с одним полем:

Поэтому, если у нас есть таблица

То есть, я хочу получить «Том», «Том».

ОТВЕТЫ

Ответ 1

Просто группируйтесь на обоих столбцах.

Примечание: более старый стандарт ANSI должен иметь все неагрегированные столбцы в GROUP BY, но это изменилось с идеей «функциональной зависимости»:

Ответ 2

если вы хотите, чтобы идентификаторы дубликатов использовали это:

для удаления дубликатов попробуйте:

Ответ 3

Ответ 4

Если вы хотите удалить дубликаты, здесь гораздо более простой способ сделать это, чем найти четные/нечетные строки в тройной выбор:

Намного легче читать и понимать IMHO

Примечание. Единственная проблема заключается в том, что вы должны выполнить запрос до тех пор, пока не удалите строки, поскольку каждый раз удаляйте только по 1 каждого дубликата

Ответ 5

Ответ 6

Ответ 7

Немного поздно на вечеринку, но я нашел действительно крутое обходное решение для поиска всех повторяющихся идентификаторов:

Ответ 8

попробуйте этот код

Ответ 9

В случае, если вы работаете с Oracle, этот способ был бы предпочтительнее:

Ответ 10

Это выбирает/удаляет все повторяющиеся записи, кроме одной записи из каждой группы дубликатов. Таким образом, удаление удаляет все уникальные записи + одну запись из каждой группы дубликатов.

Помните о большем количестве записей, это может вызвать проблемы с производительностью.

Ответ 11

Ответ 12

Если вы хотите увидеть, есть ли в вашей таблице повторяющиеся строки, я использовал ниже Query:

Ответ 13

Как мы можем считать дублированные значения? либо он повторяется 2 раза или больше 2. просто считайте их, а не групповыми.

Ответ 14

Это легкая вещь, которую я придумал. Он использует общее табличное выражение (CTE) и окно раздела (я думаю, что эти функции находятся в SQL 2008 и последующих версиях).

В этом примере найдены все ученики с дублирующимся именем и dob. Поля, которые вы хотите проверить на дублирование, перечислены в предложении OVER. Вы можете включать любые другие поля, которые вы хотите в проекции.

Ответ 15

Ответ 16

SELECT id, COUNT(id) FROM table1 GROUP BY id HAVING COUNT(id)>1;

Я думаю, что это будет работать правильно, чтобы искать повторяющиеся значения в определенном столбце.

Ответ 17

Ответ 18

Используя CTE, мы также можем найти повторяющееся значение

Ответ 19

Это также должно работать, возможно, попробуйте.

Особенно хорошо в вашем случае. Если вы ищете дубликаты, у которых есть префикс или общие изменения, например, например. новый домен в почте. то вы можете использовать replace() в этих столбцах

Ответ 20

Если вы хотите найти повторяющиеся данные (по одному или нескольким критериям) и выбрать фактические строки.

Ответ 21

Ответ 22

SELECT column_name,COUNT(*) FROM TABLE_NAME GROUP BY column1, HAVING COUNT(*) > 1;

Ответ 23

Удалить записи, имена которых повторяются

Ответ 24

Для проверки из дубликата записи в таблице.

Удалить дубликат записи в таблице.

Ответ 25

Мы можем использовать здесь, которые работают с агрегатными функциями, как показано ниже

Здесь в качестве двух полей id_account и data используются Count (*). Таким образом, он выдаст все записи, которые имеют более одного раза одинаковые значения в обоих столбцах.

Мы по какой-то причине ошибочно пропустили добавление каких-либо ограничений в таблицу SQL-сервера, и записи были вставлены дубликаты во все столбцы с интерфейсным приложением. Затем мы можем использовать запрос ниже, чтобы удалить дубликат запроса из таблицы.

Здесь мы взяли все отдельные записи оригинальной таблицы и удалили записи исходной таблицы. Мы снова вставили все различные значения из новой таблицы в исходную таблицу, а затем удалили новую таблицу.

Ответ 26

Удалить записи, имена которых повторяются

УДАЛИТЬ ИЗ CTE ГДЕ T> 1

Ответ 27

Вы можете использовать ключевое слово SELECT DISTINCT, чтобы избавиться от дубликатов. Вы также можете отфильтровать по имени и получить всех с этим именем на столе.

Источник

Как вывести повторяющиеся значения в столбце на T-SQL? Microsoft SQL Server

Приветствую всех на сайте Info-Comp.ru! В этой небольшой заметке я покажу, как можно на SQL вывести повторяющиеся значения в столбце таблицы в Microsoft SQL Server. Все будет рассмотрено очень подробно и с примерами.

Исходные данные для примеров

Сначала давайте я расскажу, какие данные я буду использовать в статье, чтобы Вы четко понимали и видели, какие результаты будут возвращаться, если выполнять те или иные действия.

Сразу скажу, что все данные тестовые.

Следующей инструкцией мы создаем таблицу Goods и добавляем в нее несколько строк, в некоторых из которых значение столбца Price будет повторяться.

Останавливаться на том, что делает та или иная инструкция, я не буду, так как это другая тема, если Вам интересно, можете более подробно посмотреть в следующих статьях:

Вы видите, какие данные есть, именно к ним я буду посылать SQL запрос, который будет определять и выводить повторяющиеся значения в столбце Price.

Выводим повторяющиеся значения в столбце на T-SQL

Основной алгоритм определения повторяющихся значений в столбце состоит в том, что нам нужно сгруппировать все строки по столбцу, в котором необходимо найти повторяющиеся значения, и подсчитать количество строк в каждой сгруппированной строке, а затем просто поставить фильтр (>1) на итоговое количество, отбросив тем самым строки со значением 1, т.е. если значение встречается всего один раз, значит, оно не повторяется, и нам не нужно.

Вот пример всего вышесказанного.

Мы видим, что у нас есть всего два значения, которые повторяются — это 200 и 300. Первое значение, т.е. 200, повторяется 3 раза, второе — 2 раза.

Данные сгруппировали мы конструкцией GROUP BY, подсчитали количество значений встроенной функцией COUNT, а отфильтровали сгруппированные строки конструкцией HAVING.

Выводим все строки с повторяющимися значениями на T-SQL

Но в большинстве случаев просто узнать повторяющиеся в столбце значения недостаточно, иногда необходимо вывести все записи в этой таблице, которые содержат эти повторяющиеся значения.

Это можно реализовать с помощью подзапроса, но использовать подзапрос, в котором будет группировка, не очень удобно, и уж точно неудобочитаемо. Поэтому мне нравится в каких-то подобных случаях использовать CTE (обобщённое табличное выражение) для повышения читабельности кода. Также чтобы сделать результирующий набор данных более наглядным, его можно отсортировать по целевому столбцу, тем самым мы сразу увидим строки с повторяющимися значениями.

Вот пример, в котором мы выводим все строки с повторяющимися значениями в столбце, отсортированные по столбцу Price.

Как видим, сначала у нас идут все строки со значением 200, а затем строки со значением 300. Сортировку мы осуществили конструкцией ORDER BY. Если у Вас возникает вопрос, что такое DuplicateValue, то это всего лишь название CTE выражения, в принципе Вы его можете назвать и по-другому.

Заметка!

Для комплексного изучения языка T-SQL рекомендую почитать мои книги и пройти курсы:

У меня на этом все, надеюсь, материал был Вам полезен. Удачи Вам, пока!

Источник

Поиск повторяющихся значений в MySQL

У меня есть таблица со столбцом типа varchar, и я хотел бы найти все записи, которые имеют одинаковые значения в этом столбце. Какой лучший запрос я могу использовать для поиска дубликатов?

21 ответов

сделать SELECT С GROUP BY предложения. Скажем имя это столбец, в котором вы хотите найти дубликаты:

это вернет результат с имя значение в первом столбце, и сколько раз это значение отображается во втором.

этот запрос возвращает все записи, а не только отдельных varchar_column ‘ s.

построение ответа Левика, чтобы получить идентификаторы повторяющихся строк, которые вы можете сделать GROUP_CONCAT если ваш сервер поддерживает его (это вернет список идентификаторов, разделенных запятыми).

преимущество этого подхода над приведенным выше ответом заключается в том, что он дает ключ.

чтобы узнать, сколько записей дублируется в столбце имя в Employee, следующий запрос полезен;

заменить города С вашего стола. Заменить имя С вашим именем Поля

мой последний запрос включил несколько ответов здесь, которые помогли-объединение group by, count & GROUP_CONCAT.

Это предоставляет идентификатор обоих примеров (разделенных запятыми), штрих-код, который мне нужен, и сколько дубликатов.

изменить таблицу и столбцы соответственно.

Я видел вышеуказанный результат, и запрос будет работать нормально, если вам нужно проверить значение одного столбца, которое дублируется. Например, электронная почта.

но если вам нужно проверить больше столбцов и хотите проверить комбинацию результата, чтобы этот запрос работал нормально:

ниже приведены все product_id, которые используются более одного раза. Вы получите только одну запись для каждого product_id.

С @maxyfc это ответ далее мне нужно было найти все строк, которые были возвращены с повторяющимися значениями, поэтому я мог редактировать их в MySQL Workbench:

Я не вижу никаких присоединений, whitch имеет много применений с точки зрения дубликатов.

Это aproeach дает вам фактические удвоенные результаты.

для удаления повторяющихся строк с несколькими полями сначала отмените их на новый уникальный ключ, который указан только для отдельных строк, затем используйте команду «group by» для удаления повторяющихся строк с тем же новым уникальным ключом:

один очень поздний вклад. в случае, если это поможет кому-нибудь waaaaaay вниз по линии. У меня была задача найти совпадающие пары транзакций (фактически обе стороны переводов со счета на счет) в банковском приложении, чтобы определить, какие из них были » от » и » до » для каждой транзакции между счетами, поэтому мы закончили с этим:

в результате DuplicateResultsTable предоставляет строки, содержащие совпадающие (т. е. повторяющиеся) транзакции, но также предоставляет ту же транзакцию id в обратном порядке во второй раз он соответствует той же паре, поэтому внешний SELECT можно ли группировать по первому идентификатору транзакции, что делается с помощью LEAST и GREATEST чтобы убедиться, что два transactionid всегда находятся в одном порядке в результатах, что делает его безопасным для GROUP первым, тем самым устраняя все дубликаты совпадений. Пробежал почти миллион записей и идентифицировал 12,000+ матчей всего за 2 секунды. Конечно, transactionid является основным индексом, который действительно помогать.

Источник

SQL урок 1. Язык запросов SQL и оператор выбора SELECT

Оператор SELECT sql

SQL-запрос Select предназначен для обычной выборки из базы данных. Т.е. если нам необходимо просто получить данные, не делая с ними никакой обработки и не внося изменений в базу данных, то можно смело использовать данный запмагарос.

Синтаксис оператора SELECT

SELECT * FROM имя_таблицы;

Это самый простой вариант работы с оператором, когда мы выбираем все записи из таблицы БД.

Символ * обозначает выборку всех записей из таблицы. При этом столбцы и строки результирующего набора не упорядочены.

Рассмотрим примеры sql запросов select:

SELECT * FROM teachers;

Чтобы ограничить количество выбранных записей используется служебное слово LIMIT :

SELECT * FROM имя_таблицы LIMIT 2,3;

В примере происходит выборка 3 записей из таблицы, начиная со 2 записи.
Этот запрос особо необходим при создании блока страниц навигации.

Чтобы упорядочить поля результирующего набора, их следует перечислить через запятую в нужном порядке после слова SELECT :

SELECT name, zarplata FROM teachers;

Сортировка в SQL

SELECT name, zarplata, premia FROM teachers ORDER BY name;

SELECT `Скорость`,`Память` FROM `pc` ORDER BY `Скорость` ASC

SELECT `Скорость`,`Память` FROM `pc` ORDER BY 1 ASC

Сортировку можно выполнять по двум полям:

SELECT `Скорость`,`Память` FROM `pc` ORDER BY `Скорость` ASC, `Память` ASC

Сортировку можно производить по возрастанию, тогда добавляется параметр ASC (он же применяется по умолчанию) или по убыванию (в таком случае добавляется параметр DESC ):

SELECT name, zarplata, premia FROM teachers ORDER BY name DESC;

Удаление повторяющихся значений в SQL

DISTINCT (в переводе с английского ОТЛИЧИЕ) — аргумент, который устраняет двойные значения:

SELECT premia FROM teachers;

SELECT DISTINCT premia FROM teachers;

Рассмотрим другой пример из базы данных «Компьютерный магазин»:

SELECT Скорость, Память FROM PC;

Когда требуется получить уникальные строки (например, нас интересуют только различные комбинации скорости процессора и объема памяти, а не характеристики всех имеющихся компьютеров), то нужно использовать Distinct :

SELECT DISTINCT Скорость, Память FROM PC;

Язык sql: where условие

При этом в результирующий набор попадут только те записи, для которых значение предиката равно TRUE (истина).

SELECT * FROM `teachers` WHERE `name` = ‘Иванов’

Несколько условий в SQL

Предикаты (условия) могут состоять как из одного выражения, так и из любой комбинации выражений, построенных с помощью булевых операторов:

SELECT * FROM `teachers` WHERE `zarplata`=10000 and `premia`=500

Реляционные операторы, встречающиеся в условиях:
= Равный
> Больше чем
Меньше чем
>= Больше чем или равно
Меньше чем или равно
<> Не равно

Between в SQL (между)

Синтаксис:

SELECT name, zarplata FROM teachers WHERE (zarplata BETWEEN 5000 And 10000);

SELECT name, zarplata FROM teachers WHERE (zarplata NOT BETWEEN 5000 And 10000);

Предикат IN

Предикат IN определяет, будет ли значение проверяемого выражения обнаружено в наборе значений, который явно определен.

Синтаксис:

SELECT name, zarplata FROM teachers WHERE (zarplata IN (5000,10000,11000));

SELECT name, zarplata FROM teachers WHERE (zarplata NOT IN (5000,10000,11000));

Предикат IN с подзапросом

Предикат IN определяет, будет ли значение проверяемого выражения обнаружено в наборе значений, который получен с помощью табличного подзапроса.

Синтаксис:

SELECT `Номер`,`Скорость`,`HD` FROM `pc` WHERE `Скорость` IN (1000,2000,3000) AND `Номер` IN (Select `Номер` FROM product where Производитель = «Америка»)

Язык SQL запрос LIKE

Предикат LIKE сравнивает проверяемое значение с шаблоном в выражении.

Синтаксис:

SELECT * FROM teachers WHERE (name LIKE «%а»);

Символ % заменяет любую последовательность символов.

Источник