Удаление дубликатов в excel с помощью таблиц

Удаление дубликатов в Microsoft Excel

Для меня человека который проводит время в отпуске и работает с мобильного интернета скорость которого измеряется от 1-2 мегабита, прокачивать в пустую такое кол-во товара с фотографиями смысла не имеет и время пустое и трафика сожрет не мало, поэтому решил повторяющиеся товары просто удалить и тут столкнулся с тем, что удалить дублирующиеся значения в столбце не так то и просто, потому как стандартная функция excel 2010 делает это топорно и после удаления дубликата двигает вверх нижние значения и в итоге у нас все перепутается в документе и будет каша.

В данной статье будет представлено два варианта решения проблемы.

1 Вариант — Стандартная функция в эксель — Удалить дубликаты

Я не могу пропустить этот вариант, хоть он и самый примитивный но может это то, что именно Вы искали для своей ситуации, поэтому давайте рассмотрим тот функционал который идет из коробки самого экселя

Для этого выделим те столбцы или область в какой надо удалить дубликаты и зайдем в меню Данные и потом выберем Удалить дубликаты, после чего у нас удаляться дубликаты, но будет сдвиг ячеек, если для вас это не критично, то этот способ Ваш!

2 Вариант — Пометить дубликаты строк в Лож или Истина

Этот вариант самый простой и отсюда сразу вылетает птичка которая ограничит этот вариант в действии, а именно в том, что им можно воспользоваться если у вас все дублирующие значения идут по порядку, а не в разнобой по всему документу

для примера возьмем два столбика с данными, в одном (пример1) дублирующие значения повторяются, а в (примере2) в разнобой и не идут друг за другом.

В примере1 мы должны в стоящей рядом ячейки нажать знак ровно и выбрать первое и нижние значение что бы формула была такая:

и нажимаем энтер, и у нас в этой ячейки в зависимости от данных должно появится значение Лож или Истина

ЛОЖ — если А1 не будет равно А2

Истина — если А1 будет ровно А2

если применить этот вариант на столбце Пример2, то как вы поняли везде будет значение Лож

Этот вариант хорош только в редких случаях, но его тоже надо знать, его ограничение в том что эта формула сравнивает себя и следующее значение, тоесть она применима только одновременно к двум ячейкам, а не ко всему столбцу. Но если у вас данные как с столбце Пример2, тогда читайте дальше )

3 Вариант — Удалить дубликаты в столбе

Вот этот вариант уже более сложный, но он решит вашу проблему на все 100% и сразу ответит на все вопросы.

Как видим у нас имеется столбец в котором все значения идут не по порядку и они перемешаны

Мы как и в прошлый раз в соседнюю ячейку вставляем следующую формулу

После применения которой у нас будет либо пуская ячейка, либо значение из ячейки напротив.

из нашего примера сразу видно, что в этом столбце было два дубля и эта формула нам значительно сэкономила времени, а дальше фильтруем второй столбец и в фильтре выбираем пустые ячейки и дальше удаляем строки, вот и все)

Таким образом я в документе который который скачал у поставщика создал перед артикулом пустой столбце и далее применил эту формулу и после отфильтровав получил документ который был на 6-8 тыс строк меньше и самое главное после удаление дубликатов у меня не поднимались значения вверх, все стояло на своих местах

Надеюсь статья была полезная, если не поняли я прикрепил к каналу видео смотрите его или задавайте вопросы,

Удалить дубликаты строк в Excel с помощью функции «Удалить дубликаты»

Если вы используете последними версиями Excel 2007, Excel 2010, Excel 2013 или Excel 2016, у вас есть преимущество, потому что эти версии содержат встроенную функцию для поиска и удаления дубликатов — функцию Удалить дубликаты
.

Эта функция позволяет находить и удалять абсолютные дубликаты (ячейки или целые строки), а также частично соответствующие записи (строки, которые имеют одинаковые значения в указанном столбце или столбцах). Разберем на примере, как пошагово использовать функцию Удалить дубликаты в Excel
.

Примечание
. Поскольку функция Удалить дубликаты
навсегда удаляет идентичные записи, рекомендуется создать копию исходных данных перед удалением повторяющихся строк.

1. Для начала выберите диапазон, в котором вы хотите удалить дубликаты
   . Чтобы выбрать всю таблицу, нажмите Ctrl+A
   .
2. Далее перейдите на вкладку «ДАННЫЕ
   » —> группа «Работа с данными
   » и нажмите кнопку «Удалить дубликаты
   ».

Удалить дубликаты в Excel — Функция Удалить дубликаты в Excel

1. Откроется диалоговое окно «Удалить дубликаты
   ». Выберите столбцы для проверки дубликатов и нажмите «ОК
   ».

• Чтобы удалить дубликаты строк
  , имеющие полностью одинаковые значения во всех столбцах, оставьте флажки рядом со всеми столбцами, как показано на изображении ниже.
• Чтобы удалить частичные дубликаты
  на основе одного или нескольких ключевых столбцов, выберите только соответствующие столбцы. Если в вашей таблице много столбцов, лучше сперва нажать кнопку «Снять выделение
  », а затем выбрать столбцы, которые вы хотите проверить на предмет дубликатов.
• Если в вашей таблице нет заголовков
  , уберите флаг с поля «Мои данные содержат заголовки
  » в правом верхнем углу диалогового окна, которое обычно выбирается по умолчанию.

Удалить дубликаты в Excel — Выбор столбца(ов), который вы хотите проверить на наличие дубликатов

Готово! Все дубликаты строк
в выбранном диапазоне удалены, и отображается сообщение, указывающее, сколько было удалено дубликатов

записей и сколько уникальных значений осталось.

Удалить дубликаты в Excel — Сообщение о том, сколько было удалено дубликатов

Функция Удалить дубликаты в Excel
удаляет 2-ой и все последующие дубликаты экземпляров, оставляя все уникальные строки и первые экземпляры одинаковых записей. Если вы хотите удалить дубликаты строк
, включая первые вхождения, т.е. если вы ходите удалить все дублирующие ячейки. Или в другом случае, если есть два или более дубликата строк, и первый из них вы хотите оставить, а все последующие дубликаты удалить

, то используйте одно из следующих решений описанных в .

Поиск и выделение дубликатов цветом

Чтобы выделить дубликаты на фоне других ячеек каким-то цветом, надо использовать условное форматирование. Этот инструмент имеет множество функций, в том числе, и возможность выставлять цвет для обнаруженных дубликатов. 

В одном столбце

Условное форматирование – это наиболее простой способ определить, где находятся дубликаты в Excel и выделить их. Что нужно сделать для этого?

1. Найти ту область поиска дубликатов и выделить ее.

2. Переключить свой взор на Панель инструментов, и там развернуть вкладку «Главная». После нажатия на эту кнопку появляется набор пунктов, и нас, как уже было понятно исходя из информации выше, интересует пункт «Повторяющиеся значения».

3. Далее появляется окно, в котором нужно выбрать пункт «Повторяющиеся» и нажать на клавишу ОК.

Теперь дубликаты подсвечены красным цветом. После этого нужно их просто удалить, если в этом есть необходимость. 

В нескольких столбцах

Если стоит задача определить дубликаты, расположенные больше, чем в одной колонке, то принципиальных отличий от стандартного использования условного форматирования нет. Единственная разница заключается в том, что необходимо выделить несколько столбцов. 

Последовательность действий, в целом, следующая:

1. Выделить колонки, в которых будет осуществляться поиск дубликатов.
2. Развернуть вкладку «Главная». После этого находим пункт «Условное форматирование» и выставляем правило «Повторяющиеся значения» так, как это было описано выше. 

3. Далее снова выбираем пункт «Повторяющиеся» в появившемся окошке, а в списке справа выбираем цвет заливки. После этого кликаем по «ОК» и радуемся жизни.

Дубликаты строк

Важно понимать, что между поиском дублей ячеек и строк есть огромная разница. Давайте ее рассмотрим более подробно

Посмотрите на эти две таблицы.

1718

Характерная особенность тех таблиц, которые были приведены выше, заключается в том, что в них приводятся одни и те же значения. Все потому, что в первом примере осуществлялся поиск дубликатов ячеек, а во втором видим уже повторение строк с информацией. 

Итак, что нужно сделать для поиска повторяющихся значений в рядах?

1. Создаем еще одну колонку в правой части по отношению к таблице с исходной информацией. В нем записывается формула, которая выводит объединенную информацию со всех ячеек, входящих в состав строки. =A2&B2&C2&D2

2. После этого мы увидим информацию, которая была объединена.

3. После этого следует выбрать дополнительную колонку (а именно, те ячейки, которые содержат объединенные данные).
4. Далее переходим на «Главная», а затем снова выбираем пункт «Повторяющиеся значения» аналогично описанному выше. 
5. Далее появится диалоговое окно, где снова выбираем пункт «Повторяющиеся», а в правом перечне находим цвет, с использованием которого будет осуществляться выделение. 

После того, как будет нажата кнопка «ОК», повторы будут обозначены тем цветом, который пользователь выбрал на предыдущем этапе.

Хорошо, предположим, перед нами стоит задача выбрать те строки, которые располагаются в исходном диапазоне, а не по вспомогательной колонке? Чтобы это сделать, нужно предпринять следующие действия:

1. Аналогично предыдущему примеру, делаем вспомогательную колонну, где записываем формулу объединения предыдущих столбцов. =A2&B2&C2&D2

2. Далее мы получаем все содержащиеся в строке значения, указанные в соответствующих ячейках каждой из строк.

3. После этого осуществляем выделение всей содержащиеся информации, не включая дополнительный столбец. В случае с нами это такой диапазон: A2:D15. После этого переходим на вкладку «Главная» и выбираем пункт «Условное форматирование» – создать правило (видим, что последовательность немного другая).

4. Далее нас интересует пункт «Использовать формулу для определения форматируемых ячеек», после чего вставляем в поле «Форматировать значения, для которых следующая формула является истинной», такую формулу. =СЧЁТЕСЛИ($E$2:$E$15;$E2)>1

Для дублированных строк обязательно установить правильный формат. С помощью приведенной выше формулы можно осуществить проверку диапазона на предмет наличия повторов и выделить их определенным пользователем цветом в таблице.

23

Удаление, поиск и обработка дублирующихся элементов

Перед вами откроется окно, где нужно будет указать область поиска. Указывается она заполнением поля «Искать в:»

В появившемся списке вам нужно выбрать область, в которой будете искать дубли. Мы выбираем справочник «Контрагенты».

Удобнее всего искать дубли через другие реквизиты, нежели имя. Например, для справочника «Контрагенты» чаще всего используют ИНН и КПП, а для «Номенклатуры» используют артикул.

Как только вы задали все условия поиска вам нужно нажать кнопку «Найти дубли». Программа начнет составлять список из всех повторяющихся элементов. Вам нужно будет выбрать элемент в правом окне, чтобы увидеть информацию о том, где он использован и число объектов, где данный элемент задействован.

Тот элемент, который имеет наибольшее число записей, отмечается как оригинальный и выделяется синей стрелочкой. Если какие-то объекты вы не планируете обрабатывать, то снимите с него галочку. Если вы хотите изменить объект при удалении, то нажмите на кнопку «Отметить, как оригинал».

Как только вы нажмете кнопку «Удалить дубли», то программа сразу перенесет все объекты, где были задействованы двойники на оригинал. Таким образом документы с «двойниками» будут объединены с оригинальным документом.

Теперь вы можете закрыть обработку или начать поиск дублирующих документов в другом месте. Для этого нужно нажать кнопку «Новый поиск».

Давайте теперь найдем дубли элементов, которые находятся в справочнике «Номенклатура». Будем сравнивать в данном случае их по наименованию и артикулу.

Как и в прошлый раз нам нужно найти и удалить дубли.

Теперь давайте посмотрим, что с дублями произошло в справочнике. Для этого выберете «Меню – Справочники – Покупки и продажи». Вы можете заметить, что дубль был помечен на удаление. Кроме того, можно заметить, что ИНН у «двойников» выделен ярко красным. Дело в том, что программа имеет контроль совпадений по ИНН.

Теперь нужно перейти в «Номенклатуру» для этого выбирайте «Меню – Справочники – Покупки и продажа» и выполнить поиск по названию, так как зрительно похожие название не отображаются. Если присмотреться внимательно, то можно заметить, что у одного из элементов перед названием стоит пробел. Из-за этого пользователь не может найти его в списке и создал новый элемент. Причем эта ситуация встречается довольно часто.

Теперь вы знаете, что, используя лишь штатные функции программы, можно привести базы данных в порядок и очистить их от «двойников». После того, как вы пометите их на удаление, то удалить их можно обычным способом используя раздел «Удаление помеченных объектов» (он находится в Меню – Администрирование – Сервис). Периодически проверяйте свои справочники чтобы избежать захламления и путаницы с ненужными элементами в информационной базе.

Остались вопросы? Закажите бесплатную консультацию наших специалистов!

Настройка плана видов расчетов в 1С 8.3
Декомпилятор модулей 1С 8.3

Как удалить дубли с помощью различных программ

Найти в интернете утилиты, созданные для удаления дублей и прочего мусора с жесткого диска, не составит труда. Среди них есть как платные, так и бесплатные программы, а выбор конкретной зависит от предпочтений владельца компьютера. Вот несколько приложений, высоко оценённых пользователями.

1. CCleaner.

   «нулевые»;

   Говоря о качественной очистке компьютера от мусора, нельзя не упомянуть CCleaner. Помимо стандартной очистки компьютера, утилита предлагает и поиск дублей.Сделать это можно в разделе «Сервис». Здесь по желанию пользователя задаются критерии поиска: по размеру, дате, названию или содержанию. Также есть возможность пропускать некоторые файлы, например:

2. скрытые;
3. размер которых превышает заданный.

Утилита позволяет изменять и задавать место или диск, в котором будет проводиться поиск. Результаты отображаются в виде таблицы, ее можно сохранить. Плюс ко всему файлы можно сразу удалить, о.

DupKiller. Приложение бесплатно доступно на официальном сайте. Утилита позволяет находить файлы с любым разрешением. Сортировать найденные дубли можно по размеру, дате, содержимому или имени.Из плюсов:

• интерфейс полностью на русском языке;

большое количество настроек и вариантов сортировки;
быстрая работа на всех устройствах.

DupeGuru. DupeGuru подходит и Mac, и Windows. Полностью бесплатно. Приложение ищет файлы с одинаковыми и похожими названиями.Отлично справляется с музыкальным файлами, находя среди них дубли даже при разных тегах. Утилита умеет сравнивать не только одинаковые, но и похожие файлы.DupeGuru поддерживается и на Mac, и на Windows, однако разработчики больше не работают над версией для Windows. На сайте можно скачать последний вариант программы – он полностью работоспособный.

AllDup.

поддержка любой операционной системы от Windows XP до Windows 10;

AllDup – приложение, чьими отличительными особенностями является:
по ходу поиска возможно просмотреть каждый файл, не закрывая приложение, а также сразу переименовать или перенести в другое место.

Также следует отметить, что утилита полностью поддерживает русский язык и является бесплатной.

Duplicate Cleaner Free.

фильтрацию по разрешению изображения;

Duplicate Cleaner Free позволяет обнаружить копии файла любого формата. Среди плюсов при работе с этим приложением выделяют:
наличие бесплатной версии;
высокую скорость и качество работы.

Однако для расширения возможностей поиска, например, изображений следует установить платную версию. Утилита пользуется большой популярностью из-за удобства и эффективности в работе.

Важно! При необходимости удаления дубликатов файлов конкретного типа также разработаны отдельные приложения. Например, только для музыки, изображений или видео. Приложений по поиску дубликатов в памяти компьютера великое множество

Установка хотя бы одного из них и периодичность в использовании дают ощутимое преимущество и позволяют провести качественную и полную очистку. Оптимизация места на жёстком диске положительно скажется на работе компьютера

Gemini 2. Одно из лучших приложений для Mac. Программа платная, стоит 20 долларов на официальном сайте.Утилита ищет как копии, так и просто похожие файлы, показывая, в чём между ними разница. Приложение также способно запоминать файлы, которые уже были оставлены в предыдущие проверки.

Duplicate Finder. Приложение позволяет искать и сортировать файлы по размеру и названию. Отличительный плюс в том, что утилита удаляет «нулевые» и пустые папки. Программа также бесплатна, однако не поддерживает русского языка.

Приложений по поиску дубликатов в памяти компьютера великое множество. Установка хотя бы одного из них и периодичность в использовании дают ощутимое преимущество и позволяют провести качественную и полную очистку. Оптимизация места на жёстком диске положительно скажется на работе компьютера.

Как скрыть строки, если они дублируются в Excel?

Например, у вас есть таблица с несколькими повторяющимися строками, и теперь вы хотите скрыть эти повторяющиеся строки, как это сделать в Excel? Здесь я представлю оба метода, чтобы легко ее решить.

Скрыть строки, если они дублируются с помощью функции расширенного фильтра

Фактически, мы можем применить функцию расширенного фильтра Microsoft Excel, чтобы легко скрыть повторяющиеся строки в диапазоне. Вы можете сделать следующее:

1. Выберите диапазон, в котором вы скроете повторяющиеся строки, и нажмите кнопку Данные > Дополнительные.

2. В открывшемся диалоговом окне Advanced Filter установите флажок Только уникальные записи и нажмите OK кнопку.

Затем вы увидите, что в выбранном диапазоне отфильтровываются только уникальные строки, как показано ниже:

Скрыть строки, если они дублируются с Kutools for Excel

Иногда вам может потребоваться скрыть все повторяющиеся строки, включая первую (или исключая первую). В этом случае вы можете попробовать Kutools for Excel’s Выберите повторяющиеся и уникальные ячейки утилита в Excel.

Kutools for Excel — Включает более 300 удобных инструментов для Excel. Полнофункциональная бесплатная 30-дневная пробная версия, кредитная карта не требуется! Бесплатная пробная версия сейчас!

1. Выберите диапазон, в котором вы скроете повторяющиеся строки, и нажмите кнопку Kutools > Выберите > Выберите повторяющиеся и уникальные ячейки.

2. В диалоговом окне «Выбор повторяющихся и уникальных ячеек» установите флажок Дубликаты (кроме 1-го) Вариант или Все дубликаты (включая 1-й) вариант, проверьте Выбрать целые строки и нажмите Ok кнопка. См. Снимок экрана ниже:

Появится диалоговое окно, в котором будет показано, сколько строк было выбрано. Щелкните значок OK чтобы закрыть его.

3. Щелкните правой кнопкой мыши заголовок выбранной строки и выберите Спрятать из контекстного меню.

Затем вы увидите, что все повторяющиеся строки скрыты сразу, как показано на следующих снимках экрана:

Выберите Дубликаты (кроме 1-го) можно получить результат:

Выберите Все дубликаты (включая 1-й), вы можете получить результат:

Kutools for Excel — Включает более 300 удобных инструментов для Excel. Полнофункциональная бесплатная 30-дневная пробная версия, кредитная карта не требуется! Get It Now

Быстро выбрать все повторяющиеся / уникальные значения из столбца в Excel

В общем, мы можем легко удалить дубликаты из списка с помощью Данные > Удалить дубликаты в Excel. Но как выбрать повторяющиеся / уникальные значения или подсчитать их из столбца? А что, если выбрать или подсчитать дубликаты / уникальные, кроме первого дубликата? Попробуйте Kutools для Excel Выберите повторяющиеся и уникальные ячейки утилита! Полнофункциональная бесплатная 30-дневная пробная версия!

Kutools for Excel — Включает более 300 удобных инструментов для Excel. Полнофункциональная бесплатная 30-дневная пробная версия, кредитная карта не требуется! Get It Now

Демо: скрыть строки, если они дублируются с Kutools for Excel

Kutools for Excel включает более 300 удобных инструментов для Excel, которые можно бесплатно попробовать без ограничений в течение 30 дней. Скачать и бесплатную пробную версию сейчас!

2. Удаление дубликатов с помощью формул

Есть несколько способов воспользоваться формулами в Google Таблицах, которые помогут вам идентифицировать и удалять повторяющиеся данные, некоторые из которых более сложные, чем другие. Вот самые простые способы использования формул для удаления дубликатов.

Использование УНИКАЛЬНОЙ формулы

Этот метод удаляет дубликаты в выбранном вами диапазоне данных. Он сравнивает каждую строку данных и удаляет все повторяющиеся строки. Его очень легко реализовать, поскольку он включает одну формулу с одним аргументом – диапазон, из которого вы хотите удалить дубликаты.

Используйте УНИКАЛЬНУЮ формулу, выполнив следующие действия:

1. Откройте свою таблицу Google .
2. Выберите пустую ячейку.
3. Введите эту формулу = UNIQUE (A2: D9), указав ячейки, которые вы хотите выбрать.
4. Нажмите Enter на клавиатуре или щелкните мышью. Теперь у вас будет вторая таблица с удаленными дубликатами.

Использование формулы СЧЁТЕСЛИ

Этот метод сначала выделяет дубликаты в вашем наборе данных. Когда значение отображается впервые, счет будет 1, поэтому результат формулы будет ложным. Но когда значение появится во второй раз, счет будет 2, поэтому результат формулы будет ИСТИНА.

Преимущество этой формулы в том, что она позволит вам просмотреть дубликаты перед удалением.

Выполните следующие действия, чтобы использовать формулу СЧЁТЕСЛИ для удаления дубликатов с листа:

1. Откройте свою таблицу Google .
2. Создайте новый столбец рядом с столбцом данных, который вы хотите проверить на наличие дубликатов, используя команду Вставить слева в разделе Вставка в меню.
3. Введите = СЧЁТЕСЛИ (диапазон, критерии)> 1 в верхней ячейке нового столбца, который вы создали, чтобы выделить дубликаты. В нашем примере формула для проверки повторяющихся фамилий будет = СЧЁТЕСЛИ (B $ 2: B2, B2)> 1 . Вы заметите, что диапазон равен B $ 2: B2 , знак $ блокирует диапазон до текущей строки, даже если вы копируете формулу в столбец C. Таким образом, эта формула будет проверять наличие дубликатов в текущей строке обратно вверх. для тебя.

Удалите дубликаты с помощью инструмента «Удалить дубликаты»

Удаление дубликатов — это настолько обычное дело, что люди делают в Google Таблицах, что теперь есть специальная опция для быстрого удаления дубликатов записей.

Предположим, у вас есть набор данных, как показано ниже, и вы хотите удалить все повторяющиеся записи из этого набора данных.

Ниже приведены шаги по удалению дубликатов из набора данных в Google Таблицах:

• Выберите набор данных, из которого вы хотите удалить повторяющиеся записи
• В меню выберите пункт «Данные».
• Нажмите на опцию Удалить дубликаты.
• В диалоговом окне «Удалить дубликаты» убедитесь, что выбран параметр «Данные имеют строку заголовка» (в случае, если в ваших данных есть строка заголовка).
• Убедитесь, что выбран параметр «Выбрать все» (в разделе «Столбцы для анализа»).
• Нажмите кнопку «Удалить дубликаты».

Вышеупомянутые шаги мгновенно удалят все повторяющиеся записи из набора данных, и вы получите результат, как показано ниже.

Когда вы используете опцию «Удалить дубликаты», чтобы избавиться от повторяющихся записей, это не повлияет на данные вокруг них. Это означает, что при его использовании не удаляются строки и не удаляются ячейки. Он просто удаляет повторяющиеся записи из ячеек (без нарушения ячеек в наборе данных).

3. Удаление дубликатов с помощью сводных таблиц

Сводные таблицы могут быть чрезвычайно полезны для поиска дубликатов в таблице Google. Он чрезвычайно гибкий и быстрый в использовании, поэтому часто это отличное место для начала, если вы не уверены, есть ли у вас какие-либо дубликаты в ваших данных.

Выполните следующие действия, чтобы определить и удалить дубликаты с листа:

1. Откройте свою таблицу Google .
2. Выделите свой набор данных.
3. В меню « Данные» выберите « Сводная таблица» .
4. Выберите, хотите ли вы создать эту новую таблицу на новом листе или на существующем листе . Редактор сводной таблицы откроется справа от вашего листа.
5. Выберите « Строки» и выберите столбец, который вы хотите проверить на наличие дубликатов (например, фамилию).
6. Выберите ЗНАЧЕНИЯ , выберите тот же столбец, что и выбранный выше, и убедитесь, что он настроен для суммирования по COUNT или COUNTA .

Теперь вы можете легко найти эти повторяющиеся значения на исходном листе и решить, что делать дальше. Как видите, этот метод идеально подходит, когда вы проверяете наличие дубликатов и хотите изучить их подробнее.

Поиск дубликатов при помощи встроенных фильтров Excel

Организовав данные в виде списка, Вы можете применять к ним различные фильтры. В зависимости от набора данных, который у Вас есть, Вы можете отфильтровать список по одному или нескольким столбцам. Поскольку я использую Office 2010, то мне достаточно выделить верхнюю строку, в которой находятся заголовки, затем перейти на вкладку Data (Данные) и нажать команду Filter (Фильтр). Возле каждого из заголовков появятся направленные вниз треугольные стрелки (иконки выпадающих меню), как на рисунке ниже.

Если нажать одну из этих стрелок, откроется выпадающее меню фильтра, которое содержит всю информацию по данному столбцу. Выберите любой элемент из этого списка, и Excel отобразит данные в соответствии с Вашим выбором. Это быстрый способ подвести итог или увидеть объём выбранных данных. Вы можете убрать галочку с пункта Select All (Выделить все), а затем выбрать один или несколько нужных элементов. Excel покажет только те строки, которые содержат выбранные Вами пункты. Так гораздо проще найти дубликаты, если они есть.

После настройки фильтра Вы можете удалить дубликаты строк, подвести промежуточные итоги или дополнительно отфильтровать данные по другому столбцу. Вы можете редактировать данные в таблице так, как Вам нужно. На примере ниже у меня выбраны элементы XP и XP Pro.

В результате работы фильтра, Excel отображает только те строки, в которых содержатся выбранные мной элементы (т.е. людей на чьём компьютере установлены XP и XP Pro). Можно выбрать любую другую комбинацию данных, а если нужно, то даже настроить фильтры сразу в нескольких столбцах.

Расширенный фильтр для поиска дубликатов в Excel

На вкладке Data (Данные) справа от команды Filter (Фильтр) есть кнопка для настроек фильтра – Advanced (Дополнительно). Этим инструментом пользоваться чуть сложнее, и его нужно немного настроить, прежде чем использовать. Ваши данные должны быть организованы так, как было описано ранее, т.е. как база данных.

Перед тем как использовать расширенный фильтр, Вы должны настроить для него критерий. Посмотрите на рисунок ниже, на нем виден список с данными, а справа в столбце L указан критерий. Я записал заголовок столбца и критерий под одним заголовком. На рисунке представлена таблица футбольных матчей. Требуется, чтобы она показывала только домашние встречи. Именно поэтому я скопировал заголовок столбца, в котором хочу выполнить фильтрацию, а ниже поместил критерий (H), который необходимо использовать.

Теперь, когда критерий настроен, выделяем любую ячейку наших данных и нажимаем команду Advanced (Дополнительно). Excel выберет весь список с данными и откроет вот такое диалоговое окно:

Как видите, Excel выделил всю таблицу и ждёт, когда мы укажем диапазон с критерием. Выберите в диалоговом окне поле Criteria Range (Диапазон условий), затем выделите мышью ячейки L1 и L2 (либо те, в которых находится Ваш критерий) и нажмите ОК. Таблица отобразит только те строки, где в столбце Home / Visitor стоит значение H, а остальные скроет. Таким образом, мы нашли дубликаты данных (по одному столбцу), показав только домашние встречи:

Это достаточно простой путь для нахождения дубликатов, который может помочь сохранить время и получить необходимую информацию достаточно быстро. Нужно помнить, что критерий должен быть размещён в ячейке отдельно от списка данных, чтобы Вы могли найти его и использовать. Вы можете изменить фильтр, изменив критерий (у меня он находится в ячейке L2). Кроме этого, Вы можете отключить фильтр, нажав кнопку Clear (Очистить) на вкладке Data (Данные) в группе Sort & Filter (Сортировка и фильтр).

Откуда берутся дубликаты файлов

Появление дублей отдельных файлов может быть результатом активности некоторых программ. Но главным создателем хаоса на жестких дисках и флешках является все-таки сам пользователь. Нередко дубликаты важных для пользователя файлов создаются именно пользователем — как правило, это бэкапы и резервные копии медиафайлов, потеря которых нежелательна или недопустима. С одной стороны, это правильно и помогает предотвратить полное удаление (случайное или преднамеренное) важных файлов. С другой стороны, процесс создания и накопления копий редко бывает осознанным, что в итоге приводит к нехватке свободного места, переполнению дискового пространства.

Бороться с лишними дублями можно и нужно. Самый логичный способ — правильная структура каталогов (папок) и подкаталогов в компьютере, а также ее регулярное использование — при каждом копировании, перемещении, скачивании файлов. Но идеальных людей и условий не бывает, приходится работать с тем, что есть, а именно — иногда разгребать накопившиеся файловые свалки.

Удалять дубликаты файлов можно и вручную, но этот процесс может растянуться, без преувеличения, на годы. В качестве примера приведу собственный фотоархив, который я собираю с 2008 года — с тех пор, когда у меня появился первый цифровой фотоаппарат. Раньше с дисковым пространством было совсем туго, и волей-неволей я периодически проводил ревизию фото и видео на своем компьютере, сбрасывая упорядоченные по датам папки на DVD-диски — так происходило до 2011 года. С 2012 года мой фотоархив, если его можно так назвать, постепенно накапливался (фотографии сбрасывались туда, где было место) и бессистемно копировался (на всякий случай, чтобы не потерять). Покупались новые флешки и внешние жесткие диски. Порядка было все меньше, в итоге к настоящему времени, когда мне удалось собрать все медиафайлы воедино — со всех доступных носителей, общий объем их составил ни много ни мало 629 Гб, 1559 папок, 118237 файлов! Посмотрим, что может предложить в этом запущенном случае бесплатная программа поиска дубликатов файлов AllDup, и как пользоваться этим инструментом во благо.

Вариант 3: Замена

Этот метод удобно применять, когда необходимо найти повторяющиеся строки в небольших таблицах. Мы будем использовать инструмент Find and Replace
(Поиск и замена), который встроен во все продукты Microsoft Office. Для начала необходимо открыть таблицу Excel, с которой планируется работать.

Открыв таблицу, выберите ячейку, содержимое которой требуется найти и заменить, и скопируйте ее. Для этого выделите нужную ячейку и нажмите сочетание клавиш Ctrl+C
.

Скопировав слово, которое необходимо найти, воспользуйтесь сочетанием Ctrl+H
, чтобы вызвать диалоговое окно Find and Replace
(Поиск и замена). Вставьте скопированное слово с поле Найти
, нажав Ctrl+V
.

Нажмите кнопку Options
(Параметры), чтобы открыть дополнительный список опций. Установите флажок у пункта Match entire cell contents
(Ячейка целиком). Это необходимо сделать, поскольку в некоторых ячейках искомые слова находятся вместе с другими словами. Если не выбрать эту опцию, можно непреднамеренно удалить ячейки, которые требуется оставить. Убедитесь, что все остальные настройки соответствуют указанным на рисунке ниже.

Теперь необходимо ввести значение в поле Replace with
(Заменить на). В данном примере мы воспользуемся цифрой 1
. Введя нужное значение, нажмите Replace All
(Заменить все).

Можно заметить, что все значения duplicate
в ячейках таблицы, будут заменены на 1
. Мы использовали значение 1
, так как оно небольшое и выделяется в тексте. Теперь Вы можете визуально определить строки, которые имеют повторяющиеся значения.

Чтобы оставить один из дубликатов, достаточно вставить исходный текст обратно в строку, которая была заменена. В нашем случае мы восстановим значения в 1-й строке таблицы.

Определив строки с повторяющимся содержимым, поочередно выделите их, удерживая клавишу Ctrl
.

Выбрав все строки, которые необходимо удалить, щелкните правой кнопкой мыши по заголовку любой из выделенных строк и в контекстном меню нажмите Delete
(Удалить). Не стоит нажимать клавишу Delete
на клавиатуре, поскольку в этом случае удалится только содержимое ячеек, а не строки полностью.

Сделав это, Вы можете заметить, что все оставшиеся строки имеют уникальные значения.

Поиск и удаление вручную повторяющихся значений в таблице Excel, в особенности в больших документах, — весьма рискованное и нецелесообразное занятие. Не исключено, что вы, проверяя зрительно ячейки, можете пропустить дубли. И потом, тратится колоссальное количество времени на удаление каждой ячейки.

В этой статье мы рассмотрим, как можно удалить дубликаты в Excel, используя различные автоматизированные штатные функции.

Другие способны удалить дубликаты файлов в Windows

Существуют десятки других программ для удаления повторяющихся файлов, сохраненных на дисках компьютера. Все они имеют примерно похожую функциональность с программами DupeGuru и AllDub, рассмотренными выше.

Также отыскать дубликаты файлов можно с помощью встроенной в Windows утилиты PowerShell. На ее основе реализованы сотни скриптов, в том числе среди них можно найти скрипты по поиску и удалению дубликатов файлов на компьютере. Пользователям, которые плохо разбираются в скриптах PowerShell, крайне не рекомендуется использовать подобный способ для поиска и удаления повторяющихся файлов.

(442 голос., средний: 4,57 из 5)

4. Удаление дубликатов с помощью условного форматирования

Этот метод состоит из двух шагов: сначала выделяются дубликаты, а во втором – удаляются выделенные дубликаты, что позволяет увидеть дубликат до удаления.

Чтобы реализовать условное форматирование для удаления дубликатов с листа, выполните следующие действия:

1. Откройте свою таблицу Google .
2. Выберите данные, из которых вы хотите удалить дубликаты.
3. В разделе « Формат» выберите « Условное форматирование» для боковой панели.
4. Под параметром Форматировать ячейки, если выберите Пользовательская формула .
5. Введите следующую формулу: = СЧЁТЕСЛИ ($ B $ 2: $ B2, B2)> 1 . Эта формула проверяет наличие дубликатов в выбранном столбце для вас.
6. Установите стиль форматирования, чтобы выделить повторяющиеся данные.
7. Если вы хотите, чтобы в результатах выделялась вся строка, вы можете настроить формулу на = COUNTIF ($ B $ 2: $ B2, $ B2)> 1 .
8. Удаление дубликатов необязательно, но теперь это можно легко сделать. Выделите данные, которые нужно отсортировать, и выберите пункт меню « Фильтр» .
9. Щелкните значок фильтра рядом с заголовком столбца, который нужно отсортировать по цвету.
10. В раскрывающемся меню выберите « Сортировать по цвету», затем « Цвет заливки» и выберите цвет заливки, который должен отображаться сверху.
11. Выделите блок дубликатов и нажмите Удалить .

Существуют и другие методы удаления дубликатов в Google Таблицах, в том числе использование скрипта Google Apps и покупка надстройки в Google Workspace Marketplace . Их стоит проверить, если вы не получаете желаемых результатов.

Использование скрипта приложений дает вам возможность легко запускать скрипт в любое время. Также доступны дополнительные приложения для регулярной проверки дубликатов.