Выгрузка из 1С, прайс второго поставщика, файл за прошлый месяц — всё это съехалось в один сводный прайс на три тысячи строк. Площадка отвечает отказом: повторяющиеся артикулы. Или хуже: файл проходит, а в 1С после загрузки появляются двойные позиции и цены непонятно откуда. Разберёмся, откуда берутся дубли строк, как удалить их в Excel и как не собирать повторы при подготовке файла.
Откуда в прайсе берутся дубли
- Объединение прайсов. Два файла склеили копированием — и позиции на стыке продублировались. Отдельная история, когда один и тот же товар есть у двух поставщиков и попадает в сводный файл дважды, с разными ценами.
- Повторная выгрузка. Файл выгрузили из учётной системы второй раз «для верности» и дописали в тот же документ — внизу легла копия верхних строк.
- Выгрузки с разделами. Отчёты из 1С с повторяющимися шапками страниц и строками «Итого» — формально не дубли товаров, но в файле это лишние повторяющиеся строки.
Чем опасны дубли строк
Маркетплейсы валидируют файл на уникальность ключа: повторный артикул — частая причина отказа загрузки целиком (точную формулировку смотрите в отчёте об ошибках своей площадки). Если файл всё же прошёл, поведение хуже: какая из двух строк с одним артикулом станет ценой товара — первая или последняя — предсказать нельзя.
В 1С свои сюрпризы: загрузка по артикулу при совпадении может создать двойную позицию номенклатуры, а при обновлении цен последняя строка молча перезапишет предыдущую. Если в прайсе дубль с другой ценой — в базе окажется случайная из двух.
Способ 1. Условное форматирование: найти, но не удалить
Выделите колонку с артикулом → «Главная» → «Условное форматирование» → «Правила выделения ячеек» → «Повторяющиеся значения». Excel подсветит все неуникальные значения.
Это диагностика, а не лечение: подсветка показывает дубли, но не удаляет их. На паре сотен строк можно пройтись глазами и решить судьбу каждого повтора. На десяти тысячах файл начинает заметно тормозить от форматирования, а просматривать тысячи подсвеченных ячеек бессмысленно. Используйте способ, чтобы оценить масштаб бедствия: подсветилась пара процентов строк — хватит ручной разборки, подсветилась треть — нужен инструмент посерьёзнее.
Способ 2. «Удалить дубликаты» по колонке артикула
Рабочий инструмент: «Данные» → «Удалить дубликаты». В диалоге отметьте «Мои данные содержат заголовки» и оставьте галочку только на колонке ключа — «Артикул».
Это ключевой момент. По умолчанию Excel сравнивает строки целиком, по всем колонкам: две строки с одним артикулом, но разными ценами, для него не дубли. С одной отмеченной колонкой сравнение идёт только по артикулу — и повторы находятся.
Два ограничения, о которых забывают:
- Остаётся первая сверху строка. Excel молча удаляет все повторы ниже первого вхождения. Какая строка выживет — решает текущий порядок, поэтому перед удалением отсортируйте файл осознанно (об этом ниже).
- Только точное совпадение. «AB-123», «AB-123» с пробелом в конце и «ab-123» — три разных значения. Кнопка их не найдёт, хотя это один товар: сначала ключ надо почистить.
На файлах в сотни тысяч строк операция занимает заметное время, но на прайсах до пары десятков тысяч строк отрабатывает за секунды. Главная её проблема не скорость, а молчаливость: Excel не показывает, что именно удалил. Перед удалением сохраните копию файла.
Дубли с разными ценами: кого оставить
Один товар у двух поставщиков — типовая ситуация для сводного прайса. Решать, какая строка останется, должны вы, а не случайный порядок строк. Рабочее правило: оставлять того поставщика, у кого реально будете заказывать, — обычно это дешевле с учётом условий и стабильный остаток.
Техника простая: перед «Удалить дубликаты» отсортируйте таблицу по цене по возрастанию, при равной цене — по остатку по убыванию. Первой строкой с каждым артикулом окажется самая выгодная — именно она и останется. Если по части артикулов приоритет другой, добавьте служебную колонку «Приоритет поставщика» (1, 2, 3), отсортируйте по ней, удалите дубли, потом колонку уберите.
Иногда дубль — не мусор, а сигнал: если один поставщик регулярно дешевле другого на 15%, это повод пересмотреть закупку, а не просто почистить файл. А если задача не выбрать одну строку, а подтянуть свежие цены по артикулу — это соседняя задача со своей механикой.
Как убрать дубли через конвертер
Конвертер не заменяет кнопку «Удалить дубликаты» — он делает так, чтобы она сработала точно, и отсекает типовые источники повторов ещё до Excel. Загрузите файл на странице очистки прайса и пройдите шаги.
На шаге «Структура» укажите, с какой строки начинается таблица, и снимите строки-разделы: повторяющиеся шапки страниц и промежуточные итоги из выгрузки 1С не попадут в данные. Половина «дублей» в отчётах — именно они.
На шаге «Колонки» нормализуйте ключ. Действие «Убрать пробелы» на колонке «Артикул» превращает «AB-123» с хвостовым пробелом в чистое «AB-123»; «Заменить текст» срезает префиксы вида «Арт.», которыми поставщики декорируют коды. После этого скрытые дубли становятся точными совпадениями — и финальное «Удалить дубликаты» в Excel отрабатывает без пропусков. Приёмы разобраны в статье про очистку прайса.
На шаге «Фильтры» отрежьте строки, которые привозят повторы: условие «не содержит Итого» убирает итоговые строки выгрузки, «остаток больше 0» — нулевые строки из повторной выгрузки. Механика условий — в статье про удаление строк по условию.
На экспорте скачайте XLSX со значениями и сделайте один проход «Удалить дубликаты» по колонке «Артикул» — теперь на нормализованном ключе. А если дубли приползают на этапе склейки нескольких файлов, чистите каждый прайс до объединения: отдельный разбор — в статье про объединение нескольких Excel-файлов.
Частые вопросы
«Удалить дубликаты» не находит повторы, хотя они точно есть?
Проверьте невидимые различия: пробел в конце значения, разный регистр букв, неразрывный пробел вместо обычного. Сравнение идёт посимвольно, и «AB-123» с пробелом — не «AB-123». Сначала почистите ключевую колонку, затем удаляйте дубли.
Как оставить из дублей строку с минимальной ценой?
Отсортируйте таблицу по цене по возрастанию и только потом запускайте «Удалить дубликаты»: инструмент оставляет первую сверху строку с каждым значением. После удаления можно вернуть привычный порядок сортировкой по артикулу.
Артикул повторяется, но это разные размеры одного товара?
Тогда ключ — не один артикул, а пара «артикул + размер». Перед удалением дублей соберите служебную колонку-склейку из двух и удаляйте повторы по ней, иначе потеряете половину размерной сетки.
Конвертер сам удаляет дубликаты?
Конвертер готовит файл так, чтобы дедупликация сработала без пропусков: убирает строки-разделы и итоги на шаге «Структура», чистит артикулы от пробелов и префиксов на шаге «Колонки», отсекает лишние строки фильтрами. Финальное удаление повторов на таком файле — один проход «Удалить дубликаты» в Excel.