Почему парсинг — плохой фундамент для бизнеса
Он работает ровно до первого редизайна чужого сайта. А потом ваш продукт стоит.
Почти в каждом проекте, где нужны чужие данные — цены, товары, расписания, туры, — рано или поздно звучит: «а давайте просто спарсим». Это соблазнительно: не надо ни с кем договариваться, не надо платить за доступ, работает уже завтра. Проблема в том, что «завтра» здесь — единица измерения срока службы.
Три способа, которыми это ломается
Первый — вёрстка. Парсер держится за структуру чужой страницы. Дизайнер на той стороне переставил блок — и ваш продукт молча начинает собирать пустоту. Молча, потому что страница по-прежнему открывается и отвечает «всё хорошо», просто нужных данных в ней больше нет там, где вы их ищете.
Второй — защита. Крупные площадки узнают автоматику по отпечатку соединения и начинают отвечать отказом. Начинается гонка: обход, блокировка, обход посильнее, блокировка построже. Вы платите разработчику за участие в этой гонке ежемесячно и навсегда.
Третий — правовой. Пока это ваш внутренний инструмент, вопрос спорный. Как только на этих данных построен продукт, который вы продаёте, вопрос перестаёт быть теоретическим. Претензия прилетает не парсеру, а бизнесу.
Что делать вместо
- Спросить про официальный доступ. У многих площадок он есть и стоит дешевле, чем месяц поддержки парсера — просто про него не написано на главной, надо писать в поддержку или партнёрам.
- Посмотреть партнёрские программы. Иногда доступ к данным дают бесплатно тем, кто приводит клиентов.
- Договориться напрямую с поставщиком. Прайс выгрузкой по расписанию — это скучно, надёжно и законно.
В нашем проекте по подбору туров это был ключевой выбор на старте. Парсер поисковика написать можно, и он бы даже работал какое-то время. Но продукт, который клиент собирается продавать своим клиентам, не может стоять на фундаменте, который разваливается от чужого редизайна. Взяли официальный API, хотя он платный и устроен сложнее — с асинхронным поиском, когда результаты приходят порциями.
Когда парсинг всё-таки нормально
Есть честные случаи. Разовая выгрузка, чтобы наполнить свой каталог и дальше жить самостоятельно. Мониторинг публичных цен для собственных решений о закупке — вы ничего не перепродаёте, вы смотрите на рынок. Исследование, у которого есть конец.
Общее правило: парсинг допустим там, где он временный или вспомогательный. Как только на нём держится то, за что вам платят деньги, — вы построили дом на чужом участке.
Спросите себя: если завтра источник закроется, у меня остановится продукт или просто станет чуть менее удобно? Если остановится — источник должен быть договорным, а не выломанным.