Добрый день! Прошу немного рассказать о парсинге сайтов. Сейчас ищу информацию о том, как создать на сайт-парсер на javascript. Опишу задачу, чтобы было понятно, что я хочу.
Пользователь вбивает название товара, и ему списком выдаётся несколько магазинов, где есть этот товар и его стоимость с каждого магазина.
Проблема в том, что нет понимание по базовым вопросам, а именно
Подробная информация о этапах создание подобных сайтов.Представим, что есть поле input, куда пользователь должен ввести название товара и список сайтов, которые мы выбрали как цель для парсинга. С чего начать? Было бы супер, если бы ваш ответ на вопрос по этапам, был бы примерно следующим
Этап
нужно сделать это…
Необходимые знание(темы) следующие…
А так, любой совет, ссылка с вашей стороны будут полезны!!! Это должен быть javascript, с возможной обработкой на php если это необходимо. Другие языки прошу не предлагать!
Умеешь строить обычные сайты с помощью expressjs? Умеешь моделировать данные с помощью SQL или nosql баз данных? Первый шаг будет написать сайт как будто у тебя уже есть все нужные данные.
Второй шаг - написать систему для парсинга, и привязать ее к сайту. Она будет складывать данные в уже описанные хранилища (таблицы или коллекции). С этой частью нужно быть осторожным при моделировании: сделать реализацию максимально независимыми, сделать механизм нотификаций на случай если парсер перестал срабатывать (не факт что это нужно делать при первой релизации, но подумать об этом аспекте нужно). Не заморачиваться со складыванием кода парсеров в базу, а попробовать стартовать с просто файлами.