Агрегація даних про компанії з монтажу кондиціонерів
Наш клієнт мав на меті створити централізовану платформу з переліком усіх компаній з монтажу кондиціонерів у Німеччині. Основним завданням було зібрати точну та вичерпну інформацію з різних онлайн-джерел, де дані часто були розрізненими, неструктурованими та важкодоступними.
Для створення візуально привабливої та зручної платформи з можливостями адаптивного дизайну, що забезпечує плавну навігацію на різних пристроях ми використали low-code технологію Webflow. Для того щоб інформація на сайті була актуальною ми впровадили логіку регулярного оновлення всього масиву даних через визначений період часу, без збоїв в роботі веб-сайту.
Виклики
- Фрагментація даних: Інформація про інсталяторів була розкидана по різних джерелах, що вимагало способу ефективного об'єднання даних в єдиний формат.
- Пошукова оптимізація: Пошук відповідних компаній вимагав використання Google Places API для точного визначення місцезнаходження інсталяторів кондиціонерів по всій Німеччині. Однак отримання детальних даних з їхніх веб-сайтів представляло додатковий рівень складності.
- Динамічне вилучення даних з веб-сайтів: Вилучення конкретних даних, таких як адреси, номери телефонів та електронні адреси, вимагало автоматизації пошукових взаємодій на веб-сайтах за допомогою Puppeteer для ефективної навігації та вилучення динамічного контенту.
- Заходи проти скрапінгу: Подолання механізмів антискрепінгу на деяких веб-сайтах вимагало впровадження адаптивних методів, щоб уникнути виявлення та забезпечити послідовне отримання даних.
- Перевірка даних: Забезпечення точності та узгодженості вилучених даних при мінімізації ручної перевірки було критично важливим для підтримки надійності каталогу.
Node JS
Webflow
Puppeteer
Amazon EC2
Рішення та технології
Інтеграція Webflow
Webflow як low-code рішення дозволив нам суттєво скоротити час розробки веб-сайту, зберігаючи при цьому гнучкість в управлінні контентом. Інтегрована CMS платформи забезпечила легке та автоматизоване оновлення каталогу компаній з установки кондиціонерів без потреби в постійному ручному втручанні. Завдяки динамічним колекціям і гнучким фільтрам користувачі можуть зручно переглядати, шукати компанії та сортувати результати за потрібними критеріями.
Результати
Ми успішно автоматизували процес наповнення сайту великим обсягом даних, що дозволяє клієнту заощадити час і ресурси. Під час першого запуску скрапера було створено понад 1500 сторінок із профілями компаній, що встановлюють кондиціонери в Німеччині.
Завдяки ефективній інтеграції скрапера із Webflow, сайт демонструє високу стабільність навіть під час одночасного оновлення великої кількості даних. За рахунок розумного підбору технологій витрати клієнта були зведені до мінімуму: оплата здійснюється лише за підписку на Webflow та хостинг скрапера на AWS.
Інші роботи
