Добро пожаловать обратно в "Код на время!" — серию блогов, в которых я превращаю обыденные задачи в оптимизированные, экономящие время чудеса. Сегодня я рад поделиться проектом, в котором я превратил повторяющуюся рутинную рутинную работу в автоматизированную электростанцию. Готовы узнать, как можно сэкономить время и добавить азарта в свой рабочий процесс? Давайте погрузимся!

Предыстория

Работа в стартапе имеет свои преимущества — например, возможность сотрудничать с различными отделами и выявлять недостатки, требующие автоматизации. Во время недавнего разговора с нашей маркетинговой командой я обнаружил задачу, которая просто требовала технического обновления. Они были вручную:

• Ежедневно посещайте Product Hunt, чтобы получить 5 лучших продуктов дня.
• Сбор информации о социальных сетях каждого производителя продукта.
• Повторяем этот процесс каждый день.

Как только я это услышал, я подумал: «Почему бы не автоматизировать это?» Я схватил свой ноутбук и начал программировать.

Распределение проблемы

Чтобы решить эту проблему, мне нужно было построить скребок. Вот краткое изложение моего подхода:

1. Понимание структуры Product Hunt: я исследовал, как Product Hunt отображает свой контент и какие API они используют. Они полагаются на серверный рендеринг для отображения лучших продуктов и подробной информации.

2. Выбор инструментов: поскольку на веб-сайте используется серверный рендеринг, я решил использовать Puppeteer с Node.js. Puppeteer позволяет нам управлять автономным браузером и очищать контент так, как если бы мы просматривали его вручную.

3. Извлечение данных:

   • 5 лучших продуктов: я начал с просмотра веб-сайта Product Hunt, чтобы получить 5 лучших продуктов дня.
   • Подробнее о продукте: Я щелкнул ссылку по каждому продукту, чтобы получить его идентификатор.
   • Информация о производителе: используя идентификатор продукта, я получил доступ к API для получения сведений о производителе продукта.
   • Информация о социальных сетях: Имея на руках идентификаторы создателей, я посетил страницу профиля каждого пользователя через Puppeteer и собрал данные об их социальных сетях.
   • Хранилище данных: Наконец, я скомпилировал всю эту информацию в файл CSV, что облегчило работу маркетинговой команды.

Вывод в формате CSV будет выглядеть так:

Почему это важно

Автоматизация этих задач не только экономит время, но и снижает вероятность человеческих ошибок, а также гарантирует, что у маркетинговой команды всегда будут под рукой самые свежие данные. Кроме того, это отличный пример того, как технологии могут упростить повторяющиеся задачи и повысить ценность.

Примечание: если вам нужен исходный код, напишите мне :)

Твоя очередь!

Вы когда-нибудь автоматизировали задачу с помощью кода? Поделитесь своим опытом и советами в комментариях ниже! Какие задачи вы хотели бы автоматизировать? Давайте обсудим!

Наконец, если статья была полезна, пожалуйста, хлопайте в ладоши и подписывайтесь, спасибо!