پایش قیمت رقبا دیگر یک فعالیت دورهای و دستی نیست؛ برای فروشگاههای اینترنتی، مارکتپلیسها و تیمهای فروش، قیمت و موجودی رقبا میتواند در چند ساعت تغییر کند. اگر این اطلاعات دیر جمعآوری شود، تصمیمهای قیمتگذاری نیز بر پایه دادههای قدیمی گرفته خواهند شد.
در این مقاله معماری یک سیستم عملی را بررسی میکنیم که با Playwright اطلاعات محصولات را از سایت رقیب استخراج میکند، با n8n مراحل پردازش را بهصورت زمانبندیشده اجرا میکند، تاریخچه را در PostgreSQL نگه میدارد، تغییرات را تشخیص میدهد و در صورت رخ دادن تغییر، هشدار تلگرام ارسال میکند. دادهها همچنین میتوانند برای ساخت داشبورد به Power BI منتقل شوند.
چرا پایش خودکار قیمت رقبا اهمیت دارد؟
بررسی دستی چند محصول ممکن است ساده به نظر برسد، اما با افزایش تعداد کالاها بهسرعت به یک کار زمانبر و خطاپذیر تبدیل میشود. صفحات محصول ممکن است تغییر کنند، بعضی محصولات ناموجود شوند و قیمتها در ساعات مختلف روز متفاوت باشند. یک سامانه خودکار مزایای زیر را ایجاد میکند:
• کاهش زمان جمعآوری و مقایسه اطلاعات
• ثبت تاریخچه قابلاعتماد از قیمت و موجودی
• شناسایی سریع افزایش یا کاهش قیمت
• آگاهی از موجود یا ناموجود شدن کالا
• حذف خطاهای ناشی از ورود دستی داده
• فراهم کردن داده مناسب برای تحلیل و تصمیمگیری
معماری کلی راهکار
این سیستم از پنج بخش اصلی تشکیل شده است:
1. Playwright برای باز کردن صفحات و استخراج اطلاعات
2. n8n برای زمانبندی و مدیریت گردشکار
3. PostgreSQL برای نگهداری محصولات و تاریخچه تغییرات
4. تلگرام برای ارسال هشدار
5. Power BI برای گزارشگیری و مشاهده روندها
در نمونه پیادهسازیشده، سامانه مجموعهای انتخابی از موبایلها و لپتاپها را در سایت Technolife بررسی میکند. تعداد و دسته محصولات قابل تنظیم است و میتوان آن را متناسب با نیاز هر کسبوکار توسعه داد.
مرحله اول: استخراج اطلاعات با Playwright
Playwright یک ابزار اتوماسیون مرورگر است که میتواند صفحه واقعی محصول را مانند یک کاربر باز کند. این ویژگی برای سایتهایی که اطلاعات را با JavaScript بارگذاری میکنند بسیار مهم است.
اسکرپر برای هر محصول اطلاعات زیر را استخراج میکند:
• نام محصول
• کد یا SKU محصول
• قیمت فعلی
• واحد پول
• وضعیت موجودی
• آدرس صفحه محصول
• زمان بررسی
در طراحی اسکرپر باید انتخابگرها دقیق باشند و برای خطاهای شبکه، تغییر ساختار صفحه و دیر بارگذاری شدن محتوا نیز مدیریت خطا در نظر گرفته شود. همچنین بهتر است تعداد درخواستها کنترل شود تا فشار غیرضروری به سایت مقصد وارد نشود.
مرحله دوم: اجرای زمانبندیشده با n8n
n8n نقش هماهنگکننده کل سامانه را دارد. گردشکار در یک بازه زمانی مشخص اجرا میشود و سرویس اسکرپر نصبشده روی سرور را فراخوانی میکند.
ساختار گردشکار به شکل زیر است:
Schedule Trigger → Scrape Competitor → Split Products → Upsert Product & Get Last State → Compute Change → Insert Price History → Change Detected?
پس از دریافت خروجی اسکرپر، نود Split Products هر محصول را به یک آیتم جداگانه تبدیل میکند. به این ترتیب همه محصولات از مسیر یکسان عبور میکنند و اطلاعات هر کالا مستقل از محصولات دیگر پردازش میشود.
مرحله سوم: ثبت محصول و دریافت آخرین وضعیت
در مرحله Upsert Product & Get Last State، محصول بر اساس شناسه یا SKU در پایگاه داده شناسایی میشود. اگر محصول قبلاً وجود نداشته باشد، رکورد جدید ایجاد میشود؛ در غیر این صورت اطلاعات پایه آن بهروزرسانی خواهد شد.
همزمان آخرین قیمت و وضعیت موجودی ثبتشده نیز از PostgreSQL دریافت میشود. این داده، مبنای مقایسه با نتیجه جدید اسکرپ است.
مرحله چهارم: تشخیص تغییر قیمت و موجودی
در نود Compute Change، قیمت و موجودی جدید با آخرین وضعیت قبلی مقایسه میشود. خروجی این مرحله مشخص میکند:
• آیا تغییری رخ داده است؟
• نوع تغییر چیست؟
• مقدار قبلی چه بوده است؟
• مقدار جدید چیست؟
• درصد تغییر قیمت چقدر است؟
برای نمونه، اگر قیمت از 28,109,000 به 30,099,000 تغییر کند، سیستم افزایش قیمت را شناسایی کرده و درصد تغییر را محاسبه میکند. تغییر موجودی نیز میتواند بهصورت «موجود به ناموجود» یا «ناموجود به موجود» ثبت شود.
در اولین اجرای یک محصول، سابقهای برای مقایسه وجود ندارد؛ بنابراین سامانه فقط وضعیت اولیه را ثبت میکند و هشدار تغییر ارسال نمیشود. از اجرای بعدی، هر اختلاف واقعی قابل تشخیص خواهد بود.
مرحله پنجم: ذخیره تاریخچه در PostgreSQL
صرفاً نگهداری آخرین قیمت کافی نیست. برای تحلیل روندها باید هر بار بررسی، همراه با زمان آن در جدول تاریخچه ثبت شود. این ساختار امکان پاسخ به پرسشهای مهمی را فراهم میکند:
• قیمت یک محصول در هفته گذشته چه روندی داشته است؟
• کدام کالاها بیشترین نوسان را داشتهاند؟
• چند بار وضعیت موجودی تغییر کرده است؟
• آخرین تغییر قیمت چه زمانی رخ داده است؟
داشتن تاریخچه همچنین کمک میکند تغییرات غیرعادی یا دادههای اشتباه بهتر شناسایی شوند.
مرحله ششم: ارسال هشدار در تلگرام
پس از نود Change Detected? تنها آیتمهایی که تغییر واقعی دارند به مسیر هشدار وارد میشوند. پیام تلگرام میتواند شامل نام محصول، نوع تغییر، مقدار قبلی، مقدار جدید، درصد تغییر و لینک صفحه محصول باشد.
این روش باعث میشود تیم فروش فقط هنگام رخ دادن اتفاق مهم پیام دریافت کند و برای بررسی مداوم داشبورد یا صفحات رقبا وقت نگذارد. میتوان تلگرام را با ایمیل، Slack، Microsoft Teams یا هر کانال ارتباطی دیگری جایگزین یا ترکیب کرد.
مرحله هفتم: انتقال داده به Power BI
خروجی پردازششده میتواند از طریق درخواست HTTP به یک Streaming Dataset در Power BI ارسال شود. با این روش داشبوردی شامل قیمت محصولات، وضعیت موجودی، زمان بررسی و تغییرات ایجاد میشود.
برای جلوگیری از ارسال تعداد زیادی درخواست جداگانه، بهتر است دادههای یک اجرا بهصورت یک آرایه و در یک درخواست دستهای ارسال شوند. این روش هم سریعتر است و هم احتمال خطای محدودیت تعداد درخواستها را کاهش میدهد.
در Power BI میتوان گزارشهای زیر را ساخت:
• جدول آخرین قیمت و موجودی محصولات
• نمودار روند قیمت هر محصول
• تعداد محصولات موجود و ناموجود
• فهرست بیشترین افزایش و کاهش قیمت
• فیلتر بر اساس دسته، محصول و بازه زمانی
نکات مهم برای اجرای پایدار
یک سیستم مانیتورینگ واقعی باید فقط در شرایط ایدهآل کار نکند. رعایت نکات زیر پایداری آن را افزایش میدهد:
• تعیین Timeout مناسب برای صفحات و درخواستها
• استفاده از Retry محدود برای خطاهای موقت
• ثبت لاگ اجرای موفق و ناموفق
• کنترل تعداد درخواستها و فاصله بین آنها
• بازبینی انتخابگرها پس از تغییر طراحی سایت مقصد
• جلوگیری از ارسال هشدار تکراری
• نگهداری امن اطلاعات اتصال پایگاه داده و توکن ربات
• رعایت شرایط استفاده و سیاستهای سایت مقصد
کاربردهای تجاری سامانه
این راهکار برای فروشگاههای اینترنتی، تیمهای قیمتگذاری، واردکنندگان، توزیعکنندگان، تولیدکنندگان، آژانسهای تحلیل بازار و مدیران محصول کاربرد دارد. علاوه بر قیمت و موجودی، معماری آن را میتوان برای پایش تخفیف، هزینه ارسال، امتیاز محصول، تعداد نظرات یا وضعیت عرضه نیز توسعه داد.
جمعبندی
ترکیب Playwright، n8n، PostgreSQL، تلگرام و Power BI یک زیرساخت قابل توسعه برای پایش رقبا ایجاد میکند. Playwright داده را از صفحات پویا استخراج میکند، n8n جریان اجرا را مدیریت میکند، PostgreSQL تاریخچه را حفظ میکند، تلگرام تغییرات مهم را اطلاع میدهد و Power BI دادهها را به گزارش قابل فهم تبدیل میکند.
نتیجه، سیستمی است که بدون بررسی دستی مداوم، قیمت و موجودی محصولات انتخابی رقبا را کنترل میکند و اطلاعات لازم برای تصمیمگیری سریعتر را در اختیار کسبوکار قرار میدهد.
اگر میخواهید این سامانه برای فروشگاه، دسته محصولات و کانال اطلاعرسانی موردنظر شما سفارشیسازی شود، میتوانید از طریق بخش محصولات یا فرم تماس سایت Data Insights درخواست خود را ثبت کنید.