Web Scraping: تسحب بيانات العملاء المحتملين من المواقع وجوجل ماب (والحدود القانونية)

Web Scraping: تسحب بيانات العملاء المحتملين من المواقع وجوجل ماب (والحدود القانونية)

Web Scraping يعني إنك تخلي برنامج يزور صفحات الويب ويسحب منها بيانات معيّنة ويرتبها في جدول، بدل ما تنسخها بإيدك صفحة صفحة. أغلب أصحاب الشركات بيدوّروا عليه لسبب واحد: قايمة عملاء محتملين. أسماء شركات في مجال معيّن، وتليفوناتها، ومواقعها، وعناوينها، من جوجل ماب أو من دليل على الإنترنت. والسؤال اللي لازم يتسأل قبل “إزاي” هو “ينفع ولا لأ”، لأن جزء كبير من الـ Scraping ممنوع بشروط المواقع نفسها، وجزء منه بيتعارض مع قوانين حماية البيانات.

هنشرح في المقال يعني إيه Web Scraping وبيشتغل إزاي، والفرق بينه وبين الـ API الرسمي، وإزاي تجيب بيانات شركات من جوجل ماب بالطريقة الرسمية المسموحة، ومثال كود Python بسيط لسحب بيانات من دليل عام، وإيه الممنوع قانونيًا وأخلاقيًا، وإزاي تحوّل القايمة لعملاء فعليين من غير ما تتحرق أو تتحظر.

محتويات المقال

Web Scraping يعني إيه وبيشتغل إزاي؟

لما بتفتح صفحة في المتصفح، المتصفح بيطلب الصفحة من السيرفر، وبيستلم كود HTML، وبيرسمه قدامك. سكريبت الـ Scraping بيعمل نفس الطلب، بس بدل ما يرسم الصفحة، بيدوّر جوه الكود على الأجزاء اللي محتاجها (اسم الشركة، التليفون، العنوان) ويحفظها في ملف.

فيه 3 طرق أساسية:

الطريقةبتشتغل معالصعوبة
طلب الصفحة وقراية الـ HTMLالمواقع البسيطة اللي المحتوى بيظهر في الكود مباشرةسهلة
متصفح آلي (Playwright أو Selenium)المواقع اللي بتحمّل المحتوى بالجافاسكريبت بعد فتح الصفحةمتوسطة
الـ API الرسمي للموقعالمواقع اللي بتوفر طريقة رسمية للبياناتالأسهل والأأمن

القاعدة الأولى في أي مشروع بيانات: دوّر على API رسمي الأول. لو الموقع بيوفر API، استخدمه. أسرع، وأثبت، ومسموح، وما بيبوظش لما شكل الصفحة يتغير. الـ Scraping هو آخر حل مش أوله. ولو مش واضح لك الفرق، اقرا API يعني إيه.

Web Scraping من جوجل ماب: الطريقة الرسمية

ده أكتر طلب بيتسأل: “عايز كل مصانع البلاستيك في العاشر من رمضان بتليفوناتها”. فيه أدوات كتير بتعلن إنها Google Maps Scraper بتسحب البيانات من صفحات الخرايط مباشرة. المشكلة إن شروط استخدام خرايط جوجل بتمنع سحب المحتوى بالطريقة دي، فإنت بتعرّض حسابك وعنوان IP بتاعك للحظر، والبيانات بتطلع ناقصة وبتبوظ مع أي تحديث.

الطريقة المسموحة هي Google Places API، وهي جزء من Google Maps Platform. بتبحث بنفس الكلمة اللي بتكتبها في الخريطة، وبترجعلك النتايج بشكل منظم. الخطوات:

  1. اعمل مشروع على Google Cloud وفعّل الفوترة (فيه استخدام مجاني شهري بحدود، وبعده بتدفع حسب عدد الطلبات، فشوف الأسعار الحالية قبل ما تبدأ).
  2. فعّل Places API (New)، واعمل مفتاح API واقفله على الـ API ده بس.
  3. ابعت طلب بحث نصي، وحدد الحقول اللي محتاجها بس، لأن عدد الحقول بيأثر على السعر.
import requests, csv

KEY = "مفتاحك"
url = "https://places.googleapis.com/v1/places:searchText"
headers = {
    "Content-Type": "application/json",
    "X-Goog-Api-Key": KEY,
    "X-Goog-FieldMask": "places.displayName,places.formattedAddress,places.nationalPhoneNumber,places.websiteUri,places.rating",
}
body = {"textQuery": "مصنع بلاستيك العاشر من رمضان", "languageCode": "ar"}

res = requests.post(url, json=body, headers=headers).json()
with open("leads.csv", "w", newline="", encoding="utf-8-sig") as f:
    w = csv.writer(f)
    w.writerow(["الاسم", "العنوان", "التليفون", "الموقع", "التقييم"])
    for p in res.get("places", []):
        w.writerow([p.get("displayName", {}).get("text"), p.get("formattedAddress"),
                    p.get("nationalPhoneNumber"), p.get("websiteUri"), p.get("rating")])

السطر اللي فيه X-Goog-FieldMask هو اللي بيحدد إنت عايز إيه بالظبط. والـ utf-8-sig بتخلي الإكسل يفتح العربي صح. الطلب الواحد بيرجّع عدد محدود من النتايج، وفيه صفحات تانية تقدر تطلبها، وكمان تقدر تكرر البحث بكلمات ومناطق مختلفة علشان تغطي السوق.

ملاحظة: شروط Google Maps Platform نفسها ليها قواعد على تخزين البيانات واستخدامها، فاقرا الشروط الحالية قبل ما تبني قاعدة بيانات كبيرة منها. وعلى الناحية التانية، لو إنت صاحب نشاط وعايز تظهر في البحث ده أصلًا، اقرا إضافة نشاطك على جوجل ماب.

مثال Web Scraping بـ Python لدليل عام

خلينا نفترض إنك لقيت دليل شركات على الإنترنت، الموقع بيسمح بده في شروطه وفي ملف robots.txt، ومفيش API. الطريقة البسيطة بمكتبتين:

pip install requests beautifulsoup4
import requests, csv, time
from bs4 import BeautifulSoup

HEAD = {"User-Agent": "Mozilla/5.0 (research script; contact: you@example.com)"}
rows = []
for page in range(1, 6):
    html = requests.get(f"https://example-directory.com/factories?page={page}", headers=HEAD, timeout=20).text
    soup = BeautifulSoup(html, "html.parser")
    for card in soup.select(".company-card"):
        name = card.select_one(".name")
        phone = card.select_one(".phone")
        rows.append([name.get_text(strip=True) if name else "", phone.get_text(strip=True) if phone else ""])
    time.sleep(3)  # ما تضغطش على الموقع

with open("directory.csv", "w", newline="", encoding="utf-8-sig") as f:
    csv.writer(f).writerows([["الاسم", "التليفون"]] + rows)

الرابط والـ classes دي مثال. علشان تعرف أسماء الـ classes الحقيقية، افتح الصفحة في كروم، وكليك يمين على اسم الشركة واختار Inspect. هتلاقي العنصر وحواليه الكود.

3 حاجات في الكود دي مش اختيارية:

  • time.sleep(3): انتظار بين الصفحات. من غيره بتبعت طلبات كتير بسرعة، وده بيضغط على الموقع وبيعتبر هجوم في بعض الحالات.
  • عدد صفحات محدود: ابدأ بـ 5 صفحات، اتأكد إن البيانات صح، وبعدين كمّل.
  • User-Agent واضح: بيعرّف الموقع مين بيزوره. ما تتنكرش.

ولو السكريبت هيشتغل كل أسبوع، خليه يقارن بالنتيجة اللي فاتت ويحفظ الجديد بس، بدل ما يسحب كل الصفحات من الأول كل مرة. ده بيقلل الضغط على الموقع، وبيخلي عندك تاريخ للتغييرات تقدر ترجعله.

لو الموقع بيحمّل البيانات بالجافاسكريبت (الصفحة بتظهر فاضية في الكود)، هتحتاج متصفح آلي زي Playwright. بس قبل ما تروح هناك، افتح تبويب Network في أدوات المطور وشوف لو الصفحة بتجيب البيانات من رابط JSON. كتير بتلاقي رابط بيرجّع البيانات جاهزة، وده أسهل بكتير من المتصفح الآلي.

الحدود القانونية والأخلاقية للـ Web Scraping

ده الجزء اللي أغلب الشروحات بتعدّيه، وهو اللي بيفرق بين أداة مفيدة ومشكلة قانونية:

  • شروط الموقع: كتير من المواقع بتمنع السحب الآلي صراحة في شروط الاستخدام. لو ممنوع، ما تعملوش، حتى لو تقنيًا سهل.
  • ملف robots.txt: بيقولك الموقع مش عايز الروبوتات تدخل أنهي صفحات. احترمه.
  • ما تتخطاش أي حماية: تسجيل دخول مش بتاعك، أو كابتشا، أو حظر IP. لو الموقع حاطط حماية، ده معناه إنه مش عايزك تسحب.
  • البيانات الشخصية: اسم شخص ورقم تليفونه الشخصي بيانات شخصية. في مصر فيه قانون حماية البيانات الشخصية، وفي السعودية نظام حماية البيانات الشخصية، وفي أوروبا GDPR. البيانات العامة لشركة (اسمها، رقم الاستقبال، موقعها) أخف من بيانات الأفراد، بس برضه استخدامها في رسايل تسويق ليه قواعد.
  • حقوق المحتوى: سحب أسعار منافس للمقارنة حاجة، ونسخ وصف منتجاته وصوره ونشرها عندك حاجة تانية خالص.
  • الضغط على الموقع: طلبات كتير بسرعة ممكن توقع موقع صغير. ده ضرر حقيقي لصاحبه.

القاعدة العملية: لو مش مرتاح إن صاحب الموقع يشوف إنت بتعمل إيه، غالبًا ما ينفعش تعمله. ولو البيانات هتستخدم في تواصل مع ناس، راجع سياسة الخصوصية عندك زي ما في سياسة الخصوصية والشروط للمتجر.

من قايمة بيانات لعملاء فعليين

القايمة لوحدها مش عملاء. ناس كتير بتسحب 5,000 رقم وتبعتلهم كلهم نفس رسالة الواتساب، فالرقم يتحظر في يومين والنتيجة صفر. الطريقة اللي بتشتغل:

  1. نضّف القايمة: شيل المكرر والأرقام الناقصة، وصنّف حسب المنطقة والحجم.
  2. اختار شريحة صغيرة: 50 شركة مناسبة فعلًا أحسن من 5,000 عشوائية.
  3. اعرف حاجة عن كل واحدة: موقعها، تقييماتها، هل عندها إعلانات. ده اللي هتفتح بيه الكلام.
  4. تواصل فردي مش جماعي: إيميل أو مكالمة أو رسالة لينكدإن مكتوبة للشركة دي بالذات. الطرق موجودة في التسويق للشركات B2B.
  5. سجّل كل حاجة: مين اتكلم، ورد قال إيه، والمتابعة إمتى، في CRM مجاني أو حتى شيت.
  6. احترم “لأ”: اللي قال مش مهتم يتشال من القايمة فورًا، وما يتكلمش تاني من أي رقم أو حساب.

وما تبعتش رسايل واتساب جماعية لأرقام ما وافقتش. ده أسرع طريق لحظر الرقم، والتفاصيل في رسائل واتساب جماعية من غير حظر. ولو عايز الصورة الكاملة لجلب العملاء مش القايمة بس، اقرا توليد العملاء المحتملين.

استخدامات Web Scraping غير قوايم العملاء

القوايم مش الاستخدام الوحيد، وأحيانًا مش أهمها. دي استخدامات مفيدة لصاحب البيزنس، بشرط تلتزم بنفس الحدود اللي فوق:

  • مراقبة أسعار المنافسين: سكريبت بيزور صفحات منتجات منافسين محددين مرة في اليوم، ويسجّل السعر في شيت، ويبعتلك تنبيه لو حد نزّل سعره أكتر من 10%. ده بيخليك تاخد قرار بأرقام بدل ما تتفاجئ من العملاء. واتكلمت عن التعامل مع ده في حرق الأسعار.
  • متابعة المخزون عند المورد: لو المورد عنده موقع بيظهر المتاح، تعرف أول ما صنف يرجع.
  • متابعة ظهورك: تشوف ترتيب منتجاتك في نتايج البحث جوه منصة أو ماركت بليس كل أسبوع.
  • جمع آراء العملاء العامة: تقييمات منتجاتك على المنصات علشان تحللها وتطلع منها المشاكل المتكررة، زي اللي في تحليل آراء العملاء بالذكاء الاصطناعي.
  • التأكد من موقعك نفسه: سكريبت بيزور صفحات متجرك ويتأكد إن الأسعار والمخزون ظاهرين صح، وإن مفيش صفحة واقعة. ده Scraping لموقعك إنت، ومفيش فيه أي مشكلة.

الاستخدامات دي غالبًا بتبقى على عدد صفحات صغير ومحدد، فالضغط على المواقع قليل، والقيمة عالية لأنها بتتكرر كل يوم من غير مجهود.

Web Scraping بالكود ولا بأداة جاهزة؟

فيه أدوات بواجهة بتسحب البيانات من غير كود، وفيه منصات أتمتة زي n8n فيها خطوة HTTP تقدر تطلب بيها صفحة أو API. الاختيار:

  • أداة جاهزة: لو محتاج قايمة مرة واحدة، ومن موقع الأداة بتدعمه رسميًا. بس اتأكد إن الأداة نفسها بتشتغل بطريقة مسموحة، لأن المسؤولية عليك إنت في الآخر.
  • كود Python: لو محتاج تكرار السحب كل أسبوع، أو بيانات من مصادر مختلفة تتدمج، أو تحكم كامل في التنضيف.
  • API رسمي: دايمًا لو موجود.

وبعد ما البيانات تتجمع، تقدر تحطها في جوجل شيت وتكمّل عليها بـ Apps Script، أو تخلي الذكاء الاصطناعي يصنّف الشركات حسب مدى مناسبتها لخدمتك.

أسئلة شائعة

الـ Web Scraping قانوني؟

يعتمد على الموقع والبيانات والاستخدام. سحب بيانات عامة من موقع بيسمح بده، بمعدل معقول، لغرض مشروع، غالبًا مقبول. سحب بيانات شخصية، أو من موقع بيمنعه، أو بتخطي حماية، ممكن يعرّضك لمشاكل قانونية. ده مش رأي قانوني، ولو مشروعك كبير استشير محامي.

ينفع أسحب بيانات من جوجل ماب؟

السحب المباشر من صفحات الخريطة مخالف لشروط جوجل. الطريقة المسموحة هي Google Places API، وفيها استخدام مجاني بحدود وبعدين بتدفع حسب الطلبات.

أبدأ Web Scraping بأنهي لغة؟

Python هي الأسهل والأشهر، بمكتبات requests وBeautifulSoup للمواقع البسيطة، وPlaywright للمواقع اللي بتحمّل بالجافاسكريبت.

Playwright ولا Selenium للمواقع اللي بتحمّل بالجافاسكريبت؟

الاتنين بيفتحوا متصفح حقيقي ويتحكموا فيه. Playwright أحدث وأسرع وبيستنى العناصر تظهر لوحده، فغالبًا أسهل للمبتدئ. Selenium أقدم ومعروف أكتر وليه أمثلة كتير على الإنترنت. بس في الحالتين، دوّر الأول على رابط JSON في تبويب Network، لأنه بيغنيك عن المتصفح الآلي كله في حالات كتير.

الموقع حظرني، أعمل إيه؟

وقّف. الحظر معناه إن الموقع مش عايز السحب ده أو إنك بتبعت طلبات كتير. ما تحاولش تتخطاه بتغيير IP، دوّر على API رسمي أو تواصل مع صاحب الموقع.

أعمل إيه بالقايمة بعد ما أسحبها؟

نضّفها، واختار شريحة صغيرة مناسبة، وتواصل بشكل فردي ومحترم، وسجّل النتايج. القايمة الكبيرة العشوائية بتضيع وقت وبتحرق رقمك.

لو عايز تبني نظام بيجيب عملاء محتملين لشركتك من مصادر مسموحة، وينضّف البيانات ويوصلها لفريق المبيعات أوتوماتيك، شوف خدمة أتمتة الأعمال أو ابعتلي مجالك والعملاء اللي بتستهدفهم: احجز استشارة.

أحمد عبد الحميد

ميديا باير ومطوّر WordPress وخبير أتمتة و SEO بخبرة +11 سنة. بكتب هنا عن حملات Meta والمتاجر والأتمتة والسيو من شغل حقيقي وخبرة فعلية مثبتة.

اكتب تعليقك

بريدك الإلكتروني مش هيظهر. الخانات المطلوبة عليها *

اسألني على واتساب