آموزش وب اسکرپینگ با پایتون (web scraping)
بررسی کامل دوره
![ranking course dorebin logo](/_next/image/?url=%2F_next%2Fstatic%2Fmedia%2Fdorebin-rank-logo-blue.f17b8f84.webp&w=256&q=75)
- نظرات فراگیران:12 نظر3.3
- آموزشگاه:مکتب خونه4.1
- مدرس:معین سلیمی4
- زمان:9 ساعت
- مدرک:ندارد
- توضیحات:دارد
توضیحات
وب اسکرپینگ ابزاریست برای ارتباط با دنیای وب از طریق کدنویسی. اگر بخواهیم نگاهی عمیقتر به موضوع داشته باشیم باید گفت ماده، انرژی و اطلاعات سه مفهوم اصلی تشکیل دهندهی دنیا هستند، که تمام محصولات و خدماتی که در دنیای بشری ارزش مادی دارند، ریشه در یکی از این سه مفهوم دارد. یکی از منابعی که میتوان از طریق آن به اطلاعات دسترسی داشت، دنیای وب میباشد.
دنیای وب شامل شبکههای اجتماعی، فروشگاههای آنلاین، نتایج موتورهای جستجو و به صورت کلی هر چیزیست که ممکن است در یک مرورگر با آن مواجه شویم. اما دادههای وب دارای چه مزیتی نسبت به سایر منابع اطلاعات هستند؟ سه مزیت اصلی دادههای وب شامل:
در دسترس بودن
به روز بودن
سرعت بالا در دسترسی و انتقال آنهاست
اطلاعات دنیای وب هر روزه با توجه به نیازهای جامعه بشری و شرایطی که انسانها در آن زندگی میکنند در حال تغییر است و البته در هر جایی که اینترنت وجود دارد، این اطلاعات در دسترس هستند. دادهها که در واقع منشا تولید اطلاعات هستند، از دیدگاه محصول، فرآیند تولید راحتتری نسبت به محصولات فیزیکی دارند.
در واقع محصولاتی که بر پایهی اطلاعات تولید میشوند، تنها نیاز به منابع داده و مصرف کمی انرژی دارند. اطلاعات به واقع بخش مفیدی است، که از منابع دادهای استخراج میشود و چیزی شبیه به طلا است، که از دل معادن استخراج میشود.
وب اسکرپینگ ابزاری برای استخراج این دادهها از دنیای وب است. در واقع با تکیه بر قدرت پردازشی کامپیوترها، این امکان فراهم شدهاست، که بتوانیم حجم بسیار زیادی از دادهها را از دنیای وب استخراج کنیم. از طرفی باید توجه داشت، که الگوهایی که در داخل این دادهها قرار دارند، میتوانند بر روی تصمیماتی که در کسب و کارها گرفته میشود، تاثیرگذار باشند.
به بیان دیگر، بسیاری از الگوها فقط با دادهکاوی در حجم بسیار زیادی از دادهها قابل مشاهده هستند که این مهم تنها با قابلیت پردازشی کامپیوترها و ابزاری مثل وب اسکرپینگ قابل انجام است.
در مورد کاربردهای وب اسکرپینگ باید گفت که هر کسبوکاری با در نظر گرفتن موضوع فعالیت و نیاز خود، از وب اسکرپینگ استفاده میکند. شرکتی که در حال حاضر از وب اسکرپینگ استفاده بسیار زیادی میکند، گوگل است. گوگل با استفاده از علمweb scraping ، مطالبی که روزانه در وبسایتهای مختلف منتشر میشود را میخواند و با توجه به الگوریتم خود این مطالب را دستهبندی میکند.
گوگل با استفاده از الگوریتمی که در خود گنجانده است، هر روز اطلاعاتی که از وبسایتهای مختلف دریافت میکند را در دیتابیسهای خود ذخیر مینماید. پس از آن با استفاده از الگویتمهای خود دیتاهای دریافتی را تحلیل و آنالیز مینماید.
با تمام زبانهای برنامهنویسی می توانید وب اسکرپینگ را انجام دهید. تنها در مواردی که در ادامه به آنها اشاره خواهیم کرد، باید از زبانهای حرفهای برنامهنویسی استفاده کنید:
ارسال کردن اطلاعات در فرمها
باز کردن کدهای recaptcha
دانلود عکس و فایل ...
برای اینکه این کار را بهراحتی انجام دهید، زبان برنامهنویسی پایتون در کنار وب اسکرپینگ میتواند کمک بسیار زیادی نماید. به همین خاطر ما در دورههای آموزش برنامه نویسی مکتبخونه سعی کردهایم که آموزش وب اسکرپینگ با پایتون را جای بدهیم.
حال باید بدانیم به چه دلیل باید از پایتون در کنار وب اسکرپینگ استفاده کنیم. زبان پایتون دارای ابزاری میباشد که شما را در استفاده از وب اسکرپینگ کمک میکند و ما قصد داریم چند نمونه از این ابزار را به شما معرفی کنیم:
Scrapy
Selenium
request
beautifulSoup
برای اینکه در انجام پروژههای وب اسکرپینگ با پایتون تسلط پیدا کنید، نیاز به دو هفته زمان دارید که به حد متوسط برسید و برای اینکه در این حوزه حرفهایتر فعالیت کنید، باید حتما تمرین و انجام پروژهی مداوم داشته باشید. با استفاده از دورهی آموزش وب اسکرپینگ با پایتون مکتبخونه، بهراحتی میتوانید در این حوزهی برنامهنویسی به هدف خود نزدیک شوید.
شما با یادگیری این دوره به تواناییهایی زیر خواهید رسید:
دادههای دلخواه خود را از هر وبسایتی استخراج نمایید.
داده های خود در قالبهای گوناگون و همچنین قالبهای پایگاهدادهای، ذخیره نمایید.
رباتهایی بسازید که همانند خزندههای گوگل رفتار کنند و لینکهای صفحات را بخوانند.
وارد وبسایتهایی شوید که نیاز به لاگین دارند.
محدودیتهای اعمال شده برروی user- agent یا آیپیها را دور بزنید.
دوره آموزش وب اسکرپینگ با پایتون (web scraping) دورهای با امتیاز نهایی 4.6 میباشد و توسط دوره بین که موتور جستجوی بهترین دوره های آموزشی میباشد، تحلیل، بررسی و امتیازدهی شده است. مدت زمان این دوره 9 ساعت میباشد که در مکتب خونه توسط معین سلیمی مدرس این دوره ارائه شده است. قابل توجه است که این دوره مدرک ندارد و دوره مذکور 755,300 تومان میباشد.
همچنین میتوانید با کلیک بر روی دکمه شروع یادگیری به آموزشگاه ارائهدهنده متصل شوید و دوره آموزش وب اسکرپینگ با پایتون (web scraping) را تهیه نمایید.
علاوه بر این، شما عزیزان میتوانید همه دورههای زبان برنامه نویسی Python سراسر اینترنت را در صفحه زبان برنامه نویسی Python در دورهبین مشاهده، مقایسه و بهترین دوره از نظر کیفیت و قیمت را به آسانی انتخاب نمایید.
دورههای مشابه
آموزش مقدماتی وب اسکرپینگ با پایتون – استخراج داده های سایت با Web Scraping
محمد سعید
فرادرس
آموزش وب اسکرپینگ با پایتون + کار با ویدیو در پایتون - متوسط
ایمان صادقی رونیزی
رسانه آموزشی لیموناد
آموزش فریم ورک جنگو در پایتون – ساخت Web APIs با Django Rest
مجید ایرانپور
فرادرس
تجربه فراگیران
سید احمد رضا
خدایی اش دوره جذاب و خوبی هست با اینکه یه دوره ی دیگه ضعیف از این مدرس دیده بودم، ولی انصافا این دوره از هر لحاظ خوب هست. توضیحات مدرس کاملا کافی و کاربردی و اصولی هست. مثال ها همه کاربردی و اصولی هست و البته تمرین کم داره که خب قابل چشم پوشی هست. کیفیت صدا شاید یکم اذیت بکنه ولی در کل کیفیت ضبط و صدا قابل قبول هست.
سپهر
برای من که اطلاعاتی در این زمینه نداشتم دوره ی بسیار مفیدی بود ممنون از تدریس خوبتون آقای سلیمی.
سیدعلی
مطالب خيلي مقدماتي بود و من تقريبا كل اين مباحث رو در يه فصل از دوره پايتون پيشرفته گذرانده بودم. كيفيت صدا اصلا خوب نبود. توانايي انتقال مطلب استاد به اندازه كافي خوب نبود.
علی
برای کسی که تازه میخواد وارد وب اسکرپینگ بشه عالیه . البته کیفیت صدا خیلی خوب نیست اما مطالب خوبن باید خودتون هم تمرین زیاد کنید . تمرینات دوره کمه
علی
این دوره نتونست انتظارات من رو بعنوان یک استخراجگر وب تامین کنه. مفاهیم خیلی مقدماتی بود در صورتی که استاد میتونستن با یک سرفصل گذاری بهتر خروجی بهتری بگیرند.