آموزش نصب و استفاده از دستور wget

آموزش نصب و استفاده از دستور wget در لینوکس همراه با 12 مثال عملی جالب را در این مقاله مطالعه خواهید کرد. در پایان، همه چیز را در مورد دستور wget را خواهید دانست و می توانید از آن برای دانلود فایل در لینوکس استفاده کنید.

دستور Wget چیست؟

Wget  یک ابزار کامپیوتری است که توسط پروژه گنو ایجاد شده و می‌توان از آن برای دانلود محتوا و فایل از سرورهای مختلف وب استفاده کرد.

wget دانلود از طریق FTP، SFTP، HTTP و HTTPS پشتیبانی می کند و نام آن هم ترکیبی از World Wide Web و get می‌باشد. 

Wget در کامپایلر قابل حمل سی(pcc ) ایجاد شده و در هر سیستم یونیکس قابل استفاده است، همچنین می‌توان آن را روی Mac OS X، Microsoft Windows، AmigaOS و دیگر پلتفرم‌های محبوب پیاده‌سازی کرد.

چگونه Wget را روی لینوکس نصب کنیم؟

ابتدا از طریق SSH به سرور لینوکس متصل شوید.

برای نصب wget در Debian یا Ubuntu دستور زیر را اجرا کنید:

apt-get install wget

برای نصب wget در Redhat یا CentOS دستور زیر را اجرا کنید:

yum install wget

پس از اتمام نصب، آماده استفاده از آن خواهید بود.

مثال‌هایی برای استفاده از دستور wget

در ادامه  12 مثال عملی برای دستور wget را ارائه می دهیم که می توانید برای کارهای روزمره از آنها استفاده کنید.
 

استفاده از دستور Wget برای دانلود تک فایل 

یکی از ابتدایی ترین نمونه‌های دستور wget دانلود یک فایل و ذخیره آن در دایرکتوری فعلی است. به عنوان مثال فایل parsdev.zip  را دانلود کنیم:

wget https://parsdev.com/parsdev.zip

در این مثال، فایلی با نام parsdev.zip در دایرکتوری فعلی دانلود می‌شود. همچنین اطلاعات اضافی مانند پیشرفت دانلود، سرعت، اندازه، زمان و تاریخ را مشاهده خواهید کرد.

استفاده از دستور Wget برای دانلود چندین فایل

با استفاده از wget می‌توان چندین فایل را به طور همزمان دانلود کرد. برای انجام این کار، باید یک سند متنی ایجاد کرده  و URLهای دانلود را در آن وارد کنیم.
به عنوان مثال،  آخرین نسخه وردپرس، جوملا و دروپال را با استفاده از wget دانلود می کنیم.

nano example.txt

برای این کار یک فایل example.txt ایجاد نموده و آن را با ویرایشگر متن باز و لینکها را در آن قرار می‌دهیم

https://wordpress.org/latest.zip
https://downloads.joomla.org/cms/joomla3/3-8-5/Joomla_3-8-5-Stable-Full_Package.zip
https://ftp.drupal.org/files/projects/drupal-8.4.5.zip

پس از پایان، می‌توان با استفاده از سوئیچ  i- همه لینک‌های ذخیره شده در فایل متنی  را دانلود کرد

wget -i example.txt

استفاده از دستور Wget برای دریافت فایل‌ها با نام‌ دیگر

در این مثال wget، با کمک سوئیچ O- یک فایل را با نام دیگری ذخیره می کنیم

wget -O wordpress-install.zip https://wordpress.org/latest.zip

در این صورت، منبع دانلود شده به جای نام اصلی به عنوان wordpress-install.zip ذخیره می شود.

استفاده از دستور Wget برای ذخیره فایل در دایرکتوری خاص

می توان از wget برای قرار دادن یک فایل در دایرکتوری دیگر با استفاده از سوئیچ P- استفاده کرد:

wget -P documents/archives/ https://wordpress.org/latest.zip

فایل با استفاده از این دستور  در مسیر documents/archives/ دانلود می‌شود.

استفاده از دستور Wget برای محدود کردن سرعت دانلود

با wget می‌توان سرعت دانلود را نیز محدود کرد این کار به ویژه برای دانلود  فایل‌های بزرگ مفید است و درگیر شدن تمام پهنای باند جلوگیری می کند.

این مثال wget محدودیت را روی 900K تنظیم می کند:

wget --limit-rate=900k https://wordpress.org/latest.zip

استفاده از دستور Wget برای تنظیم تلاش های مجدد

مشکلات اتصال به اینترنت می‌تواند باعث قطع شدن دانلود شود. برای مقابله با این مشکل، می‌توانیم تلاش‌های مجدد را با استفاده از سوئیچ tries- افزایش داد:

wget -tries=100 https://wordpress.org/latest.zip

استفاده از دستور Wget برای دانلود در بک گراند

برای فایل‌های بسیار بزرگ، می‌توان از سوئیچ b- استفاده کرد تا محتوا در بک گراند دانلود شود.

wget -b http://example.com/beefy-file.tar.gz

یک wget-log در دایرکتوری فعلی ظاهر ومی‌تواند برای بررسی پیشرفت دانلود استفاده شود. این دستور نیز این کار را انجام می دهد:

tail -f wget-log

با استفاده از دستور Wget برای دانلود از طریق FTP

این دستور با FTP نیز قابل استفاده است، فقط باید نام کاربری و رمز عبور را مانند این مثال wget مشخص کنید:

wget --ftp-user=YOUR_USERNAME --ftp-password=YOUR_PASSWORD ftp://example.com/something.tar

استفاده از دستور Wget برای ادامه دانلودهای قطع شده

در صورت قطع اتصال به اینترنت یا قطع برق، دانلود ممکن است قطع شود. این یک اتفاق بسیار رایج در هنگام دریافت فایل‌های بزرگ است. به جای اینکه ازابتدا شروع کنید می‌توانید دانلود را با استفاده از سوئیچ c- ادامه دهید:

wget -c https://example/very-big-file.zip

اگر از  سوئیچ c- استفاده نشود،  در پایان فایل جدید .1  اضافه خواهد شد.

استفاده از دستور Wget برای دانلود  کل وب سایت 

می توان از دستور wget برای دانلود محتوای کل سایت استفاده کرد. این به شما امکان می‌دهد بدون اتصال به اینترنت آن را به صورت لوکال مشاهده کنید. به عنوان مثال:

wget --mirror --convert-links --page-requisites --no-parent -P documents/websites/ https://some-website.com

بیایید اجزای این دستور wget را تجزیه و تحلیل کنیم:

• mirror-      دانلود را بازگشتی می کند.
• convert-links-    همه لینک‌ها برای استفاده آفلاین مناسب تبدیل خواهند شد.
• page-requisites-     موارد زیر شامل تمام فایل‌های ضروری مانند CSS، JS و تصاویر می شود.
• no-parent-    تضمین می‌کند که دایرکتوری‌های بالای سلسله مراتب دانلودنمی‌شوند.
• P /documents/websites-    تمام محتوا به فهرست مشخص شده ما می رود.

پس از پایان فرایند، می‌توانید وب‌سایت دانلود شده را به صورت لوکال باز کنید و همه فایل‌ها را در مسیر documents/websites/ پیدا کنید.

استفاده از دستور Wget برای یافتن لینک های شکسته

بیایید چیز پیشرفته‌تری را امتحان کنیم. می‌توانیم از دستور wget برای پیدا کردن آدرس‌های اینترنتی شکسته‌ و خراب که خطای 404 را در یک وب‌سایت خاص نشان می‌دهند، استفاده کنیم. با اجرای موارد زیر شروع کنید:

wget -o wget-log -r -l 5 --spider https://parsdev.com

• o- خروجی را در یک فایل برای استفاده بعدی جمع آوری می کند.
• l- سطح بازگشت را مشخص می کند.
• r- دانلود را بازگشتی می کند.
• spider–  هم wget را روی مود spider قرار میدهد

ممکن است فایل wget-log را بررسی کنیم تا لیست پیوندهای شکسته را پیدا کنیم. در اینجا دستور انجام آن است:

grep -B 2 '404' wget-log | grep "http" | cut -d " " -f 4 | sort -u

با استفاده از دستور Wget برای دانلود فایل های شماره گذاری شده

اگر فایل یا تصاویری دارید که در لیست خاصی شماره گذاری شده‌اند، می توانید به راحتی همه آنها را با دستور زیر دانلود کنید:

wget http://example.com/images/{1..50}.jpg

با تکمیل این آموزش، کاربردهای مختلف دستور wget را یاد گرفتید. اکنون می توانید از آن برای دانلود یک یا چند فایل استفاده کنید.علاوه بر این، برخی از کاربردهای پیشرفته مانند دانلود یک وب سایت کامل یا مکان‌یابی URLهای شکسته را یاد گرفته اید.