掌握Wget和学习一些精巧的下载技巧

基本Wget

基本用法是 wget URL

 wget http://PCPC.me/

大多数人需要了解的最简单的选项是背景( wget -b ),继续部分下载( wget -c ),尝试次数( wget –tries = NUM​​BER ),当然还有帮助( wget -h )提醒自己所有选项。

wget -b -c --tries=NUMBER URL

中等高级Wget选项

Wget也可以在后台运行(wget -b < / em>),限制下载速度( wget –limit-rate = SPEED ),没有父级可以确保您仅下载子目录( wget -np ),仅更新更改的文件( wget -N ),镜像站点( wget -m ),确保未创建新目录( wget -nd ),仅接受某些扩展名( wget –accept = LIST )并设置等待时间( wget –wait = SECONDS )。

wget -b --limit-rate=SPEED -np -N -m -nd --accept=LIST --wait=SECONDS URL

递归下载Wget

您可以递归下载( wget -r ),跨度主机到其他域( wget -H ),将链接转换为本地版本( wget –convert-links )并设置递归级别( wget –level = NUMBER使用inf或0表示无穷大)。

但是某些网站不想让您递归下载,而是会检查您正在使用哪个浏览器来阻止该漫游器。要解决此问题,请声明一个用户代理,例如Mozilla( wget –user-agent = AGENT )。

wget -r -H --convert-links --level=NUMBER --user-agent=AGENT URL

受密码保护的Wget

可以使用wget( wget –http-user = USER –http-password = PASS )声明特定URL的用户名和密码。不建议在共享计算机上使用此密码,因为任何查看进程的人都将能够以纯文本格式查看密码。

wget --http-user=USER --http-password=PASS URL

一个有效的示例是使用wget从“记住牛奶"中备份您的任务

Wget批量下载

首先,使用wget创建要下载的所有URL的文本文件,并将其命名为 wget_downloads.txt 。然后,要批量下载URL,请键入以下命令:

wget -i wget_downloads.txt

Wget的用法

这将对网站进行爬网并生成任何断开链接的日志文件:

wget --spider -o wget.log -e robots=off --wait 1 -r -p http://www.mysite.com/

这将获取您喜欢的音乐博客的文本文件并下载任何新的MP3文件:

wget -r --level=1 -H --timeout=1 -nd -N -np --accept=mp3 -e robots=off -i musicblogs.txt

wget还有什么用?

图片信用:通过ShutterStock进行社交媒体连接,通过Shutterstock观看年轻人的电视,通过Shutterstock观看Globe的电视

标签: 下载管理 离线浏览