wet是一个命令行的下载工具。对于我们这些 Linux 用户来说,几乎每天都在使用它。下面为大家介绍几个有用的 wget 小技巧,可以让你更加高效而灵活的使用 wget。
这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中,
-np
的作用是不遍历父目录,
-nd
表示不在本机重新创建目录结构。
与上一条命令相似,但多加了一个
--accept=iso
选项,这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。
该命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中,然后 wget 就会自动为你下载所有文件了。
这里所指定的
-c
选项的作用为断点续传。
该命令可用来镜像一个网站,wget 将对链接进行转换。如果网站中的图像是放在另外的站点,那么可以使用
-H
选项。
wget --spider 看返回值L
如: 200 304 403 404 ...
HTTP request sent, awaiting response... 200 OK
Length: 1,494 [text/html]
200 OK
HTTP request sent, awaiting response... 404 Not Found
17:41:50 ERROR 404: Not Found.
最常見的使用方式:
1. 下載某檔案
wget http://xxx.xxx.xxx.xxxx/file.tar.gz
2. 砍站(類似teleport pro)
wget -r http://xxx.xxx.xxx.xxxx/
3. 砍站無視robots.txt檔案 , 我想這才是您想知道的吧..
在告訴您之前,請想想robots.txt的用途, 以及為何管理者設了這個東西.
以及您無視robots.txt後 對網站及管理造成的負擔/困擾...
我先說我的處理方式:
心情好時,無視此行為,反正網站就是要給你看的..
心情差時,拒絕該區段ip連線,例如: 163.19.163.99 砍站, 我就拒絕 163.19.163.0/24 .
甚者...拒絕該ip所屬isp或是所屬國家所有區段.
wget -erobots=off http://xxx.xxx.xxx.xxxx/
實測: 當沒有加上 -erobots=off 只會抓取網頁的首頁及robots.txt ,若加上,則會進行砍站動作.
4. 若對方網站拒絕Wget...
wget -m -U "Mozilla/5.0 (compatible; Konqueror/3.2; Linux)" http://xxx.xxx.xxx.xxx
則可以偽裝為其他瀏覽器...
相关推荐
详细介绍wget的使用技巧,带来平时工作的简单与便利
主要介绍了Python使用wget实现下载网络文件功能,简单介绍了wget安装以及Python使用wget下载tar格式网络文件并进行解压处理相关操作技巧,需要的朋友可以参考下
首先作为前端开发可能需要安装各种浏览器和安装一些环境之类的可以使用Homebrew一行代码快速的完成这些安装操作,不必再去浏览器搜索下载安装,例如:Xcode、node(nvm)、git、vscode、wget、Firfox、Google-Chrome...
wget -q http://peak.telecommunity.com/dist/ez_setup.py (2)使用 python ez_setup.py (3)使用easy_install 查看命令是否可用,如果不可用可以讲路径加入到PATH中 3.安装greenlet (1) yum install python...
wget https://bootstrap.pypa.io/get-pip.py # 执行 python get-pip.py # 再次执行按照bypy pip install bypy 安装成功后,第一次使用 bypy 任何一个命令都会触发授权提示,根据提示在浏览器打开指定链接,获取...
在Travis CI上,您可以使用以下命令运行最新的ci-tricks版本: install : - wget -qO - https://raw.githubusercontent.com/smola/ci-tricks/master/get.sh | bash 在Appveyor上,您可以使用: install : - ps : ...
壳牌 终端会话的现场直播。 为什么? 是否曾经想过快速向一些朋友展示您在做什么? 也许您看到一个奇怪的错误,并希望获得帮助。 或者相反:您的某个...如果未安装wget (如在Mac OS X中),则可以使用curl作为: c
您可能感兴趣的文章:linux中 shell 历史命令记录功能用来记录登录后使用命令的shell脚本PowerShell小技巧之定时记录操作系统行为PowerShell时间记录脚本Powershell小技巧之记录脚本的操作Powershell小技巧之用变量...
1.使用eaccelerator 我们上面的介绍Apache服务器的优化,如果您曾经浏览过 PHP 的网页时,或许会发现:怎么 PHP 的速度慢慢的,这是怎么一回事啊?PHP 不是号称速度上面的反应是很快速的吗?怎么会慢慢的呢?这是由于 ...
与Vowpal Wabbit取得联系悉尼数据科学大会,2015年7月21日先决条件将Vowpal Wabbit源代码仓库克隆到此目录中 git clone https://github.com/JohnLangford/vowpal_wabbit.git(可选)RCV1数据集 wget -c ...
ubuntu亲身经验全集,mentohust,macubuntu,终端命令,美化,ubuntu系统备份与还原,vim,gvim,wget等等软件的使用。适合ubuntu新手,特别是校园网的人。mentohust可以替代锐捷实现linux上校园网
主要是Java后端的,16K左右的,涉及SE、WEB、三大框架SSM、springboot、MQ、数据库、springcloud、JVM、Redis、多线程、hashmap的底层、面试技巧等 SSM涉及浅层的底层,如IOC、AOP,专为没看过源码的人应付面试准备...
有关更多asciidoc格式化技巧,请参阅此处的出色参考 需要帮忙? 需要帮忙? 在freenode IRC上或邮件列表上尝试#logstash。 发展 1.插件开发与测试 代码 首先,您需要安装了Bundler gem的JRuby。 从GitHub 组织创建...
0.10.1 pip install Flask 如果您没有pip,请通过wget https://bootstrap.pypa.io/get-pip.py python get-pip.py安装如果您不熟悉二十一点,请尝试从开始(提示:即使您了解所有规则,该网站对于各种策略技巧也非常...
大酒杯技巧罐 在WordPress中下载和部署 wget https://raw.githubusercontent.com/bohendo/bjtj/master/build/bjtj.zip unzip bjtj.zip cp -r bjtj /var/www/wordpress/wp-content/plugins/bjtj # now go to the ...
33.7. 各种小技巧 33.8. 安全话题 33.8.1. 被感染的脚本 33.8.2. 隐藏Shell 脚本源码 33.9. 移植话题 33.10. 在Windows 下进行Shell 编程 34. Bash, 版本 2 和 3 34.1. Bash, 版本2 34.2. Bash, 版本3 35. 后记 35.1...
各种小技巧 33.8. 安全话题 33.8.1. 被感染的脚本 33.8.2. 隐藏Shell脚本源码 33.9. 移植话题 33.10. 在Windows下进行Shell编程 34. Bash, 版本 2 和 3 34.1. Bash, 版本2 34.2. Bash, 版本3 35. 后记...
##Mac OS X 主题适用于 Ubuntu 14.04 和 14.10 这是一个 shell 脚本,用于安装 Mac OS X Yosemite GTK 主题以及图标、徽标和其他小技巧,为您的 Ubuntu 机器提供完整的 Mac OSX 体验。 此脚本适用于 Ubuntu 14.04 和...
+的文件树结构的另一个数据集)上进行实验,尽管“用法”部分提供了一些修改代码以接受其他数据集的技巧。 安装 从干净的,完全更新的Ubuntu 16.04 Server副本开始 # Install the Miniconda2 Python distribution. ...