wget是很好用的工具,具有通过ftp协议mirror整个目录的功能。非常方便,唯一的缺点一个是不够安全,另外的缺点是有的web服务器的ftp 服务程序不够稳定,可能导致服务器很忙(我就碰到过)
wget 备份服务器的命令类似
代码: |
wget -t 5 -m --output-file=log.txt --user=ftpusername --password=ftpuserpassword ftp://www.server.com/folder
|
参数就不解释了,请大家翻阅wget的manual
rsync更强大些,可以使用ssh安全链接来镜像目录。ssh更安全高效。但缺点是必须和服务器间建立基于密匙的安全验证,所以你的备份机器必须非常安全,只能你一个人使用。教程大家请参考:
chenguang.blog.51cto.c...944/121751
这两种方法配合Linux或unix下的cron定时服务,就可以实现定时备份。非常省事。
wget我都是用他来下载网上漫画,呵呵
不过我觉得wget功能确实单一了些。最主要的就是不支持多线程,或者其他多个文件同时下载也好啊。
网站的文件大多是page文件,或者脚本源代码。属于数量大个头小的文件类型。最适合多线程访问下载,单个下载实在太慢了,看着烦啊。
不过要是做成定时服务,放在后台不去管它还好。慢点也不觉得了。
反正我现在下载漫画一般是分析出漫画图片地址后用python做个线程池,这样可以做到多线程下载。
nessus 写道: |
wget我都是用他来下载网上漫画,呵呵
不过我觉得wget功能确实单一了些。最主要的就是不支持多线程,或者其他多个文件同时下载也好啊。
网站的文件大多是page文件,或者脚本源代码。属于数量大个头小的文件类型。最适合多线程访问下载,单个下载实在太慢了,看着烦啊。
不过要是做成定时服务,放在后台不去管它还好。慢点也不觉得了。
反正我现在下载漫画一般是分析出漫画图片地址后用python做个线程池,这样可以做到多线程下载。
|
对于这种情况我一般是用Perl LWP写一个简单的机器人程序,去把连接全部扒下来。
wget 和 rsync 确实都比较简单。作为备份足够用了。在背景线程中运行,不占用太多CPU。一台备份服务器开着那。一年365天地跑,呵呵。