最新消息:20210816 当前crifan.com域名已被污染,为防止失联,请关注(页面右下角的)公众号

【已解决】Mac中从远程CentOS服务器中加速下载大文件

CentOS crifan 4130浏览 0评论

折腾:

【已解决】优化整个系统的多个项目的代码结构

期间,

需要从远程的CentOS服务器中,下载一个1G多的大文件。

之前对于普通小文件,直接用命令行的sz即可下载。

现在对于大文件,需要看看是否有更好的办法。

用sz或sftp?

不过还是先去试试sz速度如何

速度稳定在128KB/s

[root@xxx-01 xxx]# sz glove_6b.7z
rz
Starting zmodem transfer.  Press Ctrl+C to cancel.
Transferring glove_6b.7z...
1%    5762 KB     125 KB/sec    02:24:54 ETA   0 Errors

再去找找是否有别的办法

download big file from centos

curl – Download big file over bad connection – Unix & Linux Stack Exchange

linux – how can I use wget to download large files? – Super User

linux – CentOs 6, rsync/scp of big file stop at 40% (2.4G) – Super User

linux – How can I use wget to download large files? – Unix & Linux Stack Exchange

都是说用curl或wget

且wget支持-c == –continue 去断点恢复继续下载

Linux ultra fast command line download accelerator – nixCraft

去试试这个所谓的axel

本地是Mac,去看看能否方便的安装axel

先去把文件移动到nginx的www的目录下面,使得浏览器可以打开:

http:/xxx/glove_6b.7z

结果Safari浏览器下载速度从100多降到80多KB了:

是够慢的。

➜  Downloads brew install axel
==> Downloading https://homebrew.bintray.com/bottles-portable-ruby/portable-ruby-2.3.7.leopard_64.bottle.tar.gz
######################################################################## 100.0%
==> Pouring portable-ruby-2.3.7.leopard_64.bottle.tar.gz
Updating Homebrew...
==> Downloading https://homebrew.bintray.com/bottles/axel-2.15.high_sierra.bottle.tar.gz
######################################################################## 100.0%
==> Pouring axel-2.15.high_sierra.bottle.tar.gz
🍺  /usr/local/Cellar/axel/2.15: 17 files, 149.8KB

先去wget看看速度:

➜  Downloads wget http://xxx/glove_6b.7z
zsh: command not found: wget
➜  Downloads brew install wget
Warning: wget 1.19.4_1 is already installed, it's just not linked
You can use `brew link wget` to link this version.
➜  Downloads brew link wget
Linking /usr/local/Cellar/wget/1.19.4_1... 45 symlinks created
➜  Downloads wget http://xxx/glove_6b.7z
--<2018-08-16 10:02:38-- http://xxx/glove_6b.7z
正在连接 47.96.131.109:80... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:1121079991 (1.0G) [application/x-7z-compressed]
正在保存至: “glove_6b.7z”
glove_6b.7z                                   0%[                                                                                           ] 919.98K  87.7KB/s  剩余 4h 56m

速度不到100KB/S

试试axel:

Downloads
➜  Downloads axel http://xxx/glove_6b.7z
正在初始化下载:http://xxxx/glove_6b.7z
文件大小:1121079991 字节
正在打开输出文件 glove_6b.7z.0
正在开始下载
[  0%]  .......... .......... .......... .......... ..........  [  87.9KB/s]
[  0%]  .......... .......... .......... .......... ..........  [  90.7KB/s]
[  0%]  .......... .......... .......... .......... ..........  [ 100.7KB/s]
[  0%]  .......... .......... .......... .......... ..........  [ 110.6KB/s]
...
[  0%]  .......... .......... .......... .......... ..........  [ 110.9KB/s]

好像速度也就这样,不过是比80KB要好点

但是无法超过此处阿里云服务器的1Mbps=128KB/s的限制

那只能继续等待了。

如果不是服务器端网速受限制,那么axel应该的确可以加速的感觉。

最后终于下载完了:

连接 2 完成下载
,,,,,,,,,, ,,,,,,,,,, .......... .......... ......
连接 1 完成下载
,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,....  [ 130.5KB/s]
[ 99%]  .......... .......... .......... .......... ..........  [ 130.5KB/s]
[ 99%]  .......... .......... .......... .......... .......
连接 3 完成下载
,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,...  [ 130.5KB/s]
[ 99%]  .......... .......... .......... .......... ..........  [ 130.5KB/s]
[ 99%]  ..........
连接 1 完成下载
,,,,,,,,,, .......... .......... .
连接 2 完成下载
,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,......... ..........  [ 130.5KB/s]
[ 99%]  .......... .......... .......... .......... ..........  [ 130.5KB/s]
[100%]  ....
连接 0 完成下载
已下载 1.0 吉字节,用时 2 时 19 分 51 秒。(130.47 KB/s)

另外,如果有需要可以去试试:

prozilla

【后记】

折腾

【记录】备份腾讯云香港CVM的crifan.com网站全部文件和数据库

期间,去强制中断下载:

[  6%]  .......... .......... .......... .......... ..........  [ 108.9KB/s]
[  6%]  .......... .......... ..........^C .....
已下载 740.3 兆字节,用时 1 时 55 分 59 秒。(108.92 KB/s)

然后看到:

➜  backups ll -lha
...
-rw-r--r--  1 crifan  staff   8.4G  5 10 20:47 www.crifan.com_allFiles_20190509.7z
-rw-r--r--  1 crifan  staff    74B  5 10 20:47 www.crifan.com_allFiles_20190509.7z.st

里面有.st文件。

然后继续用同样命令去下载:

➜  backups axel http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
正在初始化下载:http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
文件大小:11698810070 字节
正在打开输出文件 www.crifan.com_allFiles_20190509.7z
找到状态文件:已下载 776279750 字节,剩余 10922530320 字节。
正在开始下载
        ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,..... ..........  [  11.1KB/s]
[  6%]  .......... .......... .......... .......... ..........  [  22.5KB/s]

即,可以断点续传。

后来发现,wget也可以:

先搜索,wget是否支持断点续传

wget mac 断点续传

wget支持断点续传的linux命令 – neptune – ITeye博客

wget -c -t 0 -O new_name.tar.gz http://www.cnscn.org/old_name.tar.gz 
-c 断点续传 
-t 0 反复尝试的次数,0为不限次数 
--passive-ftp 使用pasv即被动模式下载,只有在搭配保全系统而遇到问题时,才要加此参数 
--proxy-user=username 设置登陆代理服务器的用户名 
--proxy-passwd=123456 设置登陆代理服务器的密码

wget命令详解,断点续传 – RichardYSteven的专栏 – CSDN博客
Linux wget断点续传,限速下载 – 喋喋为何叫不休。 – CSDN博客
wget参数详解

去下载

wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

详细log:

➜  use_wget_download wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
--2019-05-16 16:39:11--  http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
正在解析主机 book.crifan.com (book.crifan.com)... 150.109.113.228
正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 301 Moved Permanently
位置:https://book.crifan.com/www.crifan.com_allFiles_20190509.7z [跟随至新的 URL]
--2019-05-16 16:39:11--  https://book.crifan.com/www.crifan.com_allFiles_20190509.7z
正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:11698810070 (11G) [application/x-7z-compressed]
正在保存至: “www.crifan.com_allFiles_20190509.7z”

www.crifan.com_allFiles_20190509.7z          0%[                                                                                       ]   3.26M  8.66KB/s  剩余 13d 15h

就这么慢慢下载吧。

抽空回家再继续下载。

➜  use_wget_download wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
--2019-05-22 22:02:03--  http://book.crifan.com/www.crifan.com_allFiles_20190509.7z
正在解析主机 book.crifan.com (book.crifan.com)... 150.109.113.228
正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 301 Moved Permanently
位置:https://book.crifan.com/www.crifan.com_allFiles_20190509.7z [跟随至新的 URL]
--2019-05-22 22:02:03--  https://book.crifan.com/www.crifan.com_allFiles_20190509.7z
正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 206 Partial Content
长度:11698810070 (11G),剩余 3671601452 (3.4G) [application/x-7z-compressed]
正在保存至: “www.crifan.com_allFiles_20190509.7z”

www.crifan.com_allFiles_20190509.7z         69%[+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++                            ]   7.54G  5.20KB/s  用时 13m 34s

2019-05-22 22:15:37 (77.9 KB/s) - 在 8092082863 字节处连接关闭。重试中。

--2019-05-22 22:15:38--  (尝试次数: 2)  https://book.crifan.com/www.crifan.com_allFiles_20190509.7z
正在连接 book.crifan.com (book.crifan.com)|150.109.113.228|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 206 Partial Content
长度:11698810070 (11G),剩余 3606727207 (3.4G) [application/x-7z-compressed]
正在保存至: “www.crifan.com_allFiles_20190509.7z”

www.crifan.com_allFiles_20190509.7z        100%[+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++===========================>]  10.89G   232KB/s  用时 6h 51m

2019-05-23 05:06:57 (143 KB/s) - 已保存 “www.crifan.com_allFiles_20190509.7z” [11698810070/11698810070])

终于下载完毕了。

【总结】

mac中断点续传:

可以用wget加c参数:

wget -c url

如果想要断了重连,且不限次数,可以再加:-t 0

wget -t 0 -c url

比如:

wget -c -t 0 http://book.crifan.com/www.crifan.com_allFiles_20190509.7z

即可。

转载请注明:在路上 » 【已解决】Mac中从远程CentOS服务器中加速下载大文件

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
82 queries in 0.166 seconds, using 22.18MB memory