最新消息:20210816 当前crifan.com域名已被污染,为防止失联,请关注(页面右下角的)公众号

【记录】使用外置8T的桌面级移动硬盘Seagate Backup Plus Hub保存爬取的数据

爬取 crifan 796浏览 0评论
由于爬取数据,最终发现可能超过4T,所以现有4T硬盘坑你就不够保存了。
所以干脆买更大的,8T的,号称桌面级移动硬盘:
【记录】外置桌面级8T的Seagate Backup Plus Hub移动硬盘
然后继续去使用:
插到Mac或Win上,去格式化为NTFS
再用于保存爬取的数据。
其中对于Mac,还要打开Paragon,才能写入NTFS的硬盘的数据。
然后现在换到Mac中,去插上此8T硬盘,去格式化为NTFS
插上电源后,结果都看不到电源灯亮。
后来是把USB数据线插入电脑(Mac)后,才看到灯亮:
插上后,mac中提示:
选择 不使用
已经默认格式为NTFS了。
此处需要去安装Paragon NTFS,否则无法写入:
【记录】Mac中安装Paragon用于写入NTFS的8T硬盘
然后继续去爬取数据
周末一共爬取了:
  • 已爬117万/当前共330万
  • 数据量:800多G
然后继续下载了1天,后来下载了1.34T
昨晚 20181029晚上,继续换用5G网络下载,当时速度很不错,而且fail和retry也很少
下载了一晚上,第二天早上:20181030,出现问题:
此Mac又卡死了,查看网络和Safari都无法正常打开
只能去重启Mac,结果重启Mac点击了几次都没用
只能强制按电源重启
重启后,Paragon 安装后,可以看到8T的硬盘,数据是正常的1.34T
但是:
刚才无意间,好像是把之前pyspider的8T的那个源码(和pyspider的data等目录,包含了进度的)
移动到别的什么地方了,但是整个电脑中,死活找不到移动到哪里了
包括废纸篓,都找不到:
很是诡异
所以现在缺了之前的8T的源码了:
然后也没法继续下载了。。。
难道是被移动到了隐藏文件夹?
突然想到,用系统全局的搜索,真的搜索到了:
竟然被无意间被移动到应用程序了:
去拖回来
然后继续下载
20181030 晚上9点:
共437万,已爬185万,42.4%,1.87T
20181031 早上9点:
昨晚用的5G网络,早起发现Mac又卡死了:点击网络卡死,没反应,之后整个系统中很多应用都无法操作
只能强制关机后重启,重新继续爬取,现在是:
共457万,已爬199万,43.5%,1.87T
20181101 早上8点:
20181102早上:
对于8T的硬盘,插入到Mac中,过了几十秒,Finder中还是没有盘符
以为就是没有自动加载
而去看了NTFS for Mac
也的确看到硬盘是 没有加载
安装 按钮是可以点击 
-》以后需要自己点击才能安装
-》后来某次无意间发现:
等待足够长时间(大概2,3分钟左右)
然后是可以自动安装加载盘符 :
而无需手动点击操作
-》心得:
对于容量很大的移动硬盘,比如这里的8T的希捷硬盘,在安装了NTFS for Mac后,需要等待足够长时间,大约3分钟左右,然后会自动加载的。
真的不能自动加载,再去点击 安装 去加载。
20181103 早上8点:
20181105早上9点:
20181105 晚上:
20181106 早上8点:
20181107早上8点:
20181108 早上8点:
20181109 早上9:00
20181109 23:40
20181111 10:30
20181112 13:00
20181114 8:30
20181115 19:00
20181116 08:30

转载请注明:在路上 » 【记录】使用外置8T的桌面级移动硬盘Seagate Backup Plus Hub保存爬取的数据

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
80 queries in 0.169 seconds, using 22.12MB memory