15-分布式爬虫的部署

在前一章我们成功实现了分布式爬虫,但是在这个过程中我们发现有很多不方便的地方。

在将 Scrapy 项目放到各台主机运行时,你可能采用的是文件上传或者 Git 同步的方式,但这样需要各台主机都进行操作,如果有 100 台、1000 台主机,那工作量可想而知。

本章我们就来了解一下,分布式爬虫部署方面可以采取的一些措施,以方便地实现批量部署和管理。