有沒有前后端分離的python爬蟲系統(tǒng)推薦？

其實(shí)Python做爬蟲的開源項(xiàng)目還挺多的，列舉幾個(gè)供你參考。

Crawlab

技術(shù)：Golang + Vue

有點(diǎn)：不局限于 scrapy，可以運(yùn)行任何語言和框架的爬蟲，精美的 UI 界面，天然支持分布式爬蟲，支持節(jié)點(diǎn)管理、爬蟲管理、任務(wù)管理、定時(shí)任務(wù)、結(jié)果導(dǎo)出、數(shù)據(jù)統(tǒng)計(jì)、消息通知、可配置爬蟲、在線編輯代碼等功能

缺點(diǎn)：暫時(shí)不支持爬蟲版本管理

評分：14.2K

Scrapydweb

技術(shù)：Python Flask + Vue

優(yōu)點(diǎn)：精美的 UI 界面，內(nèi)置了 scrapy 日志解析器，有較多任務(wù)運(yùn)行統(tǒng)計(jì)圖表，支持節(jié)點(diǎn)管理、定時(shí)任務(wù)、郵件提醒、移動界面，算是 scrapy-based 中功能完善的爬蟲管理平臺

缺點(diǎn)：不支持 scrapy 以外的爬蟲，Python Flask 為后端，性能上有一定局限性

評分：1.2K

Gerapy

技術(shù)：Python Django + Vue

優(yōu)點(diǎn)：Gerapy 是崔慶才大神開發(fā)的爬蟲管理平臺，安裝部署非常簡單，同樣基于 scrapyd，有精美的 UI 界面，支持節(jié)點(diǎn)管理、代碼編輯、可配置規(guī)則等功能

缺點(diǎn)：同樣不支持 scrapy 以外的爬蟲，而且據(jù)使用者反饋，1.0 版本有很多 bug，期待 2.0 版本會有一定程度的改進(jìn)

評分：1.9K

SpiderKeeper

技術(shù)：Python Flask

優(yōu)點(diǎn)：基于 scrapyd，開源版 Scrapyhub，非常簡潔的 UI 界面，支持定時(shí)任務(wù)

缺點(diǎn)：可能有些過于簡潔了，不支持分頁，不支持節(jié)點(diǎn)管理，不支持 scrapy 以外的爬蟲

評分：2.9K

Awesome-Spider

這里面收集了很多現(xiàn)成的爬蟲。最后請良性的使用爬蟲技術(shù)，技術(shù)是無辜的，它沒有辨別能力的。斟酌使用！

如果你覺得對你有幫助，或還有其它想了解，歡迎留言關(guān)注@杰森夢想家。