如何通過網絡爬蟲獲取網站相關數據？

1、在站內尋找API入口；

2、用搜索引擎搜索“某網站API”；

3、抓包，有的網站雖然用到了ajax，但是通過抓包還是能夠獲取XHR里的json數據的（可用抓包工具抓包，也可以通過瀏覽器按F12抓包：F12-Network-F5刷新）。二、不開放API的網站1、如果網站是靜態頁面，那么可以用requests庫發送請求，再通過HTML解析庫（lxml、parsel等）來解析響應的text；解析庫強烈推薦parsel，不僅語法和css選擇器類似，而且速度也挺快，Scrapy用的就是它。2、如果網站是動態頁面，可以先用selenium來渲染JS，再用HTML解析庫來解析driver的page_source。