python爬蟲怎么寫循環(huán)爬取多個(gè)頁面？

動(dòng)態(tài)加載的數(shù)據(jù)都是用戶通過鼠標(biāo)或鍵盤執(zhí)行了一定的動(dòng)作之后加載出來的。

所以我們通過selenium提供的webdriver工具調(diào)用本地的瀏覽器，讓程序替代人的行為，滾動(dòng)頁面，點(diǎn)擊按鈕，提交表單等等。從而獲取到想要的數(shù)據(jù)。所以我認(rèn)為，使用selenium方法爬取動(dòng)態(tài)頁面的中心思想是模擬人的行為。