最好學習一下,不要求熟悉,但必須要會,我們爬蟲所爬取的網頁數據大部分都會直接或間接嵌套在html標簽或屬性中,如果你對html一點都不了解,也就無從談及數據的解析和提取,下面我簡單介紹一下python爬蟲的學習過程,感興趣的朋友可以嘗試一下:
基礎html知識
這個是最基本也是必須的,首先,學習網絡爬蟲,你就需要學習html知識,網頁是用html寫的,數據自然也會嵌套在其中,無非就是某一個標簽或屬性,如果你對html一點都不了解,也就無從談及解析規則的編寫,數據也就無從提取,不要求多么熟悉、精通html,但基本的標簽、屬性必須要能看懂,如果你沒有這方面基礎的話,建議學習一下,初學入門html,也主要以記憶為主,很快就能掌握:
基本爬蟲庫
基礎的html知識掌握后,就是網絡爬蟲的編寫,這里可以從一些簡單易用、容易上手的爬蟲庫開始,比較常見的就是urllib、requests、beautifulsoup、lxml,官方教程非常詳細,先獲取網頁數據,然后再編寫解析規則提取即可,對于大部分靜態網頁來說,都可以輕松爬取,動態網頁數據的提取可能需要抓包分析(數據不會直接在網頁源碼中看到),但基本原理類似,也是先獲取數據,然后再解析提取:
專業爬蟲框架
基本爬蟲庫熟悉后,大部分網頁數據都可以爬取,但需要反復造輪子,效率不高,也不易于后期維護和擴展,這里可以學習一下專業強大的爬蟲框架,python來說,比較受歡迎、也比較流行的就是scrapy,框架成熟、穩定,可擴展性強,只需編寫少量代碼即可快速開啟一個爬蟲程序,初學入門來說也非常友好,官方文檔豐富,社區活躍,資料齊全,各個模塊組件都是獨立開源的,后期研究學習也非常不錯:
總之,python爬蟲對html要求不高,但必須要了解,能看懂基本的網頁結構、標簽和屬性,后期才能編寫具體的解析規則提取數據,建議多看多練,熟悉一下scrapy框架的使用,網上也有相關教程和資料,介紹的非常詳細,感興趣的話,可以搜一下,希望以上分享的內容能對你有所幫助吧,也歡迎大家評論、留言進行補充。