Python爬蟲已經(jīng)成為了網(wǎng)絡(luò)上最熱門的抓取數(shù)據(jù)的工具之一。當(dāng)我們需要獲取某些網(wǎng)站上的文字內(nèi)容時,Python爬蟲就可以派上用場了。下面就是一個Python爬蟲抓文字的示例。
# 導(dǎo)入所需的模塊 import requests from bs4 import BeautifulSoup # 設(shè)置要獲取的網(wǎng)頁鏈接 url = 'https://www.example.com' # 請求網(wǎng)頁 res = requests.get(url) # 解析網(wǎng)頁 soup = BeautifulSoup(res.content, 'html.parser') # 查找并打印文字內(nèi)容 text_list = soup.find_all('p') for text in text_list: print(text.text)
通過上述代碼,我們先導(dǎo)入了requests和BeautifulSoup模塊,然后設(shè)置了一個要獲取的網(wǎng)頁鏈接。接下來,我們使用requests模塊向該鏈接發(fā)送請求,并通過BeautifulSoup模塊對網(wǎng)頁內(nèi)容進(jìn)行解析。接著,我們使用find_all方法查找所有的p標(biāo)簽,然后遍歷每個標(biāo)簽,并打印標(biāo)簽中的文字內(nèi)容。
上一篇vue中的mocks
下一篇python 爬蟲庫安裝