一、使用Python爬蟲的目的
Python爬蟲的主要目的是讓我們能夠從互聯網上收集數據,更好地分析和利用這些數據。而爬取非好友的信息,也是其中的一項重要的利用功能之一。
二、Python爬蟲爬取非好友的方式
在此,我們介紹一種簡單有效的Python爬蟲爬取非好友的方法,如下:
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhihu.com/people/xxxx/answers'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}
r = requests.get(url, headers=headers)
r.encoding = "utf-8"
soup = BeautifulSoup(r.text, "html.parser") # lxml解析速度更快
items = soup.find_all('div', {'class': 'ContentItem AnswerItem'})
#對解析出的數據進行處理
for item in items:
try:
title = item.find_all('a', {'class': 'question_link'})[0].text.strip()
link = 'https://www.zhihu.com' + item.find_all('a', {'class': 'question_link'})[0]['href']
answer = item.find_all('div', {'class': 'RichContent-inner'})[0].text.strip()
print(title, '\n', answer, '\n', link, '\n\n')
except:
pass
三、注意事項
在爬取數據時要注意不要給對方造成麻煩,避免頻繁請求和過度爬取等行為。同時,也要注意保護自己的數據,不要讓自己的隱私信息被他人爬取。
上一篇python 爬蟲長視頻
下一篇python 的小數取整