Python是一種廣泛使用的編程語言,用于許多不同的應用程序。當然,Python也可以用于爬取評論。在本文中,我們將介紹如何使用Python爬取網站的評論,并將數據存儲到本地文件中。
import requests from bs4 import BeautifulSoup page_url = 'https://www.example.com/page' response = requests.get(page_url) soup = BeautifulSoup(response.text, 'html.parser') comments = [] for comment in soup.findAll('div', {'class': 'comment'}): comment_text = comment.find('p', {'class': 'comment-text'}).text.strip() comments.append(comment_text) with open('comments.txt', 'w') as f: for comment in comments: f.write(comment + '\n')
代碼解釋:
首先,我們導入所需的庫。然后,我們設置要爬取的頁面的URL,并使用requests庫獲取響應。接下來,我們使用BeautifulSoup庫將響應轉換為可供解析的HTML。
使用findAll函數,我們遍歷HTML以找到評論。我們查找具有評論文本的元素并將其添加到評論列表中。最后,我們將數據寫入本地文件。
使用Python爬取評論是一種有用的技能,可以用于許多用例。無論要分析產品評論、社交媒體帖子還是新聞文章,這個簡單的Python腳本都可以輕松快速地幫你完成任務。
上一篇python 爬取 股票
下一篇python 看朋友圈