Python是一種高級編程語言,非常適合用來創建web爬蟲。本文將介紹如何利用Python編寫一個爬蟲來獲取閑魚上的商品信息。
# 導入所需的庫 import requests from bs4 import BeautifulSoup # 確定要爬取的閑魚頁面 url = "https://www.xianyuwang.com" # 發送請求并獲取頁面內容 response = requests.get(url) soup = BeautifulSoup(response.content, "html.parser") # 查找商品信息 items = soup.find_all("div", {"class": "item-info"}) # 循環遍歷商品列表 for item in items: # 獲取商品名稱和價格 title = item.find("div", {"class": "item-title"}).text price = item.find("div", {"class": "item-price"}).text # 輸出結果 print("商品名稱:", title) print("商品價格:", price)
利用上述代碼,我們可以輕松地爬取并獲取在閑魚上的商品信息。實際上,我們可以進一步優化代碼,并添加一些其他功能,例如設置代理、添加多線程等,以提高爬取效率。