爬取網站上的表格數據是常見的需求,Python 爬蟲可以輕松實現這個操作。下面我們來一步步介紹如何使用 Python 爬蟲抓取網站上的表格數據。
#首先,需要擁有如下的庫 import requests from bs4 import BeautifulSoup #通過 requests 庫獲取需要爬取的網頁 url = 'https://www.example.com/' response = requests.get(url) #將獲取到的網頁用 BeautifulSoup 進行解析 soup = BeautifulSoup(response.content, 'html.parser') #找到需要抓取的表格 table = soup.find('table', {'class': 'table'}) #遍歷表格,將數據儲存在列表中 data = [] for tr in table.find_all('tr'): row = [] for td in tr.find_all('td'): row.append(td.text.strip()) if row: data.append(row) #打印數據 for row in data: print(row)
以上代碼實現了簡單的表格數據抓取。需要注意的是,每個網站的 HTML 代碼都不同,需要根據具體的網站調整代碼。