用Python進行數據爬取已經成為一種流行的方式,讓我們看一下如何使用Python編寫登錄并抓取數據的腳本。
import requests from bs4 import BeautifulSoup # 創建會話 session = requests.session() # 登錄頁面的URL login_url = "http://example.com/login" #登錄時需要的參數 payload = { "username": "your_username", "password": "your_password" } # 發送POST請求后登錄 response = session.post(login_url, data=payload) # 獲取登錄后的頁面 target_url = "http://example.com/target_page" response = session.get(target_url) # 解析HTML頁面 soup = BeautifulSoup(response.content, 'html.parser') # 找到目標信息 target_data = soup.find('div', {'class': 'target_class'}).get_text() #輸出目標信息 print(target_data)
上述代碼使用requests庫向登錄頁面發送POST請求以進行登錄,session會話會自動保存登錄狀態;然后我們向目標頁面發送GET請求,請求返回的頁面HTML代碼會被BeautifulSoup解析;最后我們在解析后的頁面中找到我們需要的信息。
下一篇icms PHP