近年來,Python作為一種強大而又易于學習的編程語言,被越來越多的人所熟知和使用。在Web開發、人工智能、數據分析等多個領域,Python都有著廣泛的應用。在本文中,我們將介紹如何使用Python爬取查詢結果。
import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} keyword = input('請輸入查詢關鍵詞:') url = 'https://www.baidu.com/s?wd=' + keyword try: response = requests.get(url, headers=headers) response.raise_for_status() response.encoding = response.apparent_encoding soup = BeautifulSoup(response.text, 'html.parser') for div in soup.find_all('div', {'class': 'result'}): print(div.h3.a.text.strip()) print(div.p.text.strip()+'\n') except: print('查詢失敗')
代碼中首先使用了requests庫發送了一個GET請求,得到了查詢結果頁面的HTML文件。然后,使用BeautifulSoup庫對HTML文件進行解析,依據HTML標簽篩選出查詢結果。
在執行代碼時,程序會要求輸入查詢關鍵詞,并以此構造查詢的URL。之后,程序會對返回的HTML文件進行解析,找到其中所有class屬性為result的div標簽,然后輸出每個查詢結果中的標題(h3標簽)和簡述(p標簽),最終得到查詢結果。
以上就是Python爬取查詢結果的方法,希望對大家有所幫助。
上一篇c 怎樣解析json串
下一篇docx目錄生成json