Python 是一種優秀的編程語言,可以實現自動化的數據抓取和分析。下面我們就來看看如何利用 Python 爬取招聘信息。
# 導入相關的庫 import requests from bs4 import BeautifulSoup # 發送請求 url = 'https://www.zhipin.com/job_detail/?query=python&city=101010100&industry=&position=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'} response = requests.get(url=url, headers=headers) # 解析網頁 soup = BeautifulSoup(response.text, 'html.parser') job_list = soup.select('.job-list ul li div') # 遍歷招聘信息 for job in job_list: company = job.select_one('.company-text h3').text.strip() title = job.select_one('.job-title').text.strip() salary = job.select_one('.red').text.strip() experience = job.select('.info-desc p')[0].text.strip() education = job.select('.info-desc p')[1].text.strip() print(company, title, salary, experience, education)
首先我們需要導入必要的庫。其中,requests 庫是用于發送 HTTP 請求的。BeautifulSoup 庫則是用于解析 HTML 文檔的。我們要獲取的是某個城市的 Python 職位招聘信息。通過修改 url 中的相應參數,即可獲取不同城市和職位的招聘信息。
接下來發送請求,獲取網頁源代碼。在發送請求時需要加上頭部信息,以免被網站屏蔽。接著,我們利用 BeautifulSoup 庫解析獲取到的網頁源代碼。通過選擇相應的 CSS 選擇器,我們可以找到所有需要的招聘信息。
最后,我們將遍歷招聘信息,并輸出公司名稱、職位名稱、薪資、經驗要求、學歷要求等信息。
上一篇esr渲染結合vue
下一篇c 怎么循環查找json