首先，在當前的大數據應用環境下，如果單純做Python爬蟲開發，那么在崗位競爭力上還是有所欠缺的。要想找到一個比較滿意的工作崗位，還需要進一步完善自身的知識結構。

Python語言目前在整個IT行業有廣泛的應用，包括Web開發（傳統解決方案之一）、大數據開發、人工智能開發（機器學習等）、嵌入式開發和各種后端服務開發，但是得益于大數據和人工智能的發展，近幾年來Python語言有了明顯的上升趨勢，未來的發展空間還是非常值得期待的。

隨著Python語言的發展，目前不少程序員開始轉向Python開發，在學習Python開發的過程中，一個比較常見的案例就是采用Python開發爬蟲。用Python開發爬蟲是比較方便的，尤其在當前的大數據時代，通過爬蟲來獲取Web數據是一個比較常見的數據采集方式，所以在大數據應用的早期，通過Python開發爬蟲是不少Python程序員的重要工作內容之一。

但是隨著大數據采集技術的逐漸成熟，一些爬蟲類工具也越發完善，通過Python開發爬蟲的需求也有了一定程度的下滑，這在一定程度上降低了Python爬蟲開發的崗位需求量。早期從事Python爬蟲的工作崗位多集中在互聯網公司和行業資訊公司，隨著相關崗位的人員配備逐漸齊全，這部分崗位的招聘需求量必然會下降。

隨著物聯網的發展，目前對于大數據的采集工作會向物聯網和行業領域轉移，這也是產業互聯網發展階段的一個重要特點，所以單純從事Python爬蟲開發在未來的就業形勢并不明朗，建議進一步掌握通過Python進行數據分析等技能。

我從事互聯網行業多年，目前也在帶計算機專業的研究生，主要的研究方向集中在大數據和人工智能領域，我會陸續寫一些關于互聯網技術方面的文章，感興趣的朋友可以關注我，相信一定會有所收獲。

如果有互聯網方面的問題，也可以咨詢我，謝謝！