你這問題就大咯。高并發和大數據看上去相似,其實并不是同一個東西高并發設計的技術:nginx,zookeeper,dubbo,springcloud,lvs,cdn等等。大數據技術:考慮的更多的是數據的存取與分析,有hadoop,spark,strom,hbase,hive,flume,sqoop等等涉及的技術太多太多,不同公司采用的框架技術并不相同,單單把這些技術羅列出來,我想并不能解決你問題吧。其實你可以思考一下整個過程1.首先一個在線商城web項目,用了tomcat,就用了數據源等等。2.突然一天項目做起來了,一個tomcat好像不夠用了,你用了nginx做轉發,但一個nginx好像死機就完蛋了,你又用了keepalived,讓一個nginx掛了還有另外一個能頂替。3.項目越來越火,服務器越來越多,每次都需要修改nginx配置文件,你發現zookeeper挺火的,而且每次有新服務器只需把服務器地址注冊到zookeeper就好,但你得自己寫代碼,挺麻煩的,誒,不是有個現成的dubbo可以用嗎?這樣你用上了dubbo。4.項目愈來愈大,你要上市了,突然你想提升用戶體驗,你把一些靜態頁面和后端動態頁面完全分離,把一些靜態資源交給cdn提供商,在深圳的客戶訪問的就是深圳的cdn,在北京的就訪問北京的cdn,真好。【以上講的是高并發】5.項目終于上市了,為了把市場繼續做大,你想分析下用戶的習慣,每天都有好幾萬的注冊用戶來看你的網站,你把他們訪問記錄都通過日志數據記錄存儲了下來,但是這每天幾個TB甚至PB的數據怎么存放呢?又怎么分析了?你用上了hadoop機群,雇傭了一幫程序員寫幫你把日志文件歸檔存放到hdfs上,另外一幫子程序員寫mapreduce來分析各種用戶習慣。6.這套又用了一段時間,你發現mapreduce太麻煩,而要分析的指標又太多,你用上了hive,可以直接寫sql來做mapreduce。7.可是隨著項目繼續發展,mapreduce太慢,你想馬上就獲得短時間的即時數據,你用了strom。8..........................【以上討論的是大數據】這故事你可以一直說下去,但講到這里,你對一些常見的大數據、高并發技術應該有了一定的理解,知道一些什么場景會用到。這些技術真沒有哪個好,哪個壞的一說,整個過程你都可以看出是業務驅動著技術的更新的。合適就好。希望我的回答能幫助到你!關注是為了再一次的交流,戳一戳右上角的關注吧!
網站導航
- zblogPHP模板zbpkf
- zblog免費模板zblogfree
- zblog模板學習zblogxuexi
- zblogPHP仿站zbpfang