大數(shù)據(jù)平臺開發(fā)大數(shù)據(jù)平臺工程師開發(fā)主要關(guān)注提供大數(shù)據(jù)基礎(chǔ)設(shè)施和工具。大數(shù)據(jù)開發(fā)和大數(shù)據(jù)平臺開發(fā)的工作都主要集中在1、2、3三層，大數(shù)據(jù)平臺開發(fā)、大數(shù)據(jù)分析師(BI)、大數(shù)據(jù)運維、大數(shù)據(jù)處理(ETL)、大數(shù)據(jù)組件開發(fā)(偏大數(shù)據(jù)組件底層)，大數(shù)據(jù)開發(fā)主要是滿足企業(yè)在大數(shù)據(jù)平臺上的應(yīng)用開發(fā)，與場景有密切的關(guān)系。

1、大數(shù)據(jù)開發(fā)主要做哪些工作？

大家好，我是Lake，專注大數(shù)據(jù)技術(shù)、程序員經(jīng)驗、互聯(lián)網(wǎng)科技見解分享。作為一個軟件工程師，我個人目前從事的就是大數(shù)據(jù)方向，目前大數(shù)據(jù)可以分成很多具體的方向：大數(shù)據(jù)平臺開發(fā)、大數(shù)據(jù)分析師(BI)、大數(shù)據(jù)運維、大數(shù)據(jù)處理(ETL)、大數(shù)據(jù)組件開發(fā)(偏大數(shù)據(jù)組件底層)。不同的工作方向，其工作內(nèi)容還是有一定差異的，下面我來說下不同工作崗位具體的工作內(nèi)容：大數(shù)據(jù)平臺開發(fā)更偏向?qū)φw數(shù)據(jù)平臺功能性開發(fā)，比如離線計算平臺、實時計算平臺、算法推薦平臺等等，

平時用的較多的語言是Java，其更偏向于Java開發(fā)。如果用戶是上層用戶，大數(shù)據(jù)相關(guān)組件作為最低層，大數(shù)據(jù)平臺就橋接著用戶和大數(shù)據(jù)組件，方便用戶使用大數(shù)據(jù)組件的功能，大數(shù)據(jù)分析師(BI同學)更多的是對我們已有的線上數(shù)據(jù)進行價值分析，從相關(guān)的線上用戶所產(chǎn)生的數(shù)據(jù)中，發(fā)現(xiàn)出一些潛在的商業(yè)價值，能夠更好的去輔助決策層的戰(zhàn)略決定。

BI需要對數(shù)據(jù)敏感、細心，善于從數(shù)據(jù)中發(fā)現(xiàn)業(yè)務(wù)價值，平常很多工作就是數(shù)據(jù)可視化、簡單化、深入化、PPT化，大數(shù)據(jù)運維同學主要是保障公司相關(guān)機器集群的穩(wěn)定，使得它們不能出現(xiàn)故障。當申請到新的機器時，會在新機器上面部署各種大數(shù)據(jù)組件組成的集群，同樣，當有業(yè)務(wù)同學需要用到機器時，可以給大數(shù)據(jù)運維同學提需求。

當大數(shù)據(jù)組件集群突然因為什么變得集群不穩(wěn)定時，運維同學需要去定位問題和解決問題，運維同學平時用的較多的LinuxShell腳本和命令行等，其職位更偏向于為其他同學提供機器穩(wěn)定保障，ETL同學(數(shù)倉同學)則是對我們的線上數(shù)據(jù)進行數(shù)據(jù)加工，形成DWD層(公共明細層)、DWS層(公共匯總層)，形成統(tǒng)一的指標口徑。

ETL同學會根據(jù)不同的業(yè)務(wù)需求，一般使用SQL進行數(shù)據(jù)指標的加工，指導業(yè)務(wù)同學更好的運營相關(guān)業(yè)務(wù)，同時ETL同學更關(guān)注業(yè)務(wù)指標的口徑，在指標開發(fā)的過程中，使用數(shù)倉模型對業(yè)務(wù)數(shù)據(jù)進行建模，便于開發(fā)的指標數(shù)據(jù)更加統(tǒng)一，減少口徑偏差。大數(shù)據(jù)組件開發(fā)，更多的是結(jié)合公司業(yè)務(wù)，對大數(shù)據(jù)基礎(chǔ)組件進行定制化開發(fā)、性能優(yōu)化、BUG修復等等，

同時，也需要對業(yè)務(wù)方接入進行問題答疑，指導他們使用大數(shù)據(jù)組件滿足業(yè)務(wù)需求。同時，你也需要運維你的大數(shù)據(jù)組件，當出現(xiàn)故障BUG時，需要你能及時修復，保證大數(shù)據(jù)組件的穩(wěn)定，大數(shù)據(jù)組件開發(fā)需要對你自己運維的組件原理掌握的很全很深，只有這樣，你才能夠更好的指導別人?？偨Y(jié)大數(shù)據(jù)開發(fā)有很多方向，你可以結(jié)合你自己的興趣，選擇一個從事方向，

2、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運維主要工作各是什么？哪個好？

在大數(shù)據(jù)領(lǐng)域大概有四個大的工作方向，除了大數(shù)據(jù)平臺應(yīng)用及開發(fā)、大數(shù)據(jù)分析與應(yīng)用和大數(shù)據(jù)平臺集成與運維之外，還有大數(shù)據(jù)平臺架構(gòu)與研發(fā)，除了以上四個大的工作方向之外，還有一個工作方向是大數(shù)據(jù)技術(shù)推廣和培訓，這部分工作目前也有不少人在從事。大數(shù)據(jù)平臺架構(gòu)與研發(fā)主要的工作內(nèi)容是研發(fā)底層的大數(shù)據(jù)平臺，這部分工作的難度較高，從事這部分工作的研發(fā)級崗位也并不多，

現(xiàn)在不少技術(shù)研發(fā)團隊都以Hadoop、Spark平臺為基礎(chǔ)進行研發(fā)，這樣能夠節(jié)省大量的時間，也更容易做出市場接受度比較高的大數(shù)據(jù)平臺（商用較多）。大數(shù)據(jù)平臺應(yīng)用開發(fā)是目前一個就業(yè)的熱門方向，一方面是大數(shù)據(jù)開發(fā)的場景眾多，另一方面是難度并不高，能夠接納的從業(yè)人數(shù)也非常多，大數(shù)據(jù)開發(fā)主要是滿足企業(yè)在大數(shù)據(jù)平臺上的應(yīng)用開發(fā)，與場景有密切的關(guān)系。