從全棧工程師到數(shù)據(jù)科學(xué)家，入職第一年我都做了些什么？

萬(wàn)事開(kāi)頭難，從一個(gè)軟件開(kāi)發(fā)程序員轉(zhuǎn)型為數(shù)據(jù)科學(xué)家，第一年該怎么做？

一位博主就記錄了自己從全棧工程師轉(zhuǎn)行數(shù)據(jù)科學(xué)家第一年的心路歷程，包括好的方面和不好的方面，希望能幫助到同樣處境的人。

我覺(jué)得自己非常幸運(yùn)，雇主給了我一個(gè)機(jī)會(huì)，讓我從一個(gè)全棧軟件開(kāi)發(fā)人員轉(zhuǎn)型變成數(shù)據(jù)科學(xué)家，和內(nèi)部數(shù)據(jù)團(tuán)隊(duì)一起工作。

入職一年，我很享受這份工作給我?guī)?lái)的全新挑戰(zhàn)，完全不同于以前做開(kāi)發(fā)。我想寫(xiě)這篇文章，首先是為了回顧過(guò)去一年所做的事情：我經(jīng)歷的改變，我做得好的地方，我可以改進(jìn)的地方。第二，通過(guò)記錄我曾經(jīng)遇到過(guò)的問(wèn)題和挑戰(zhàn)，我希望能幫助到和我處境相似的人。

在開(kāi)始之前，我先介紹一下我的背景：我之前不是做軟件開(kāi)發(fā)的，我擁有計(jì)算機(jī)科學(xué)的碩士學(xué)位和博士學(xué)位。因此，我不算冷啟動(dòng)，我有工具、模型和分析方法方面的相關(guān)經(jīng)驗(yàn)。我從事開(kāi)發(fā)工作將近8年。自從我的論文發(fā)表以后，我經(jīng)歷了很多變動(dòng)。

本文將分為兩部分。進(jìn)展順利的部分和進(jìn)展不佳的部分。對(duì)于那些只對(duì)結(jié)果感興趣的人，也可以拉到底直接看最后的結(jié)論。

Python 和 R

剛開(kāi)始，我不確定在項(xiàng)目中該使用Python或R。所以一開(kāi)始我對(duì)這兩種語(yǔ)言均作了研究學(xué)習(xí)，并在項(xiàng)目中結(jié)合使用了這兩種語(yǔ)言。

R經(jīng)常讓我想起Matlab，兩者在用來(lái)編寫(xiě)和執(zhí)行代碼的界面非常像（我嘗試了R Studio和Visual Studio的R插件），同時(shí)寫(xiě)代碼和處理數(shù)據(jù)的方法也很像。

但我只在碩士論文中用了R，還在博士學(xué)位論文中用了一些。除此之外，R和其他編程語(yǔ)言相比（這些年來(lái)，我在軟件開(kāi)發(fā)中經(jīng)常使用C#）就沒(méi)什么共性了。R這個(gè)工具極度以數(shù)據(jù)為中心，與數(shù)據(jù)進(jìn)行交互的方法也很不一樣。

在R里有：列表，矩陣，向量，數(shù)組和數(shù)據(jù)幀。每個(gè)都有不同的使用場(chǎng)景，你需要學(xué)會(huì)什么時(shí)候使用。R與C#的語(yǔ)法很不一樣，所以剛開(kāi)始學(xué)R我遇到了不小的困難。我并不是說(shuō)R不好，只是我使用Matlab10年，并且作為開(kāi)發(fā)我的腦子已經(jīng)習(xí)慣了某種思維方式，所以比較難轉(zhuǎn)變。所以我剛開(kāi)始的時(shí)候覺(jué)得R很難上手。

作為一名有8年C#開(kāi)發(fā)經(jīng)驗(yàn)的程序員，我覺(jué)得Python比R更容易起步。很可能是因?yàn)槲业拇竽X已經(jīng)習(xí)慣了C#的思維方式。python比R更接近于C#，所以我學(xué)Python比R快很多。

在使用這兩個(gè)語(yǔ)言時(shí)，我沒(méi)覺(jué)得兩者有明顯區(qū)別，尤其是對(duì)于可用的庫(kù)，兩者在我想做的工作的實(shí)現(xiàn)方面有差不多的處理能力，我也會(huì)得到相同的結(jié)果。但在摸索過(guò)程中，我對(duì)兩個(gè)工具分別都有些困惑。

總的來(lái)說(shuō)，編程編久了，Python對(duì)于我的程序員思維更友好。

所以我很快放棄了學(xué)習(xí)R，轉(zhuǎn)而專注Python。這有助于我更快地進(jìn)步，不必再花時(shí)間閱讀新語(yǔ)法，事情變得簡(jiǎn)單許多，我一直覺(jué)得簡(jiǎn)單才是王道。這對(duì)我應(yīng)對(duì)角色的許多其他變化也是有幫助的，因此，這樣做可以最大程度地減少更改。

關(guān)于使用哪種以及何時(shí)使用，我敢肯定大家定對(duì)此有很多意見(jiàn)，但是對(duì)我來(lái)說(shuō)，從開(kāi)發(fā)人員過(guò)渡到數(shù)據(jù)科學(xué)家后，我發(fā)現(xiàn)Python變得更容易掌握和使用，尤其是在我擔(dān)任新職位后想快速發(fā)展并取得成果的初期。

所以與R相比，使用Python讓我更快進(jìn)入狀態(tài)，在輸出方面，我沒(méi)有發(fā)現(xiàn)兩者有任何明顯區(qū)別。所以我把這個(gè)歸類為進(jìn)展順利，因?yàn)槲液茉缱龀隽藳Q定，且至今沒(méi)有遇到任何情況讓我覺(jué)得自己選錯(cuò)了Python，相反我節(jié)省了不少時(shí)間，所以我能更快地開(kāi)始工作。

文檔記錄

記錄一切，我定義的一切是從模型超參數(shù)到從何處以及如何獲得訓(xùn)練數(shù)據(jù)，到在整個(gè)項(xiàng)目中做出選擇的理由。另外，以有序的邏輯方式編寫(xiě)文檔，實(shí)現(xiàn)這一目標(biāo)的一個(gè)秘訣是，哪怕你只是寫(xiě)給自己看（例如，在我的情況下，我是唯一的數(shù)據(jù)科學(xué)家），你應(yīng)該想象有人會(huì)讀這份文檔。

此外，記錄時(shí)要對(duì)自己有一定的約束，不要拖拉，不要走捷徑。不然等你開(kāi)始寫(xiě)的時(shí)候，你可能已經(jīng)忘記一些需要注意的細(xì)節(jié)。因此一定要及時(shí)寫(xiě)下來(lái)。在完成文檔之前，我覺(jué)得工作就還沒(méi)做完。我從一開(kāi)始就遵循這種方法，我覺(jué)得至關(guān)重要。

我發(fā)現(xiàn)一件事是，即使在一個(gè)中型企業(yè)，等到一個(gè)項(xiàng)目的研究成果在公司開(kāi)始推廣已經(jīng)是一段時(shí)間以后了，利益相關(guān)方因?yàn)橛衅渌乱Γ圆粫?huì)立刻作出回應(yīng)。

有時(shí)候在我完成一個(gè)項(xiàng)目幾個(gè)月后，有人跑來(lái)問(wèn)我問(wèn)題，我一時(shí)想不起來(lái)，但如果我翻看我之前做的文檔記錄就能馬上提供詳盡答案。例如，有一次我與另一位經(jīng)理聊起幾個(gè)月前做的一個(gè)項(xiàng)目，我向他展示了我已經(jīng)完成的工作，他問(wèn)我訓(xùn)練集的大小是多少，以及我用來(lái)獲取數(shù)據(jù)的日期區(qū)間。我并記不得那些數(shù)據(jù)，但我記得自己已經(jīng)寫(xiě)下過(guò)，而且我也記得寫(xiě)在了哪里。所以我能馬上把文檔拿給他們看。

我發(fā)現(xiàn)自己遇到的另一種情況是當(dāng)業(yè)務(wù)優(yōu)先級(jí)發(fā)生變化，你可能會(huì)需要停下手頭還沒(méi)完成的項(xiàng)目去做另一個(gè)項(xiàng)目。當(dāng)你再回到之前開(kāi)始的項(xiàng)目時(shí)，完整的文檔可以讓你從之前停下的地方繼續(xù)進(jìn)行下去。

數(shù)據(jù)存儲(chǔ)

回顧前一年，進(jìn)展不順利的一個(gè)原因是我處理數(shù)據(jù)的方式（對(duì)于數(shù)據(jù)科學(xué)家而言這非常關(guān)鍵）。

當(dāng)我沒(méi)有使用數(shù)據(jù)庫(kù)的經(jīng)驗(yàn)時(shí)，我基本上復(fù)用了在博士期間使用數(shù)據(jù)的方式。使用平面文件（特別是CSV）來(lái)存儲(chǔ)數(shù)據(jù)。我把從生產(chǎn)環(huán)境中提取的初始數(shù)據(jù)，清洗后的中間過(guò)程數(shù)據(jù)，分析后的數(shù)據(jù)和結(jié)果都存在了CSV里。我工作流程中的每一步驟都需要通過(guò)Python腳本讀取上一步創(chuàng)建的文件，并創(chuàng)建新的文件。

這種把內(nèi)容存儲(chǔ)在硬盤上，并通過(guò)Python腳本與數(shù)據(jù)交互的原始辦法，很快就出現(xiàn)了一些問(wèn)題：

有時(shí)很難在大量文件中找到我要找的那個(gè)文件。即使我記錄了文件的內(nèi)容和位置，但有時(shí)還是很難找到我想要的確切文件，因?yàn)槲募?shí)在太多了。

我似乎總是在忙著用Python把從文件中讀取數(shù)據(jù)或者將數(shù)據(jù)寫(xiě)入文件。我寫(xiě)了很多文件訪問(wèn)的命令，但其實(shí)是在做重復(fù)勞動(dòng)，寫(xiě)這些代碼對(duì)我要做的工作并沒(méi)什么幫助。

想快速地將數(shù)據(jù)總結(jié)一下似乎都有點(diǎn)費(fèi)力：讀取數(shù)據(jù)，匯總統(tǒng)計(jì)，輸出統(tǒng)計(jì)，查看統(tǒng)計(jì)結(jié)果。

有些文件很大，用起來(lái)很困難（在notepad中打開(kāi)10GB以上的文件很麻煩）。

第一年，我花了很長(zhǎng)時(shí)間才意識(shí)到SQL是我的解藥。

在從事數(shù)據(jù)科學(xué)家工作之前我使用過(guò)SQL，但是我一開(kāi)始沒(méi)有意識(shí)到它對(duì)我的價(jià)值。當(dāng)我意識(shí)到SQL就是我的解決方案后，我花了很多時(shí)間來(lái)學(xué)習(xí)更多有關(guān)SQL的知識(shí)，因?yàn)槲以谧龀绦騿T的時(shí)候稍微學(xué)了一點(diǎn)SQL。

具體來(lái)說(shuō)，我學(xué)習(xí)了如何查詢數(shù)據(jù)（特別是我以前沒(méi)接觸過(guò)的高級(jí)語(yǔ)句）以及搭建和維護(hù)數(shù)據(jù)庫(kù)的基礎(chǔ)知識(shí)。我甚至通過(guò)了兩個(gè)Microsoft SQL的考試。我現(xiàn)在主張盡可能用SQL。我把所有項(xiàng)目的數(shù)據(jù)都存在了SQL數(shù)據(jù)庫(kù)中，盡量在SQL中做數(shù)據(jù)查詢和操作。

我的原則是：能在SQL中完成的處理，就在SQL中做。SQL處理不了的任務(wù)再用Python（例如，模型訓(xùn)練和執(zhí)行）這里延伸出一個(gè)問(wèn)題：你需要學(xué)會(huì)使用Python庫(kù)，例如 SQLAlchemy，從 SQL讀取數(shù)據(jù)到Python里。

現(xiàn)在我的后SQL生活變得容易很多：

所有項(xiàng)目數(shù)據(jù)存儲(chǔ)在一個(gè)容易找到的地方。

沒(méi)有重復(fù)代碼用于讀寫(xiě)文件。

我能快速查詢數(shù)據(jù)并從數(shù)據(jù)中輕松得到統(tǒng)計(jì)結(jié)果。

我能夠很容易地查看大量數(shù)據(jù)，特別是前幾行的數(shù)據(jù)。

額外的好處是現(xiàn)在很容易把不同的數(shù)據(jù)聯(lián)系起來(lái)，因?yàn)閿?shù)據(jù)都已經(jīng)在關(guān)系數(shù)據(jù)庫(kù)中了，現(xiàn)在安全性也提高了：把數(shù)據(jù)存在本地磁盤上有潛在的風(fēng)險(xiǎn)。數(shù)據(jù)都在服務(wù)器里，安全很多。

因此，我強(qiáng)烈推薦學(xué)好SQL并用起來(lái)。

如何展示成果？

還有一個(gè)進(jìn)展不順利的地方是我做的一些展示。從開(kāi)發(fā)人員到數(shù)據(jù)科學(xué)家的一個(gè)變化是，我做演示的場(chǎng)合變多。展示的內(nèi)容各種各樣，有面向技術(shù)人員的demo演示，有面向業(yè)務(wù)相關(guān)人員的項(xiàng)目報(bào)告，再到與公司內(nèi)部其他部門討論項(xiàng)目工作，甚至向公司外部的第三方合作方展示工作。

對(duì)于這些人我覺(jué)得我沒(méi)有做好的一點(diǎn)是我沒(méi)有根據(jù)受眾來(lái)調(diào)整自己的展示方法。有些展示我做得還不錯(cuò)，比如對(duì)開(kāi)發(fā)人員的技術(shù)演示我覺(jué)得我做得還不錯(cuò)。因?yàn)槲腋夹g(shù)人員擁有差不多的背景所以說(shuō)技術(shù)的內(nèi)容彼此也聽(tīng)得懂，交流起來(lái)會(huì)更容易一些。其他類型的演示更難一些，不幸地是很多時(shí)候我在展示的時(shí)候才意識(shí)到聽(tīng)眾對(duì)我講的內(nèi)容不是很在意。

我的受眾分為四類，從展示的難易程度來(lái)分如下：從最簡(jiǎn)單的（最左邊）開(kāi)始，到最難的（最右邊）：開(kāi)發(fā)人員，業(yè)務(wù)方，其他部門以及外部人員。

我還可以將最左邊的那些受眾標(biāo)記為最技術(shù)性的，將右邊的那些受眾標(biāo)記為更“銷售型”的，當(dāng)從左向右移動(dòng)時(shí)，兩者之間會(huì)有一個(gè)過(guò)渡。我發(fā)現(xiàn)針對(duì)左邊受眾的展示是最容易準(zhǔn)備的——他們對(duì)我正在使用的技術(shù)或所從事的業(yè)務(wù)領(lǐng)域有深刻的了解。

針對(duì)外部人員的演示是最難的，因?yàn)樗麄兺嚓P(guān)知識(shí)最少。過(guò)去，我與這些聽(tīng)眾進(jìn)行交流的時(shí)候會(huì)直接進(jìn)入到技術(shù)細(xì)節(jié)，就像我和左邊聽(tīng)眾交流時(shí)一樣，但是結(jié)果很不好，因?yàn)樗麄儾灰欢ň哂腥魏螖?shù)據(jù)科學(xué)或機(jī)器學(xué)習(xí)的背景，所以我談?wù)撛S多概念對(duì)他們沒(méi)有多大意義，他們不知道我在說(shuō)什么。對(duì)這些受眾來(lái)說(shuō)，如果我花點(diǎn)時(shí)間介紹一下我正在做的工作以及更多的背景知識(shí)，效果會(huì)更好。甚至對(duì)某些受眾來(lái)說(shuō)，向他們介紹機(jī)器學(xué)習(xí)的概念，為什么我們要使用它以及它的好處。有時(shí)候，對(duì)我來(lái)說(shuō)，不過(guò)多討論技術(shù)細(xì)節(jié)反而是好事，給他們一些大概的框架概念就好。

在反思了這一點(diǎn)之后，我現(xiàn)在在準(zhǔn)備演示材料時(shí)，會(huì)更多地考慮我的目標(biāo)受眾。具體來(lái)說(shuō)，我會(huì)考慮聽(tīng)眾可能知道或不知道的內(nèi)容，以及需要向他們呈現(xiàn)的內(nèi)容，以幫助我準(zhǔn)備需要討論的內(nèi)容和專業(yè)程度。這樣他們就可以更好地理解我正在談?wù)撌裁?，并從演示中得到一些收獲。為此，在準(zhǔn)備演示文稿時(shí)我為自己準(zhǔn)備了一些有用的問(wèn)題，如下：

聽(tīng)眾對(duì)于數(shù)據(jù)科學(xué)領(lǐng)域了解多少？

聽(tīng)眾對(duì)于我試圖解決的問(wèn)題了解多少？

聽(tīng)眾知道我在使用的技術(shù)嗎？

聽(tīng)眾對(duì)于我采用的技術(shù)細(xì)節(jié)或者結(jié)果感興趣嗎？

計(jì)劃

與做程序員時(shí)相比，做數(shù)據(jù)數(shù)據(jù)家的工作計(jì)劃更有挑戰(zhàn)。作為開(kāi)發(fā)人員，工作相對(duì)比較直接，所以也更好估算和排期。你通常知道你要實(shí)現(xiàn)的目標(biāo)以及如何實(shí)現(xiàn)。當(dāng)我還是一名開(kāi)發(fā)人員的時(shí)候，我使用敏捷開(kāi)發(fā)工具。

因此，工作內(nèi)容可以先評(píng)估、計(jì)劃，然后排好優(yōu)先級(jí)就開(kāi)始做。在敏捷的方法論指導(dǎo)下，如果工作沒(méi)什么意義，或者你不清楚如何做，你就不會(huì)把它排進(jìn)工作計(jì)劃。因?yàn)闊o(wú)法評(píng)估，因?yàn)槲粗?，你要等到所有不明確的地方明確后才開(kāi)展工作。

數(shù)據(jù)科學(xué)的工作并不像這樣簡(jiǎn)單，對(duì)于給定的問(wèn)題你不會(huì)總是提前知道什么會(huì)起作用。也不會(huì)總是知道哪種類型的模型最準(zhǔn)確。類似這樣的情況與剛才提出的觀點(diǎn)出現(xiàn)矛盾，當(dāng)你是開(kāi)發(fā)人員時(shí)，只有問(wèn)題明確后，你才會(huì)把他們放入你的工作列表中。作為數(shù)據(jù)科學(xué)家，未知是你工作的一部分，因?yàn)槟愕墓ぷ骶褪且卮疬@些問(wèn)題。或者你正在處理的問(wèn)題可能會(huì)隨著項(xiàng)目進(jìn)展而改變。因此，有時(shí)候你提前做的幾周計(jì)劃可能很快要重新考慮。

在計(jì)劃方面，我喜歡將開(kāi)發(fā)工作視為線性的——你知道自己在做什么以及如何做。數(shù)據(jù)科學(xué)工作我覺(jué)得是分叉樹(shù)，可能需要試不同的道路，可能會(huì)碰到死胡同。

數(shù)據(jù)科學(xué)家做短期工作計(jì)劃還是可行的，比如你正在訓(xùn)練和測(cè)試的模型之類的——接下來(lái)一兩周的工作，但是，長(zhǎng)期計(jì)劃很難做。你不可能總是提前知道什么會(huì)起作用，什么不會(huì)。所以我們才要進(jìn)行實(shí)驗(yàn)和測(cè)試，這是數(shù)據(jù)科學(xué)家工作的核心價(jià)值。

最后，花點(diǎn)時(shí)間去做不一定會(huì)有成果的工作，即使不起作用，也沒(méi)什么大不了的。

回答正確的問(wèn)題

在過(guò)去一年中（這讓我栽過(guò)很多跟頭），我發(fā)現(xiàn)數(shù)據(jù)科學(xué)工作的關(guān)鍵部分是回答問(wèn)題，但更重要的是回答正確的問(wèn)題。

正如我所說(shuō)，我栽過(guò)幾次跟頭，當(dāng)時(shí)我正在回答一個(gè)問(wèn)題，但并沒(méi)有回答業(yè)務(wù)方實(shí)際想要回答的問(wèn)題，之所以發(fā)生這種情況，是因?yàn)闃I(yè)務(wù)方使用的業(yè)務(wù)語(yǔ)言跟我用的的技術(shù)語(yǔ)言有差異，有時(shí)候我們用一樣的詞但要表達(dá)的意思卻不同。

針對(duì)這問(wèn)題我的解決方法是在做項(xiàng)目的實(shí)際工作（現(xiàn)在稱為“項(xiàng)目前”工作）之前先做準(zhǔn)備性工作，在這個(gè)階段，我會(huì)從業(yè)務(wù)方那里收集初始需求和信息。做一些初步分析，然后給業(yè)務(wù)方展示。

運(yùn)用敏捷的工作思路，我希望在每個(gè)sprint實(shí)現(xiàn)一個(gè)可交付的成功，并向業(yè)務(wù)方展示該成果。這樣，我與業(yè)務(wù)方建立了一個(gè)有效的循環(huán)反饋機(jī)制，向他們展示一些東西并詢問(wèn)他們的意見(jiàn)，這可以建立一個(gè)有效對(duì)話，從而更清晰地定義真正要解決的問(wèn)題。這個(gè)方法在項(xiàng)目各個(gè)階段都有效，不僅僅是初始階段。當(dāng)你向業(yè)務(wù)方展示你的工作結(jié)果時(shí)，可能會(huì)激發(fā)他們不同的想法以及他們之前沒(méi)有考慮過(guò)的思路。從而你能找到他們真正的痛點(diǎn)。

所以過(guò)去一年來(lái)我發(fā)展的一項(xiàng)關(guān)鍵技能是與業(yè)務(wù)方的互動(dòng)交流，深入挖掘他們真正想要的東西。

Python比R更容易學(xué)習(xí)，因?yàn)閷?duì)于程序員來(lái)說(shuō)python與其他編程語(yǔ)言更接近。

邊執(zhí)行邊做文檔

學(xué)習(xí)如何使用關(guān)系數(shù)據(jù)庫(kù)，比如SQL，用數(shù)據(jù)庫(kù)來(lái)查詢，操縱和存儲(chǔ)數(shù)據(jù)。

你需要準(zhǔn)備很多展示，不僅是向項(xiàng)目業(yè)務(wù)方的報(bào)告，還要向公司其他同事報(bào)告，甚至是公司外面的人。

你需要提高演講能力以滿足不同受眾（技術(shù)或非技術(shù)）的需求。

工作計(jì)劃不是一帆風(fēng)順的，因?yàn)槟銦o(wú)法預(yù)知什么起作用什么無(wú)效，要有心理準(zhǔn)備有時(shí)候花了時(shí)間不一定取得預(yù)想的結(jié)果。

花時(shí)間找你真正要解決的問(wèn)題，不要不加思考就埋頭開(kāi)始做，與業(yè)務(wù)方建立反饋閉環(huán)是很有必要的。