近日，使用騰訊云服務的“前沿數(shù)控”因云盤故障導致數(shù)據(jù)損壞，向騰訊索賠11，016，000元，而騰訊提出了總金額136，469元的“賠償+補償”解決方案，很顯然，兩者對于對方提的賠償金額都不滿意，因此雙方未達成一致。
現(xiàn)在，騰訊云發(fā)布了一份關于客戶“前沿數(shù)控”數(shù)據(jù)完整性受損的技術復盤，對客戶業(yè)務所受影響表示誠摯歉意的同時，詳細解釋了此次故障發(fā)生的根源，以及將采取的措施。
騰訊云經(jīng)過復盤發(fā)現(xiàn)，故障緣起于因磁盤靜默錯誤導致的單副本數(shù)據(jù)錯誤，再加上數(shù)據(jù)遷移過程中的兩次不規(guī)范的操作，導致云盤的三副本安全機制失效，并最終導致客戶數(shù)據(jù)完整性受損。
當天上午11：57，騰訊云運維人員收到倉庫I空間使用率過高告警，準備發(fā)起搬遷擴容。
14：05，運維人員從倉庫I選擇了一批云盤搬遷至新倉庫II，為了加速搬遷，手動關閉了遷移過程中的數(shù)據(jù)校驗。
20：27，搬遷完成之后，運維人員將客戶的云盤訪問切至倉庫II，同時為了釋放空間，對倉庫I中的源數(shù)據(jù)發(fā)起了回收操作。
20：30，監(jiān)控發(fā)現(xiàn)倉庫II部分云盤出現(xiàn)IO異常。
騰訊表示，數(shù)據(jù)搬遷過程中的違規(guī)操作主要如下兩點：
第一是正常數(shù)據(jù)搬遷流程默認開啟數(shù)據(jù)校驗，開啟之后可以有效發(fā)現(xiàn)并規(guī)避源端數(shù)據(jù)異常，保障搬遷數(shù)據(jù)正確性，但是運維人員為了加速完成搬遷任務，違規(guī)關閉了數(shù)據(jù)校驗;
第二是正常數(shù)據(jù)搬遷完成之后，源倉庫數(shù)據(jù)應保留24小時，用于搬遷異常情況下的數(shù)據(jù)恢復，但是運維人員為了盡快降低倉庫使用率，違規(guī)對源倉庫進行了數(shù)據(jù)回收。
因這些錯誤操作的連續(xù)影響，導致該客戶數(shù)據(jù)完整性受損，給客戶的正常業(yè)務運行造成影響，騰訊云再次表示最誠懇的歉意。
改進措施方面，騰訊云提出了兩點：
首先，將全面審視所有的數(shù)據(jù)流程，涉及數(shù)據(jù)安全的流程自動化閉環(huán)，進一步提升常規(guī)運維自動化和流程化，降低人工干預，同時把全流程的數(shù)據(jù)安全校驗作為系統(tǒng)的常開功能，不允許被關閉。
其次，針對物理硬盤靜默數(shù)據(jù)錯誤，在當前用戶訪問路徑數(shù)據(jù)校驗自愈的基礎上，優(yōu)化現(xiàn)有巡檢機制，通過優(yōu)先巡檢主副本數(shù)據(jù)塊、跳過近期用戶訪問過的正確數(shù)據(jù)塊等方法，加速發(fā)現(xiàn)該類錯誤，進行數(shù)據(jù)修復。
另外，騰訊云建議用戶開啟免費的快照功能，對重要數(shù)據(jù)進行定期備份。
對于索賠和賠償問題，騰訊云暫未披露更多進展。
這樣看來，這次數(shù)據(jù)損壞事故雙方都有責任，有了這2電違規(guī)操作，估計騰訊更不可能滿足“前沿數(shù)控”高額的索賠要求了，讓我們靜等事情后續(xù)發(fā)展情況。
下載文檔
