本發(fā)明提供了一種大數(shù)據環(huán)境下的數(shù)據處理方法,該方法包括:根據文件的操作粒度,將文件分為文件塊,物理文件和邏輯文件,并分別定義文件塊元數(shù)據,物理文件元數(shù)據和邏輯文件元數(shù)據;將新舊兩個版本的文件元數(shù)據在服務器端進行比較,通過存儲層中文件塊對相同數(shù)據進行冗余去重,從而在客戶端與服務器端執(zhí)行新舊版本數(shù)據的差異化傳輸.本發(fā)明實現(xiàn)了大數(shù)據環(huán)境下的數(shù)據同步,減輕了服務器端計算壓力,提高了傳輸效率和資源利用率.