2011年1月13日 星期四

HDFS Performance Test

很久很久以前就想測測看了!測試的項目主要有:
1.使用fuse掛載HDFS然後測試使用cp上傳下載以及使用dd產生檔案的速度
2.使用command (hadoop dfs –get/-put )取得效能
過幾天再補一個使用HDFS API來寫檔的速度好了。
以下是測試結果:
image
我的結論是:1.在小檔案方面基本上可以以忽略的,誤差很大(因為檔案太小)
                    2.下載比上傳快(差異蠻大的)
                    3.使用fuse掛載會慢一點點
                    4..另外參考一個數值:兩台電腦使用scp傳輸1GB時間是23秒(43.5MB/s)

沒有留言: