HDFS Performance Test

很久很久以前就想測測看了！測試的項目主要有:
1.使用fuse掛載HDFS然後測試使用cp上傳下載以及使用dd產生檔案的速度
2.使用command (hadoop dfs –get/-put )取得效能
過幾天再補一個使用HDFS API來寫檔的速度好了。
以下是測試結果:

我的結論是:1.在小檔案方面基本上可以以忽略的，誤差很大(因為檔案太小)
                    2.下載比上傳快(差異蠻大的)
                    3.使用fuse掛載會慢一點點
                    4..另外參考一個數值:兩台電腦使用scp傳輸1GB時間是23秒(43.5MB/s)

Ubuntu Software RAID 5

之前拿四顆硬碟分別是 Seagate的2T*1  1.5T*3，簡單測一下效能:
A.對照組:在其中一個1.5T的硬碟切一個266G的磁區格式化為EXT4
B.實驗組:把剩下的空間作成RAID5 所以有5.7T也是格式化為EXT4
實驗方式是以dd的指令來產生檔案，bs為512K，連續跑四次扣除最快和最慢的取平均。
         1K B          512KB              1MB            10MB             100MB            1GB              10GB
A   48.9MB/s    700.5MB/s      822.5/MB/s    1091MB/s      1700MB/s       45MB/s          46MB/s
B  22.2 MB/s     553 MB/s        787MB/s       1331MB/s      1700MB/s      363MB/s        120MB/s

簡單的結論: Softraid 5 在檔案超過10MB後寫入效能會比單顆硬碟好。