hadoop使用常見問題以及解決方法--浙江大學(xué)數(shù)學(xué)系方建勇-13621847370

1、1：ShuffleErr:ExceededMAX_FAILED_UNIQUE_FETCHESbailingoutAnswer：程序里面需要打開多個(gè)文件，進(jìn)行分析，系統(tǒng)一般默認(rèn)數(shù)量是1024，（用ulimita可以看到）對于正常使用是夠了，但是對于程序來講，就太少了。修改辦法：修改2個(gè)文件。etcsecuritylimits.confvietcsecuritylimits.conf加上：softnofile102400hardnofile

2、409600$cdetcpam.d$sudovilogin添加sessionrequiredlibsecuritypam_limits.so2：ToomanyfetchfailuresAnswer:出現(xiàn)這個(gè)問題主要是結(jié)點(diǎn)間的連通不夠全面。1)檢查、etchosts要求本機(jī)ip對應(yīng)服務(wù)器名要求要包含所有的服務(wù)器ip服務(wù)器名2)檢查.sshauthized_keys要求包含所有服務(wù)器（包括其自身）的publickey3：處理速度特別的慢出現(xiàn)

3、map很快但是reduce很慢而且反復(fù)出現(xiàn)reduce=0%Answer:結(jié)合第二點(diǎn)，然后修改confhadoopenv.sh中的exptHADOOP_HEAPSIZE=40004：能夠啟動(dòng)datanode，但無法訪問，也無法結(jié)束的錯(cuò)誤在重新格式化一個(gè)新的分布式文件時(shí)，需要將你NameNode上所配置的dfs.name.dir這一namenode用來存放NameNode持久存儲(chǔ)名字空間及事務(wù)日志的本地文件系統(tǒng)路徑刪除，同時(shí)將各DataN