国产欧美精品一区二区,中文字幕专区在线亚洲,国产精品美女网站在线观看,艾秋果冻传媒2021精品,在线免费一区二区,久久久久久青草大香综合精品,日韩美aaa特级毛片,欧美成人精品午夜免费影视

Hadoop平臺下自響應故障感知的檢測技術(shù)研究實(shí)現
DOI:
CSTR:
作者:
作者單位:

首都師范大學(xué) 信息工程學(xué)院,首都師范大學(xué)信息工程學(xué)院,首都師范大學(xué)信息工程學(xué)院

作者簡(jiǎn)介:

通訊作者:

中圖分類(lèi)號:

基金項目:

本論文由國家自然科學(xué)基金(項目編號:31571563),北京市屬高等學(xué)校創(chuàng )新團隊建設與教師職業(yè)發(fā)展計劃項目資助。高可靠嵌入式系統技術(shù)北京市工程研究中心資助。


Implementation of detection technology of self response fault detection based on Hadoop platform
Author:
Affiliation:

Institute of Information Engineering , Capital Normal University,,

Fund Project:

  • 摘要
  • |
  • 圖/表
  • |
  • 訪(fǎng)問(wèn)統計
  • |
  • 參考文獻
  • |
  • 相似文獻
  • |
  • 引證文獻
  • |
  • 資源附件
  • |
  • 文章評論
    摘要:

    當今云計算環(huán)境下,Hadoop已經(jīng)成為大數據處理的事實(shí)標準。然而云計算具有大規模、高復雜和動(dòng)態(tài)性的特點(diǎn),容易導致故障的發(fā)生,影響Hadoop上運行的作業(yè)。雖然Hadoop具有內置的故障檢測和恢復機制,但云環(huán)境中不同節點(diǎn)負載大小的變化,被調度的作業(yè)仍然導致失敗。針對此問(wèn)題提出自響應故障感知的檢測調度方法,對異構環(huán)境負載能力的不同,而做出服務(wù)器快節點(diǎn)和慢節點(diǎn)的判斷,把作業(yè)分配調度到合適的節點(diǎn)上執行,調整任務(wù)決策來(lái)盡可能的防止任務(wù)失敗的發(fā)生。最后在Hadoop框架下與基本調度器進(jìn)行實(shí)驗性能比較,結果顯示該方法減少作業(yè)失敗率最高達19%,并縮短了作業(yè)執行時(shí)間,同時(shí)也減少CPU和內存的使用。

    Abstract:

    In today's cloud computing environment, Hadoop has become the fact standard for big data processing. However, cloud computing has the characteristics of large scale, high complexity and dynamic characteristics, fault occurrence is common, but it often affects the operation of jobs on the Hadoop. Although the Hadoop has a built-in fault detection and recovery mechanism, but the cloud environment, the changes in the load of different nodes, the job is scheduled to still lead to failure. The proposed self response of fault aware scheduling detection method, according to different load capacity of heterogeneous environment, and make fast server nodes and slow nodes judgment, the scheduling of job allocated to the appropriate node , adjust the decision task to prevent mission failure occurred. Finally in the Hadoop framework and basic scheduler were experimental performance compared results show that the method reduce job failure rate of up to 19% and shorten job execution time, and also reduce the CPU and memory usage.

    參考文獻
    相似文獻
    引證文獻
引用本文

趙序光,張樹(shù)東,嚴業(yè)平. Hadoop平臺下自響應故障感知的檢測技術(shù)研究實(shí)現計算機測量與控制[J].,2016,24(11).

復制
分享
文章指標
  • 點(diǎn)擊次數:
  • 下載次數:
  • HTML閱讀次數:
  • 引用次數:
歷史
  • 收稿日期:2016-05-09
  • 最后修改日期:2016-06-08
  • 錄用日期:2016-06-12
  • 在線(xiàn)發(fā)布日期: 2016-11-30
  • 出版日期:
文章二維碼
桐乡市| 嫩江县| 盖州市| 庐江县| 乾安县| 开阳县| 修武县| 罗平县| 怀远县| 双流县| 乌苏市| 阳东县| 海城市| 濉溪县| 安平县| 武定县| 新疆| 乐业县| 方城县| 黔南| 南京市| 泉州市| 樟树市| 含山县| 阳曲县| 延川县| 若尔盖县| 和平县| 东平县| 西城区| 江津市| 湖州市| 临沂市| 延安市| 宁城县| 建瓯市| 黑山县| 澜沧| 翁牛特旗| 礼泉县| 罗源县|