国产欧美精品一区二区,中文字幕专区在线亚洲,国产精品美女网站在线观看,艾秋果冻传媒2021精品,在线免费一区二区,久久久久久青草大香综合精品,日韩美aaa特级毛片,欧美成人精品午夜免费影视

基于云計算Hadoop異構集群的并行作業(yè)調度算法
DOI:
CSTR:
作者:
作者單位:

(1.嘉應學(xué)院 計算機學(xué)院,廣東 梅州 514015; ;2.鄭州鐵路職業(yè)技術(shù)學(xué)院 軟件學(xué)院,鄭州 450052)

作者簡(jiǎn)介:

郭其標(1982-),男,廣東梅縣人,碩士,講師,主要從事數據安全、數據挖掘及計算機網(wǎng)絡(luò )方向的研究。 呂春峰(1971-),男,河南鄭州人,碩士,講師,主要從事計算機應用與網(wǎng)絡(luò )和圖像處理等方向的研究。 [FQ)]

通訊作者:

中圖分類(lèi)號:

TP393

基金項目:

廣東省高校優(yōu)秀青年創(chuàng )新人才培養計劃基金資助項目(LYM10121)。


Algorithm for Concurrent Job Scheduling Based on Cloud Computing Hadoop Heterogeneous Computer Cluster[HS)]
Author:
Affiliation:

(1.School of Computer,Jia Ying University, Meizhou 514015,China;2.Software College, Zhengzhou Railway Vocational and Technical College , Zhengzhou 450052,China)

Fund Project:

  • 摘要
  • |
  • 圖/表
  • |
  • 訪(fǎng)問(wèn)統計
  • |
  • 參考文獻
  • |
  • 相似文獻
  • |
  • 引證文獻
  • |
  • 資源附件
  • |
  • 文章評論
    摘要:

    針對Hadoop異構集群中計算和數據資源的不一致分布所導致的調度性能較低的缺點(diǎn),設計了一種基于Hadoop集群和改進(jìn)Late算法的并行作業(yè)調度算法;首先,介紹了基于Hadoop框架和Map-Reduce模型的調度原理,然后,在經(jīng)典的Late調度算法的基礎上,對Map任務(wù)和Reduce任務(wù)的各階段執行時(shí)間進(jìn)度比例進(jìn)行存儲和更新,為了進(jìn)一步地提高調度效率,將慢任務(wù)遷移到本地化節點(diǎn)或離數據資源較近的物理節點(diǎn)上,并給了基于改進(jìn)Late算法的作業(yè)調度流程;為了驗證文中方法,在Hadoop集群系統上測試,設定1個(gè)為Jobtracker主控節點(diǎn)和7個(gè)為T(mén)askTracker節點(diǎn),實(shí)驗結果表明文中方法能實(shí)現異構集群的作業(yè)調度,且與其它方法比較,具有較低的預測誤差和較高的調度效率。

    Abstract:

    Aiming at the Hadoop heterogeneous computer clusters that have the defects of low scheduling efficiency for in-conformal computing and data resource, a job scheduling method based on Late algorithm based on Hadoop computer cluster was proposed. Firstly, the principle of scheduling based on Hadoop and Map-Reduce model was introduced, then on the basis of the classic scheduling algorithm, the executing time ratio for stages of Map task and Reduce task was stored and renewed, In order to improve the scheduling efficiency further, the slow task is transferred to the local node or the neighbor nodes near the data resource, and the algorism flow for the improved Late algorism was given. In order to verify the method in this paper, the experiment was simulated in the Hadoop computer cluster, the number for Jobtracker nodes and Tasktracker number is 1 and 7, respectively, and the result shows the method in this paper can realize job scheduling for heterogeneous computer clusters, and compared with the other method, it has the low predicating error and high scheduling efficiency.

    參考文獻
    相似文獻
    引證文獻
引用本文

郭其標,呂春峰.基于云計算Hadoop異構集群的并行作業(yè)調度算法計算機測量與控制[J].,2014,22(6):1846-1848.

復制
分享
文章指標
  • 點(diǎn)擊次數:
  • 下載次數:
  • HTML閱讀次數:
  • 引用次數:
歷史
  • 收稿日期:2013-11-21
  • 最后修改日期:2014-02-17
  • 錄用日期:
  • 在線(xiàn)發(fā)布日期: 2014-11-12
  • 出版日期:
文章二維碼
澜沧| 广汉市| 湖南省| 苏尼特右旗| 闻喜县| 沅陵县| 佛教| 抚顺市| 拜泉县| 新竹县| 新绛县| 东城区| 贺兰县| 惠州市| 清水河县| 刚察县| 齐河县| 龙陵县| 宝山区| 鹤山市| 谢通门县| 黄浦区| 东辽县| 乐清市| 桦南县| 扎鲁特旗| 新巴尔虎左旗| 尚义县| 衡东县| 双峰县| 泊头市| 梁河县| 保德县| 仙游县| 惠来县| 中宁县| 延寿县| 英超| 鄂托克旗| 秭归县| 威远县|