国产欧美精品一区二区,中文字幕专区在线亚洲,国产精品美女网站在线观看,艾秋果冻传媒2021精品,在线免费一区二区,久久久久久青草大香综合精品,日韩美aaa特级毛片,欧美成人精品午夜免费影视

MapReduce框架下一種負載均衡的Top-k連接查詢(xún)算法
DOI:
CSTR:
作者:
作者單位:

首都師范大學(xué) 信息工程學(xué)院,首都師范大學(xué) 信息工程學(xué)院,北京交通大學(xué) 交通運輸學(xué)院

作者簡(jiǎn)介:

通訊作者:

中圖分類(lèi)號:

基金項目:

國家自然科學(xué)基金(61672002);北京市長(cháng)城學(xué)者項目(CIT TCD20170322)


A Load Balancing Top-k Join Query Algorithm in MapReduce Framework
Author:
Affiliation:

College of Information Engineering, Capital Normal University,College of Information Engineering, Capital Normal University,College of Traffic and Transportation,Beijing Jiaotong University

Fund Project:

  • 摘要
  • |
  • 圖/表
  • |
  • 訪(fǎng)問(wèn)統計
  • |
  • 參考文獻
  • |
  • 相似文獻
  • |
  • 引證文獻
  • |
  • 資源附件
  • |
  • 文章評論
    摘要:

    針對傳統Top-k連接查詢(xún)算法在處理海量數據時(shí)的時(shí)效問(wèn)題,提出一種基于MapReduce框架的負載均衡的并行Top-k連接查詢(xún)算法(P-TKJ)。使用直方圖形式來(lái)存儲數據,有助于提高CPU的利用率。同時(shí)融入了提前終止策略和磁盤(pán)數據的選擇性訪(fǎng)問(wèn),以便提高對HDFS數據訪(fǎng)問(wèn)的性能。另外,提出了一種基于最長(cháng)處理時(shí)間優(yōu)先(LPT)算法的負載均衡策略來(lái)均衡Reduce任務(wù),以此設計出高效的并行Top-k連接算法。一個(gè)集群實(shí)驗結果表明,該方法能夠有效縮短算法的執行時(shí)間。

    Abstract:

    For the issues that the time efficiency problem of traditional Top-k join algorithm when dealing with massive data, a load-balanced parallel Top-k join query algorithm (P-TKJ) based on MapReduce framework is proposed. It used histograms to store data helps to increase CPU utilization. An early termination strategy and disk data selective access mechanism is incorporated to improve the performance of HDFS data access. In addition, a load balancing strategy based on the longest processing time-first (LPT) algorithm is proposed to balance the Reduce tasks, so as to design an efficient parallel Top-k join algorithm. A cluster experiment shows that this method can shorten the execution time of the algorithm effectively.

    參考文獻
    相似文獻
    引證文獻
引用本文

胡東明,劉旭敏,徐維祥. MapReduce框架下一種負載均衡的Top-k連接查詢(xún)算法計算機測量與控制[J].,2018,26(8):238-242.

復制
分享
文章指標
  • 點(diǎn)擊次數:
  • 下載次數:
  • HTML閱讀次數:
  • 引用次數:
歷史
  • 收稿日期:2018-01-11
  • 最后修改日期:2018-01-29
  • 錄用日期:2018-01-24
  • 在線(xiàn)發(fā)布日期: 2018-09-04
  • 出版日期:
文章二維碼
疏勒县| 全南县| 八宿县| 繁昌县| 济阳县| 安阳市| 新田县| 买车| 饶平县| 十堰市| 兴国县| 湘西| 临安市| 庆城县| 巨野县| 双柏县| 轮台县| 科尔| 水城县| 迭部县| 游戏| 波密县| 海口市| 社旗县| 沛县| 云梦县| 应城市| 鞍山市| 宜州市| 德钦县| 阿克陶县| 化隆| 益阳市| 青铜峡市| 集安市| 陆河县| 普安县| 比如县| 新沂市| 抚顺县| 资源县|