在當(dāng)今的數(shù)字革命浪潮中，大數(shù)據(jù)成為公司企業(yè)分析客戶行為和提供個(gè)性化定制服務(wù)的有力工具。下面由學(xué)習(xí)啦小編為大家整理的數(shù)據(jù)工具，希望大家喜歡!

　　數(shù)據(jù)工具

　　1、 Talend Open Studio

　　是第一家針對(duì)的數(shù)據(jù)集成工具市場(chǎng)的ETL(數(shù)據(jù)的提取Extract、傳輸Transform、載入Load)開源軟件供應(yīng)商。Talend的下載量已超過(guò)200萬(wàn)人次，其開源軟件提供了數(shù)據(jù)整合功能。其用戶包括美國(guó)國(guó)際集團(tuán)(AIG)、康卡斯特、電子港灣、通用電氣、三星、Ticketmaster和韋里遜等企業(yè)組織。

　　2、DYSON

　　探碼科技自主研發(fā)的DYSON智能分析系統(tǒng)，可以完整的實(shí)現(xiàn)大數(shù)據(jù)的采集、分析、處理。DYSON智能分析系統(tǒng)專業(yè)針對(duì)互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘?？梢造`活迅速地抓取網(wǎng)頁(yè)上散亂分布的信息，并通過(guò)強(qiáng)大的處理功能，準(zhǔn)確挖掘出所需數(shù)據(jù)，是目前使用人數(shù)最多的網(wǎng)頁(yè)采集工具.

　　3、Chukwa

　　監(jiān)測(cè)大型分布式系統(tǒng)的一個(gè)開源數(shù)據(jù)采集系統(tǒng)，建立在HDFS/MapReduce框架之上并繼承了Hadoop的可伸縮性和可靠性，可以收集來(lái)自大型分布式系統(tǒng)的數(shù)據(jù)，用于監(jiān)控。它還包括靈活而強(qiáng)大的顯示工具用于監(jiān)控、分析結(jié)果。

　　數(shù)據(jù)管理工具

　　1、YARN

　　一種新的Hadoop資源管理器，它是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，解決了舊MapReduce框架的性能瓶頸。它的基本思想是把資源管理和作業(yè)調(diào)度/監(jiān)控的功能分割到單獨(dú)的守護(hù)進(jìn)程。

　　2、Mesos

　　由加州大學(xué)伯克利分校的AMPLab首先開發(fā)的一款開源群集管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架構(gòu)。對(duì)數(shù)據(jù)中心而言它就像一個(gè)單一的資源池，從物理或虛擬機(jī)器中抽離了CPU，內(nèi)存，存儲(chǔ)以及其它計(jì)算資源， 很容易建立和有效運(yùn)行具備容錯(cuò)性和彈性的分布式系統(tǒng)。

　　3、 Logstash

　　一個(gè)應(yīng)用程序日志、事件的傳輸、處理、管理和搜索的平臺(tái)。可以用它來(lái)統(tǒng)一對(duì)應(yīng)用程序日志進(jìn)行收集管理，提供了Web接口用于查詢和統(tǒng)計(jì)。

　　數(shù)據(jù)集成工具

　　1、Flume

　　Cloudera提供的一個(gè)高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。同時(shí)，F(xiàn)lume支持對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫入各種數(shù)據(jù)接受方(可定制)。

　　2、RabbitMQ

　　一個(gè)受歡迎的消息代理系統(tǒng)，通常用于應(yīng)用程序之間或者程序的不同組件之間通過(guò)消息來(lái)進(jìn)行集成。RabbitMQ提供可靠的應(yīng)用消息發(fā)送、易于使用、支持所有主流操作系統(tǒng)、支持大量開發(fā)者平臺(tái)。

　　3、ActiveMQ

　　Apache出品，號(hào)稱“最流行的，最強(qiáng)大”的開源消息集成模式服務(wù)器。ActiveMQ特點(diǎn)是速度快，支持多種跨語(yǔ)言的客戶端和協(xié)議，其企業(yè)集成模式和許多先進(jìn)的功能易于使用，是一個(gè)完全支持JMS1.1和J2EE 1.4規(guī)范的JMS Provider實(shí)現(xiàn)。