大數(shù)據(jù)是什么意思?

2021-12-27 22:27:29高三網(wǎng)

　　大數(shù)據(jù)是巨量數(shù)據(jù)集合，指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

　　1什么是大數(shù)據(jù)

　　對于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。

　　麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。

　　大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

　　從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。

　　2大數(shù)據(jù)學(xué)習(xí)一般都學(xué)什么

　　大數(shù)據(jù)技術(shù)的學(xué)習(xí)內(nèi)容有很多，包括：

　　基礎(chǔ)階段：Linux、Docker、KVM、MySQL基礎(chǔ)、Oracle基礎(chǔ)、MongoDB、redis。

　　hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、歷史，HDFS工作原理，YARN介紹及組件介紹。

　　大數(shù)據(jù)存儲階段：hbase、hive、sqoop。

　　大數(shù)據(jù)架構(gòu)設(shè)計(jì)階段：Flume分布式、Zookeeper、Kafka。

　　大數(shù)據(jù)實(shí)時計(jì)算階段：Mahout、Spark、storm。

　　大數(shù)據(jù)數(shù)據(jù)采集階段：Python、Scala。

　　大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)階段：實(shí)操企業(yè)大數(shù)據(jù)處理業(yè)務(wù)場景，分析需求、解決方案實(shí)施，綜合技術(shù)實(shí)戰(zhàn)應(yīng)用。