你了解大數(shù)據(jù)分析模型嗎
關(guān)聯(lián)規(guī)則分析(Apriori)
Apriori算法簡介:Apriori 算法是一種挖掘關(guān)聯(lián)規(guī)則的頻繁項集算法,其核心思想是通過候選集生成和情節(jié)的向下封閉檢測兩個階段來挖掘頻繁項集。 Apriori(先驗的,推測的)算法應(yīng)用廣泛,可用于消費市場價格分析,猜測顧客的消費習(xí)慣;網(wǎng)絡(luò)安全領(lǐng)域中的入侵檢測技術(shù);也可用在移動通信領(lǐng)域中,指導(dǎo)運營商的業(yè)務(wù)運營和輔助業(yè)務(wù)提供商的決策制定。
Apriori 算法的挖掘思想:Apriori 算法采用的是逐層搜素的策略,同時依據(jù)其性質(zhì)壓縮搜索空間。而它的性質(zhì)是說,如果一個項集具有頻繁性,則它的所有非空子集也一定是頻繁項集。它的基本思想在于,首先,掃描一次事物集合,找出頻繁 1 -項集集合 L1,然后基于 L1,產(chǎn)生所有可能的頻繁 2 -項集即候選集 C2,接著基于 L1 對 C2 進行必要的剪枝操作。對 C2 的優(yōu)化完成后,再掃描一次事務(wù)集合,找出下一個頻繁候選集,如此迭代,直至再也找不出頻繁集時退出。
在實際的應(yīng)用中,關(guān)聯(lián)規(guī)則主要應(yīng)用于商品購買的關(guān)聯(lián)行為,比如針對一個賣場,可以通過對大數(shù)據(jù)的關(guān)聯(lián)分析發(fā)現(xiàn)面包與牛奶之間的購買行為,從而可以針對性進行促銷或是適當(dāng)調(diào)整商場的物品擺放。所以關(guān)聯(lián)分析是大數(shù)據(jù)分析特別有效的模型,針對性比較強。
聚類分析模型聚類分析
模型簡介:是指將物理的或抽象的對象的集合分成相似的對象集的過程,最終的結(jié)果是同一個簇中的對象具有較高的相似性,而不同簇之間的對象則具有較大的差異性。聚類分析的三要素為相似度測度,聚類準(zhǔn)則和聚類算法。相似度測度主要用于衡量同簇對象的類似性和不同簇對象的差異性,而聚類準(zhǔn)則則是用于評價聚類結(jié)果的好壞,聚類算法用于找出使準(zhǔn)則函數(shù)取極值的最好聚類結(jié)果。目前大數(shù)據(jù)聚類分析中比較常用的算法主要有劃分式聚類算法、基于密度的聚類算法、層次聚類算法、以及基于網(wǎng)格的聚類算法。其中比較比較典型的是劃分式聚類算法。
劃分式聚類算法的挖掘思想:劃分式聚類算法的其代表是 K 均值算法、K 中心點算法以及它們的一些變種。K 均值聚類算法假定所有的數(shù)據(jù)對象課分為 K 個簇,每個簇的中心用均值表示,對象間的相似性用距離度量,聚類的準(zhǔn)則使用誤差平方和準(zhǔn)則。它的核心在于首先選定 K 個初始聚類中心,根據(jù)最小距離原則將每個數(shù)據(jù)對象分類到每一簇中。聚類分析模型是一個比較簡單的大數(shù)據(jù)分析模型,但是它可以對大型數(shù)據(jù)集進行高效地劃分,它也是數(shù)據(jù)挖掘的重要模型之一,在實際工作中已經(jīng)取得廣泛的應(yīng)用,是眾多企業(yè)處理大數(shù)據(jù)不二的選擇。