數(shù)據(jù)挖掘技術(shù)在中等職業(yè)學(xué)校管理實踐中的應(yīng)用研究論文
摘要:我國中等職業(yè)教育的學(xué)校規(guī)模、在校生人數(shù)等都有了很大的發(fā)展,高效的數(shù)據(jù)管理對學(xué)校發(fā)展起到越來越重要的作用。利用Hash樹和Fp樹對Apriori算法對學(xué)生信息、教學(xué)信息、后勤信息進(jìn)行分析和研究,并進(jìn)行優(yōu)化和實施關(guān)聯(lián)規(guī)則挖掘,用遺傳算法對挖掘成果進(jìn)行優(yōu)化,以此來推動中等職業(yè)教育的發(fā)展。
關(guān)鍵詞:數(shù)據(jù)挖掘;關(guān)聯(lián)規(guī)則;遺傳算法
1引言
信息時代的計算機(jī)數(shù)據(jù)存儲技術(shù)等得到了飛速發(fā)展。大量的數(shù)據(jù)與數(shù)據(jù)分析處理方法相互結(jié)合產(chǎn)生了數(shù)據(jù)挖掘技術(shù),目前數(shù)據(jù)挖掘是在許多領(lǐng)域和方面得到了廣泛應(yīng)用的技術(shù)。隨著中等職業(yè)教育的發(fā)展,提高職業(yè)教育質(zhì)量已成為一個系統(tǒng)工程。目前職業(yè)學(xué)校已存儲了以學(xué)校教學(xué)實踐為中心的大量數(shù)據(jù),但是其背后所蘊(yùn)含的大量有用信息并未得到發(fā)現(xiàn)和利用,主要是因為利用分析方法不適應(yīng)職業(yè)學(xué)校的大量復(fù)雜數(shù)據(jù)。利用數(shù)據(jù)挖掘技術(shù)從中發(fā)現(xiàn)有價值的信息可以指導(dǎo)職業(yè)學(xué)校教學(xué)、就業(yè)、后勤等各方面的管理,提高管理效率,降低成本,推動職業(yè)教育更好的發(fā)展。
2關(guān)聯(lián)規(guī)則挖掘算法
2.1Apriori算法及改進(jìn)
Apriori算法是關(guān)聯(lián)規(guī)則挖掘的基本算法,它利用項集的先驗性知識和層次順序的循環(huán)搜索方法來發(fā)現(xiàn)頻繁項集,首先產(chǎn)生頻繁1-項集L1;然后利用L1來產(chǎn)生頻繁2-項集L2,不斷循環(huán)下去直到無法發(fā)現(xiàn)更多的頻繁K-項集為止。
從兩個方面對Apriori算法進(jìn)行改進(jìn)。
2.1.1利用HASH樹對支持度進(jìn)行計數(shù)
HASH樹根節(jié)點為空,用HASH函數(shù)來決定內(nèi)部節(jié)點的分支走向,遍歷HASH樹可以對候選項集支持度進(jìn)行計數(shù),用HASH樹對候選項集的支持度進(jìn)行計數(shù),避免了窮舉法對事務(wù)中的每個項集與候選項集進(jìn)行比較,而是進(jìn)行了分類,降低了支持度計數(shù)的任務(wù)量。
2.1.2用FP樹提取頻繁項集
FP樹(frequentpatterntree)實現(xiàn)了對數(shù)據(jù)的緊湊表示,可以從該結(jié)構(gòu)中直接提取頻繁項集。FP樹之中的一條路徑所表示的數(shù)據(jù)序列對應(yīng)一條事務(wù)中的數(shù)據(jù),對于不同事務(wù)中相同的數(shù)據(jù)項對應(yīng)的FP樹中的路徑可以重疊,從而實現(xiàn)了事務(wù)數(shù)據(jù)的緊湊表示。FP樹的節(jié)點包括數(shù)據(jù)項的標(biāo)記和計數(shù),計數(shù)表示經(jīng)過該路經(jīng)的事務(wù)個數(shù)。
。1)對各數(shù)據(jù)項的數(shù)據(jù)按照它們的支持度計數(shù)的遞減順序排序,從而調(diào)整數(shù)據(jù)集中各數(shù)據(jù)的次序。
。2)由數(shù)據(jù)集構(gòu)造FP樹,對第一個事務(wù)創(chuàng)建從根節(jié)點到事務(wù)中各數(shù)據(jù)的路徑并進(jìn)行支持度計數(shù)。
。3)繼續(xù)讀入事務(wù),與創(chuàng)建過路徑的事務(wù)進(jìn)行比較將新事務(wù)加入FP樹,如果與創(chuàng)建過的事務(wù)有相同的路徑則合并相同的路徑,相應(yīng)節(jié)點支持度增加,不同路徑增加不同的分支,進(jìn)行支持度計數(shù)。
。4)繼續(xù)該過程直到所有的事務(wù)都映射到FP樹。
(5)由FP樹依據(jù)不同的結(jié)尾進(jìn)行劃分,產(chǎn)生以其為后綴的路徑。
。6)不同的后綴產(chǎn)生相應(yīng)的頻繁項集。
2.2關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)
由頻繁項集可以較為容易地產(chǎn)生相應(yīng)的關(guān)聯(lián)規(guī)則,可以通過計算置信度來獲得強(qiáng)關(guān)聯(lián)規(guī)則,關(guān)聯(lián)規(guī)則的操作為:
2.2.1對于每個頻繁項集L產(chǎn)生所有的非空子集。
2.2.2對于L的非空子集,如果c(L-)=≥min_s,則產(chǎn)生(L-)的關(guān)聯(lián)規(guī)則,min_s為最小置信度閥值。
3學(xué)校信息的數(shù)據(jù)挖掘
3.1對學(xué)校信息進(jìn)行關(guān)聯(lián)挖掘
下邊以有代表性的學(xué)生就業(yè)方面信息為例來進(jìn)行分析。就業(yè)信息庫中的數(shù)據(jù)項包括:學(xué)生的編號、成績、學(xué)生干部、操行等級、實踐動手能力、就業(yè)單位,其中編號為學(xué)生的唯一標(biāo)識。為了便于數(shù)據(jù)存取現(xiàn)在對各數(shù)據(jù)項的內(nèi)容進(jìn)行編號,其中成績項分為:優(yōu)(a1),良(a2),一般(a3);學(xué)生干部分為:是(b1)、不是(b2);操行等級程度分為:良(c1)、優(yōu)(c2)、一般(c3);實踐動手能力分為:強(qiáng)(d1)、較強(qiáng)(d2)、一般(d3)。就業(yè)單位分為:大型公有企業(yè)(e1)、大型私企(e2)、一般公有企業(yè)(e3)、一般私企(e4)。
現(xiàn)有部分學(xué)生就業(yè)信息:
學(xué)生信息庫中共有125條學(xué)生就業(yè)方面的信息,應(yīng)用挖掘軟件對其進(jìn)行數(shù)據(jù)挖掘,最小支持度選定為0.3,最小置信度選定為0.5。其數(shù)據(jù)信息和挖掘結(jié)果如下所示:
在該就業(yè)數(shù)據(jù)庫中就業(yè)信息處于最主要的地位,也最有分析價值和現(xiàn)實意義。為了挖掘就業(yè)方面的關(guān)聯(lián)規(guī)則,發(fā)現(xiàn)影響就業(yè)情況的因素,從挖掘結(jié)果中提取“結(jié)論”含有就業(yè)數(shù)據(jù)項(e1,e2,e3)的規(guī)則,得到的規(guī)則表達(dá)式和可信度為:
。1)b1|c2e1confidence=0.84
。2)b1e1confidence=0.62
(3)b1|d2e1confidence=0.62
。4)c2|d2e1confidence=0.58
。5)b2e2confidence=0.52
。6)c2e2confidence=0.56
。7)b2|c2e2confidence=0.91
。8)a2e2confidence=0.64
由1至4式得:學(xué)生干部且操行達(dá)到優(yōu)、學(xué)生干部、學(xué)生干部并且實踐動手能力較強(qiáng)、操行達(dá)到優(yōu)且實踐動手能力較強(qiáng)到大型公有企業(yè)就業(yè)的可能性分別為0.84、0.62、0.62、0.58。
分析可以得到如下結(jié)果:學(xué)生干部和操行等級對進(jìn)入大型公有企業(yè)就業(yè)有著重要影響,同時也應(yīng)該提高實踐動手能力。
由5到8式得:不是學(xué)生干部、操行達(dá)到優(yōu)、不是學(xué)生干部且操行達(dá)到優(yōu)、學(xué)習(xí)良好到大型私企的可能性分別是0.52、0.56、0.91、0.64。
分析得:操行等級和學(xué)習(xí)成績對進(jìn)入大型私企有較大的影響,同時是學(xué)生干部對進(jìn)入大型私企沒有進(jìn)入大型公有企業(yè)的影響力大。
3.2遺傳算法對挖掘結(jié)果的優(yōu)化
遺傳算法是模擬生物的遺傳、變異、選擇、淘汰等自然選擇和遺傳機(jī)制,以隨機(jī)的形式將最適合目標(biāo)的種群通過重組產(chǎn)生新的一代。該算法是一種全局優(yōu)化算法,適合于較大空間的優(yōu)化問題,具有并行性、糾錯能力強(qiáng)和可操作性的特點。在數(shù)據(jù)挖掘中會遇到搜索尋求可行解或最優(yōu)解,需要處理海的量數(shù)據(jù)要花費(fèi)很長時間,遺傳算法的啟發(fā)式解決問題的方法可以應(yīng)用到這一方面。
由上面得到把各種要素對就業(yè)的.影響可以用數(shù)學(xué)函數(shù)來表示,影響作用的大小對應(yīng)函數(shù)值的大小。下面利用遺傳算法對挖掘結(jié)果的優(yōu)化,流程圖如下。
具體應(yīng)用中就業(yè)情況受多個因素的影響,先抽取最有影響的兩個因素建立模型函數(shù),下邊以函數(shù)y=(x1*x1-x2)*(x1*x2-x2)+(1-x1)*(1-x1)為例來分析,其中y為學(xué)生的就業(yè)情況好壞的量化表示,x1、x2分別是操行等級和動手實踐能力。 程序中的類型定義為:
intpopsize;//種群大小
intmaxgeneration;//最大世代數(shù)
doublepc;//交叉率
doublepm;//變異率
doublefitness;//適應(yīng)度
intgeneration;//世代數(shù)
structindividualbestindividual;//最佳個體
structindividualworstindividual;//最差個體
structindividualpopulation[POPSIZE];
各函數(shù)說明如下:
(1)voidgenerateinitialpopulation()和voidinput()初始化種群和遺傳算法參數(shù)。
input()函數(shù)輸入種群大小,染色體長度,最大世代數(shù),交叉率,變異率等參數(shù)。
(2)voidcalculateobjectvalue()計算適應(yīng)度函數(shù)值。根據(jù)給定的變量用適應(yīng)度函數(shù)計算然后返回適應(yīng)度值。
。3)選擇函數(shù)selectoperator(),在函數(shù)selectoperator()中首先用rand()函數(shù)產(chǎn)生0~1間的選擇算子,當(dāng)適度累計值不為零時,各個體適應(yīng)度占總適應(yīng)度的百分比與選擇算子值比較,達(dá)到選擇算子規(guī)定值的那個體被選出,即適應(yīng)度為fi的個體以fi/∑fk的概率繼續(xù)存在;顯然,個體適應(yīng)度愈高,被選中的概率愈大。但是,適應(yīng)度小的個體也有可能被選中,以便增加下一代群體的多樣性。
。4)染色體交叉函數(shù)crossoveroperator()是遺傳算法中的最重要的函數(shù)之一,它是對個體兩個變量所合成的染色體進(jìn)行交叉,而不是變量染色體的交叉,這要搞清楚。首先用rand()函數(shù)產(chǎn)生隨機(jī)概率,若小于交叉概率,則進(jìn)行染色體交叉,同時交叉次數(shù)加1。這時又要用rand()函數(shù)隨機(jī)產(chǎn)生一位交叉位,把染色體的交叉位的后面部分交叉即可;若大于交叉概率,則進(jìn)行簡單的染色體復(fù)制即可。
。5)染色體變異函數(shù)mutation(),變異是針對染色體字符而言的,而不是對個體而言,即個體變異的概率是一樣。隨機(jī)產(chǎn)生比較概率,若小于變異概率,則1變?yōu)?,0變?yōu)?,同時變異次數(shù)加1。
。6)longdecodechromosome(char*,int,int),本函數(shù)是染色體解碼函數(shù),它將以數(shù)組形式存儲的二進(jìn)制數(shù)轉(zhuǎn)成十進(jìn)制數(shù),然后才能用適應(yīng)度函數(shù)進(jìn)行計算。
。7)voidfindbestandworstindividual(),本函數(shù)是求最大適應(yīng)度個體的,每一代的所有個體的適應(yīng)度都要和初始的最佳個體比較,如果大于就賦給最佳個體。
。8)voidoutputtextreport(),本函數(shù)輸出種群統(tǒng)計結(jié)果。
運(yùn)行結(jié)果如圖3.4所示為:
設(shè)定種群大小為150,最大世代數(shù)為80,交叉率為0.5,變異率為0.05,運(yùn)行結(jié)果如圖3.4所示,由此得到y(tǒng)=(x1*x1-x2)*(x1*x2-x2)+(1-x1)*(1-x1)的最大值約為47.86,即:整體學(xué)生操行等級和動手實踐能力對就業(yè)的影響程度為47.86。這為大量數(shù)據(jù)的最優(yōu)求解問題提供一種參考方法,具有很大的借鑒意義。上述分析方法也有很大的局限性,主要是選擇合適的評價函數(shù)即適應(yīng)度函數(shù)問題。
4結(jié)論
目前,數(shù)據(jù)挖掘技術(shù)在職業(yè)學(xué)校信息管理中的應(yīng)用還處于起步階段,但是由于其在數(shù)據(jù)處理、分析、組織以及信息挖掘等方面所表現(xiàn)出來的巨大潛力,相信不久的將來,隨著數(shù)據(jù)庫的不斷膨脹和數(shù)據(jù)挖據(jù)技術(shù)在職業(yè)學(xué)校信息管理中應(yīng)用的不斷深入,為我國職業(yè)學(xué)校的跨越式發(fā)展起到一個科學(xué)導(dǎo)向作用。
參考文獻(xiàn):
[1]陳安,陳寧,周龍驤.數(shù)據(jù)挖掘技術(shù)與應(yīng)用.北京:科學(xué)出版社,2006
[2]Pang-NingTanMichaelSteinbachVipinKumar.數(shù)據(jù)挖掘?qū)д?北京:人民郵電出版社,2006
[3]李本貴.?dāng)?shù)據(jù)挖掘在高校后勤中的應(yīng)用.企業(yè)技術(shù)開發(fā),2006(2):22~23
[4]錢能.C++程序設(shè)計教程.北京:清華大學(xué)出版社,1999
[5]張儒良,王翰虎.論數(shù)據(jù)挖掘優(yōu)化教學(xué)管理.2004(2):133~155
[6]谷瓊,朱麗,蔡智華,袁紅星.基于決策樹的高校研究生信息庫數(shù)據(jù)挖掘.電子技術(shù)應(yīng)用,2006(1):21~22
【數(shù)據(jù)挖掘技術(shù)在中等職業(yè)學(xué)校管理實踐中的應(yīng)用研究論文】相關(guān)文章:
高校管理數(shù)據(jù)挖掘技術(shù)的應(yīng)用論文09-18
數(shù)據(jù)挖掘技術(shù)的研究論文09-12
大學(xué)圖書館數(shù)據(jù)挖掘技術(shù)應(yīng)用研究論文12-03
數(shù)據(jù)挖掘技術(shù)在企業(yè)決策系統(tǒng)中的應(yīng)用研究12-01
水利工程管理中數(shù)據(jù)挖掘技術(shù)的運(yùn)用論文09-18
數(shù)據(jù)挖掘技術(shù)下戰(zhàn)略管理會計探究論文10-06
支持向量機(jī)在數(shù)據(jù)挖掘中的應(yīng)用研究論文09-09