數(shù)據(jù)挖掘技術在交通事故分析中的應用
隨著國民經濟的快速發(fā)展和人民生活水平的不斷提高,在交通運輸業(yè)持續(xù)發(fā)展的同時,轎車大量進入普通百姓家庭.汽車的社會保有量快速增長,使得駕駛員培訓學校門庭若市,職業(yè)駕駛員、非職業(yè)駕駛員大量增加,汽車保險業(yè)快速發(fā)展,同時交通事故的絕對數(shù)量也不斷增加。對于誘發(fā)交通事故的原因,以及各種原因的概率分布就成為交通管理部門、商業(yè)保險企業(yè)、駕駛員培訓學校等機構普遍關心的問題。
借助計算機技術和信息處理技術的發(fā)展成果,各地交通管理部門不斷投入大量的人力物力,建設各種各樣的信息化管理系統(tǒng),如機動車輛信息管理系統(tǒng)、機動車駕駛員信息管理系統(tǒng)、交通事故信息管理系統(tǒng)等。伴隨著交通管理信息系統(tǒng)的不斷建設、完善與發(fā)展,積累了大量寶貴的數(shù)據(jù)資源,這些信息化系統(tǒng)和所積累的數(shù)據(jù)資源,對提高交通管理水平起了巨大作用。目前的交通信息管理系統(tǒng)主要任務是進行數(shù)據(jù)查詢或對特定的數(shù)據(jù)進行簡單獨立的數(shù)字處理,沒有對這些大量的數(shù)據(jù)所包含的內在有價值的信息有效提取。在如何利用這些海量數(shù)據(jù)資源進行交通事故發(fā)生原因及概率分布分析方面,做的工作還很少,使得這些寶貴的數(shù)據(jù)資源沒有發(fā)揮應有的作用。對這些進行分析歸類和有效處理,從中挖掘出表征交通事故發(fā)生的原因及分布概率的內在有用信息,為相關單位或機構提供某種程度或某種方面的決策依據(jù),如交通事故防范、商業(yè)保險評估,機動車輛駕駛員培訓模式等等。從事物發(fā)展具有一定的內在聯(lián)系的觀點出發(fā),結合數(shù)據(jù)挖掘技術的研究成果,答案是肯定的。
2 數(shù)據(jù)挖掘技術的基本概念和方法
數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中識別出存在于數(shù)據(jù)庫中有效的、新穎的、具有潛在價值的、最終可理解的模式的非平凡知識的過程。它利用各種分析方法和分析工具在大規(guī)模的海量數(shù)據(jù)中建立模型和發(fā)現(xiàn)數(shù)據(jù)間的關系。數(shù)據(jù)挖掘的技術很多,相應的實現(xiàn)方法也很多。一般包括下述幾種方法:決策樹方法,神經網絡方法,概念樹方法,粗糙方法,遺傳算法,公式發(fā)現(xiàn),模糊論方法,統(tǒng)計學方法.可視化技術,貝葉斯網絡等。在不同的領域,針對需要解決的具體問題,需要完成的挖掘主題,采用不同的數(shù)據(jù)挖掘技術或方法。
3 交通管理信息數(shù)據(jù)挖掘方法
3.1 需求理解
涉及到交通管理信息積累的原始數(shù)據(jù)很多,存在于不同的數(shù)據(jù)庫中,甚至有些與交通安全相關的某些數(shù)據(jù)跨行業(yè)保存在其他行業(yè)的數(shù)據(jù)庫中,如氣象部門記錄的天氣氣象數(shù)據(jù)。這些數(shù)據(jù)庫大多是事務性的數(shù)據(jù)庫,其中的數(shù)據(jù)各自獨立、互不相關。數(shù)據(jù)挖掘的主題是從這些互不相關的數(shù)據(jù)中尋找出與交通事故相關的信息,導致交通事故發(fā)生的各種因素以及交通事故對各種因素的概率分布。
3.2 數(shù)據(jù)準備
由于機動車輛.機動車駕駛員、交通事故信息管理系統(tǒng)的建設都是針對特定需求建立起來的事務性數(shù)據(jù)庫,其中存放的數(shù)據(jù)往往不能直接用于挖掘主題的數(shù)據(jù)挖掘,必須進行必要的數(shù)據(jù)預處理或數(shù)據(jù)準備,包括數(shù)據(jù)選擇、凈化、轉換、數(shù)據(jù)縮減等工作,獲取與挖掘主題直接相關的有效數(shù)據(jù)。數(shù)據(jù)準備是非常重要的一個步驟,將影響數(shù)據(jù)挖掘的效率和準確度以及最終模式的有效性。
機動車駕駛員信息管理系統(tǒng)主要記錄與駕駛員相關的信息,如駕駛員姓名、性別、年齡、學歷、駕齡、準駕車輛類別、駕駛證編號、發(fā)證機關等;機動車輛信息管理系統(tǒng)記錄車主姓名、車輛牌號、型號、類別、顏色、發(fā)動機號、車架號、出廠時間、購買時間、車輛用途等;交通事故信息管理系統(tǒng)記錄肇事駕駛員信息,如肇事駕駛員姓名、性別、年齡、駕齡、駕駛證編號以及肇事車輛的牌照號、型號、類別等。這些信息有些與交通事故相關,有些信息無關。車輛事故發(fā)生的概率與駕駛人員本身有著密切的關系,影響駕駛人員安全駕駛的主要因素包括年齡、性別、駕齡等。數(shù)據(jù)處理后可得表l所示的與交通事故密切相關的數(shù)據(jù)記錄。
3.3 數(shù)據(jù)挖掘方法設計
數(shù)據(jù)挖掘算法或數(shù)據(jù)挖掘技術的選擇,依賴于已有的原始數(shù)據(jù)資源和選定的挖掘主題,本課題所涉及的數(shù)據(jù)資源儲存于不同的事務性數(shù)據(jù)庫中,而確定的挖掘主題是利用數(shù)據(jù)挖掘技術,對這些大量的數(shù)據(jù)進行宏觀的基礎研究,尋求導致各種交通事故發(fā)生諸多因素的概率分布,為交通管理部門、商業(yè)保險部門、安全教育部門、機動車駕駛員培訓部門等行業(yè)提供決策的宏觀支持。挖掘的方法選用分類模式中的決策樹方法,這是分類模式中常用的一種分類器,通過對大量數(shù)據(jù)進行有目的的分類,從中找到一些有價值的、潛在的信息。決策樹方法的主要優(yōu)點是可以生成可理解的規(guī)則,計算量小,可以處理連續(xù)和集合屬性,決策樹的輸出包括屬性重要性排序。決策樹是一個類似于流程圖的結構,它包括決策節(jié)點、分枝和葉子節(jié)點。根據(jù)本課題的目標,決策樹法采用ID3方法,選擇互信息最大的屬性作為根節(jié)點。表l中有3個決策屬性和一個分類屬性,決策屬性是駕駛員年齡、駕齡和性別,分類屬性是事故的有無。ID3算法包括信息熵的計算、屬性A條件熵的計算和互信息的計算。
(1)信息熵的計算
信息熵的計算公式為:
式中,i取值1、2,U分別表示有交通事故和無交通事故樣本,P(Ui)表示類別為Ui的樣本占樣本總數(shù)中的比例。
根據(jù)式(1),信息熵H(U的計算算法為:
式中P(Vj)表示屬性A中取值為Vj的樣本占樣本總數(shù)的比例,P(Ui|Vj)表示屬性A取值Vj時,類別為Ui的概率。
例如,對于駕駛員年齡屬性,j的取值范圍是駕駛員的年齡范圍,約20~70;i的取值范圍仍是1、2,表示事故的有無。則駕駛員年齡屬性條件熵計算的具體算法為:
分別計算出決策屬性的互信息Gain(年齡)、Gain(駕齡)、Gain(性別)的數(shù)值,選擇互信息最大的屬性作為決策樹的根節(jié)點。依該屬性的取值作為分枝,每個分枝對應一個子集。對于每一個子集,重新計算其所含樣本的信息熵、條件熵和互信息,確定該子集的當前節(jié)點及其分枝,直到遍歷了所有的決策屬性,獲得全部的葉子節(jié)點。葉子節(jié)點的數(shù)值就是從決策樹根節(jié)點開始,沿相關路徑(分枝)到達葉子節(jié)點所包含的樣本集可能發(fā)生交通事故的概率。
這樣建立的決策樹及概率分布就把交通事故與駕駛員的關系清晰地表露出來,同樣,也可選擇其他挖掘主題如交通事故與機動車輛的關系、與天氣的關系等進行挖掘。
4 結語
經過多年的發(fā)展與積累,與交通管理相關的部門積累了大量的與交通安全相關的數(shù)據(jù)資源,充分利用這些數(shù)據(jù)資源,使其為促進經濟發(fā)展、創(chuàng)建和諧社會服務。數(shù)據(jù)挖掘技術是開發(fā)這些數(shù)據(jù)資源的有效手段,可以找出這些海量數(shù)據(jù)之間的內在的規(guī)律性的聯(lián)系,從而為相關部門或機構的宏觀決策提供技術支持。與其他相關研究不同.這里的工作基于對機動車駕駛員總體樣本的研究,結果會更真實可信,指導意義更強。