數據挖掘技術是人們長期對數據庫技術進行研究和開發的結果。起初各種商業數據就保存到數據庫中，然后發展到可對數據庫進行查詢和訪問，進而發展到對數據庫的即時遍歷。數據挖掘使數據庫技術進入了一個更高級的階段，它不僅能對過去的數據進行查詢和遍歷，并且能夠找出過去數據之間的潛在聯系，從而促進信息的進一步利用。
本項目研究的問題和采用的技術路線是根據我國傳統農藥化工技術發展的實際情況首次提出來的，因此在國內具有獨創性，同時又滿足國家采用信息技術改造傳統產業的產業政策。
技術構架
本項目的技術構架是建立在以集散控制系統（DCS——Distributed Control System）為基礎自動化軟硬件平臺的基礎上，建立歷史數據庫平臺，通過數據挖掘技術對生產工藝、操作條件和配方進行優化，并形成通用的數據挖掘軟件平臺。其系統技術架構如圖1所示。
1.首先將原有基本手工控制的操作模式，改造成自動化程度較高的基于SUPCON JX-300X集散控制系統的操作模式，使三唑磷合成生產過程穩定，信息采集完備；
2.通過浙江中控軟件技術有限公司開發的具有自主知識產權的實時數據庫系統ESP-iSYS中的數據采集及歷史數據庫模塊建立三唑磷合成過程的生產歷史數據庫，用于積累豐富的三唑磷合成生產過程的歷史數據；
3.通過對生產信息的歷史數據進行數據挖掘，找出工藝參數和工藝配方對三唑磷收率和有效成分含量的規律，并提出優化的配方、優化的工藝參數和優化的生產工藝。
基礎自動化系統改造
對于三唑磷合成過程的基礎自動化改造，首先要熟悉三唑磷合成的工藝路線，設計一套較為先進的儀表檢測系統，選用較為可靠的、高性能的壓力傳感器、pH傳感器以及流量計、溫度傳感器等。以確保獲得準確、可靠的生產過程信息。
對三唑磷合成過程的計算機控制系統進行設計，選擇模擬量輸入卡、模擬量輸出卡及開關量輸入、輸出卡，重要卡件(主控制卡、數據轉發卡、電源)及重要信號點設置成1:1冗余，提高系統的可靠性。設置二個操作站和一個控制站，使該生產過程穩定運行并獲取可信數據。
經分析，三唑磷合成過程操作要求如下：
1.反應溫度控制：三個反應釜的反應溫度控制分別需控制的精度為±1℃。合成反應為吸熱反應，保持一定反應溫度，可提高反應速率，穩定操作，提高收率。但溫度過高，會引起原料分解，影響收率。
2.pH控制：因為整個反應需在堿性水溶液中完成，反應過程要求物系的pH值控制在8.0～9.0之間即偏堿性，不足可通過加堿來調節。
3.脫溶甲苯濃度控制：因為合成產物三唑磷存在于甲苯有機相中，所以在反應結束后，要進行脫溶處理，將甲苯和反應物三唑磷分離。甲苯濃度控制得好壞，直接影響反應物的濃度和三唑磷的損耗，造成收率降低。
考慮到三唑磷合成過程的規模、具體控制要求和各控制系統的性價比，本方案采用了浙江中控技術股份有限公司的SUPCON JX-300X集散控制系統。該集散控制系統，融合了最先進的自動化技術、計算機技術、通信技術、故障診斷技術、冗余技術和軟件技術。具有成本低、可靠性高、使用方便、安裝簡單、維護容易等特點。系統全部數字化，規?？纱罂尚?，兼容性、開放性好，支持標準網絡通訊協議，且符合各種現場總線協議。
JX-300X集散控制系統由工程師站(ES)、操作站(OS)、現場控制站(CS)、通信網絡cnetⅡ等組成，它覆蓋了大型集散系統的安全性、冗余功能、網絡擴展功能、集成的用戶界面及信息存取功能，除了具有模擬量信號輸入輸出、數字量信號輸入輸出、回路控制等常規DCS的功能，還具有高速數字量處理、高速順序事件記錄（SOE）、可編程邏輯控制等特殊功能；它不僅提供了功能塊圖（SCFBD）、梯形圖（SCLD）等直觀的圖形組態工具，又為用戶提供開發復雜高級控制算法（如模糊控制）的類C語言編程環境SCX。系統規模變換靈活，可以實現從一個單元的過程控制，到全廠范圍的自動化集成。
實時數據庫系統
而近年來，隨著實時數據庫理論的日益成熟和完善，各種商業實時數據庫產品層出不窮，其中國際上比較著名的產品包括美國的OSI公司的Plant Information System，簡稱PI；美國AspenTech公司的Infoplus系統；美國Honeywell公司的PHD（Process History Database）系統。這些產品在石油、化工、鋼鐵、電力等多個重要行業得到了較為廣泛的應用，并且為實施企業帶來了較好的效率。
本項目選用浙江中控軟件技術有限公司開發的具有自主知識產權的實時數據庫軟件ESP-iSYS，ESP-iSYS實時數據庫軟件通過計算機網絡和正確的DCOM配置和組態過程，按照統一的數據格式采集數據，對數據統一管理。組態軟件將數據源和數據源的位號等信息組態到實時數據庫系統中。ESP-iSYS根據這些信息，配置相應的模塊，采集數據源中的位號數據，計算處理后提供給實時數據庫的客戶端應用軟件，如數據挖掘軟件應用。
ESP-iSYS實時數據庫系統分成組態管理、OPC/DDE/API接口軟件管理、實時數據庫管理、實時數據訪問接口、歷史數據庫存取五大模塊。
數據挖掘系統的應用
1.ESP-Miner數據挖掘軟件應用簡介
三唑磷合成過程中在線測量的數據經過現場儀表進入了SUPCON JX-300X的DCS系統，然后通過OPC Server進入了實時數據庫ESP-iSYS，經過數據預處理后與人工錄入數據(通過人工化驗的產品質量數據及其他離線數據)整合后進入關系數據庫中，經數據挖掘得到的結果(優化規則、優化的工藝控制參數、優化的工藝配方等)通過優化建議圖、餅圖、柱圖或報表的形式提供給工藝工程師進行決策，決策的結果通過DCS系統進行貫徹執行。
2.數據挖掘系統的應用操作流程
流程工業數據挖掘技術及軟件在三唑磷合成過程中應用研究項目的應用操作流程如下：
第一步：系統配置；
第二步：人工數據錄入(每天錄入)；
第三步：實時數據采集；
第四步：數據預處理；
第五步：人工錄入數據與實時生產數據整合；
第六步：數據挖掘操作；
第七步：數據挖掘結果呈現。
3.系統配置
系統安裝完畢后，一般需要進行系統配置，系統配置只需配置一次，系統安裝時有一個根據新農化工需求的默認配置，主要功能如下：
實時數據采集位號的組態，缺省組態保存在安裝目錄下的：newtagdef.cfg
數據整合時的信息組態，缺省組態保存在安裝目錄下的：tagdef.cng
4.人工數據的錄入
三唑磷合成過程中除了可在線測量的數據以外，還有許多數據如產品質量數據等只能每班或每天離線分析化驗一次，這些數據均需要人工錄入到系統中，并需要與生產實時數據進行整合。
根據實際情況，系統提供了班次的設定功能，化驗數據的人工錄入界面。
5.實時數據采集
本系統通過OPC Server把在線測量數據從SUPCON JX-300X提取并保存到實時數據庫系統ESP-iSYS中，因此數據挖掘的數據源是實時數據庫平臺ESP-iSYS和人工錄入數據。
具體操作舉例如下：
(1) 打開數據采集的配置文件
(2) 設定數據采集的時間和采樣周期以及保存數據的文件名
例如：采集04.04.01-04.04.28的3個溫度(TRC-202.PV、TRC-203.PV、TRC-204.PV)，產品流量FRC-254.PV，原料1流量FRC-251.PV，原料2流量FRC-252.PV, 原料3流量FRC-253.PV保存到SrcData040401_040428.dpp文件中，其中采樣周期為180秒。
(3)數據采集并保存成功。
6.數據預處理
從DCS等生產現場控制系統中采集的原始數據可能存在嚴重的隨機誤差和過失誤差，會使數據品質嚴重惡化。因此必須對采集來的原始數據進行預先處理，包括數據段選擇修改、濾波和剔除野值等，有效防止失效數據參與運算，保證在數據挖掘計算中所得結果的正確性。
從實時數據庫平臺導入生產實時數據，使用數據預處理模塊對這些參與數據挖掘的原始數據經加工處理（變量信息修改、剔除野值或一階濾波等）后存入離線設計數據文件中，使得數據挖掘計算結果準確。
7.人工錄入數據與實時生產數據整合
三唑磷合成過程的兩類生產歷史數據即人工化驗數據和生產實時數據，經過人工錄入和在線數據采集以后，需要把它們整合得到待挖掘數據，以供數據挖掘使用，當數據整合完成以后，需要把待挖掘數據保存到一個數據文件。
8.數據挖掘操作
數據挖掘操作的步驟如下：
(1) 打開數據挖掘操作界面：使用GUI框架載入數據挖掘軟件的Snapin插件并選擇“挖掘操作”以后，出現數據挖掘操作界面；
(2) 導入進行數據挖掘的數據；
(3) 屬性的選擇；
(4) 關聯屬性的設置；
(5) 目標屬性的設置；
(6) 最小置信度的設置；
(7) 數據挖掘操作：當關聯屬性、目標屬性和最小置信度設置好以后，就可以進行數據挖掘了，在菜單項中選擇“操作”-> “挖掘”就可以完成數據挖掘操作。
9.數據挖掘結果呈現
在數據挖掘操作中如有規則產生，就可以生成數據挖掘結果的各種報表，如圖3所示，在該報表中，可通過點擊“規則餅圖”、“規則箭頭圖”、“優化建議圖”、“最佳操作數”相關連接得到數據挖掘結果各種呈現辦法。
