數(shù)據(jù)采集設(shè)計(jì)會(huì)議紀(jì)要

時(shí)間：2022-07-06 03:37:53 會(huì)議紀(jì)要我要投稿

相關(guān)推薦

　　主要思路

數(shù)據(jù)采集設(shè)計(jì)會(huì)議紀(jì)要

　　1. 數(shù)據(jù)的分析整理主要放在客戶端實(shí)現(xiàn)，以減少服務(wù)端的壓力;

　　2. 服務(wù)端主要以組裝和轉(zhuǎn)存實(shí)現(xiàn)為主。

　　服務(wù)端：

　　1. 處理步驟

　　(1)Socket監(jiān)聽(tīng)端口

　　(2)接收數(shù)據(jù)

　　(3)處理數(shù)據(jù)

　　2. 主要問(wèn)題

　　(1)多線程

　　每個(gè)數(shù)據(jù)傳輸啟動(dòng)一個(gè)線程，做好線程管理;

　　要考慮穩(wěn)定性，避免內(nèi)存泄露。

　　(2)大數(shù)據(jù)量數(shù)據(jù)庫(kù)更新

　　通過(guò)塊提交提高數(shù)據(jù)庫(kù)轉(zhuǎn)存性能，縮短轉(zhuǎn)存時(shí)間;

　　考慮如何避免庫(kù)鎖。

　　客戶端：

　　1. 設(shè)備數(shù)據(jù)傳輸

　　(1)設(shè)備數(shù)據(jù)文件內(nèi)容變化判斷

　　設(shè)備數(shù)據(jù)的分析處理很費(fèi)時(shí)間，每次傳輸數(shù)據(jù)時(shí)都要對(duì)設(shè)備數(shù)據(jù)文件進(jìn)行分析壓力很大。考慮到設(shè)備數(shù)據(jù)變化的概率很小，但有的廠家不管設(shè)備數(shù)據(jù)變沒(méi)變，都要生成新的設(shè)備數(shù)據(jù)文件，所以要開(kāi)發(fā)一個(gè)文件變化快速比較功能;

　　方法有：一是特征碼比較;二是轉(zhuǎn)換成ASCII比較;三是轉(zhuǎn)換成二進(jìn)制或十六進(jìn)制比較;四是轉(zhuǎn)換成MD5碼比較。

　　2. 實(shí)時(shí)數(shù)據(jù)傳輸

　　(1)字典表

　　客戶端取得字典表，進(jìn)行數(shù)據(jù)分析。

　　(2)數(shù)據(jù)比較

　　通過(guò)數(shù)據(jù)庫(kù)臨時(shí)表，比較得出新增和修改的數(shù)據(jù)。

　　3. 數(shù)據(jù)傳輸過(guò)程中，數(shù)據(jù)丟失驗(yàn)證

　　下一步計(jì)劃：

　　1. 數(shù)采開(kāi)發(fā)周期一個(gè)半月;

　　2. 進(jìn)行設(shè)計(jì)評(píng)審;

　　3. 數(shù)采客戶端DotNet實(shí)現(xiàn)，xxx負(fù)責(zé);

　　4. 數(shù)采服務(wù)端Java實(shí)現(xiàn)，xxx負(fù)責(zé)。