圍繞規(guī)劃、系統(tǒng)與實(shí)施三個(gè)**階段工作，面向運(yùn)維數(shù)據(jù)的全生命周期與業(yè)務(wù)導(dǎo)向結(jié)果，從數(shù)據(jù)的整體規(guī)劃、運(yùn)維數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)的計(jì)算與處理、指標(biāo)管理體系的規(guī)劃與實(shí)施、專業(yè)運(yùn)維數(shù)據(jù)庫(kù)的建立、數(shù)據(jù)的典型應(yīng)用場(chǎng)景等多角度進(jìn)行思考。但需要正視的是我們對(duì)運(yùn)維數(shù)據(jù)的認(rèn)識(shí)及應(yīng)用還處于皮毛階段，雖有理念但缺乏必要的、可執(zhí)行的方法。隨著運(yùn)維數(shù)據(jù)平臺(tái)的建設(shè)，將極有可能出現(xiàn)當(dāng)前大數(shù)據(jù)領(lǐng)域出現(xiàn)的數(shù)據(jù)孤島、數(shù)據(jù)不可用、數(shù)據(jù)質(zhì)量不高、融合應(yīng)用難、有數(shù)據(jù)不會(huì)用等諸多問(wèn)題。上述問(wèn)題，在當(dāng)前運(yùn)維領(lǐng)域資源投入不足時(shí)顯得尤其重要。借鑒大數(shù)據(jù)領(lǐng)域數(shù)據(jù)治理的經(jīng)驗(yàn)，反思運(yùn)維數(shù)據(jù)平臺(tái)建設(shè)應(yīng)該關(guān)注的問(wèn)題，減少不必要的坑，做好運(yùn)維數(shù)據(jù)治理，讓運(yùn)維數(shù)據(jù)更好用、用得更好，完善運(yùn)維數(shù)字化工作空間。在運(yùn)維領(lǐng)域，運(yùn)維數(shù)據(jù)分布在大量的機(jī)器、軟件和“監(jiān)管控析”工具上，除了上面大數(shù)據(jù)領(lǐng)域提到的數(shù)據(jù)孤島、質(zhì)量不高、數(shù)據(jù)不可知、數(shù)據(jù)服務(wù)不夠的痛點(diǎn)外，運(yùn)維數(shù)據(jù)還有以下突出痛點(diǎn)：一、資源投入不夠。從組織的定位看，運(yùn)維屬于企業(yè)后臺(tái)中的后臺(tái)部門。數(shù)據(jù)采集是現(xiàn)代企業(yè)成功的關(guān)鍵因素之一，它提供了有關(guān)客戶、市場(chǎng)和業(yè)務(wù)運(yùn)營(yíng)的寶貴信息?；茨媳镜?cái)?shù)據(jù)采集哪個(gè)好

    ▲圖2***代離線計(jì)算平臺(tái)架構(gòu)第二代架構(gòu)從2012～2014年，在承載離線計(jì)算的基礎(chǔ)上，擴(kuò)展了平臺(tái)能力，支持實(shí)時(shí)計(jì)算的需求，如圖3所示。▲圖3第二代實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)在***代離線計(jì)算平臺(tái)基礎(chǔ)之上，我們?nèi)诤蟂torm和Spark構(gòu)建了第二代實(shí)時(shí)計(jì)算平臺(tái)。主要的演進(jìn)如下。1）集成Spark，離線計(jì)算比Hadoop性能更高。2）引入Storm，支持秒級(jí)/毫秒級(jí)的流式計(jì)算任務(wù)。3）建設(shè)了實(shí)時(shí)采集系統(tǒng)TDBank，數(shù)據(jù)采集實(shí)現(xiàn)從天級(jí)（T+1）到秒級(jí)的飛躍。4）支持資源和任務(wù)調(diào)度方面，平臺(tái)支持離線與在線混合部署，任務(wù)容器化，資源管理的維度支持CPU、內(nèi)存，以及網(wǎng)絡(luò)與I/O，進(jìn)一步提升了平臺(tái)輕量化、敏捷性與靈活性，極大提升了平臺(tái)利用率，降低了成本。第三代架構(gòu)從2015～2019年，在通用大數(shù)據(jù)計(jì)算外，開(kāi)始支持機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等AI場(chǎng)景，BigData與AI在平臺(tái)層面逐步融合，如圖4所示。▲圖4第三代機(jī)器學(xué)習(xí)計(jì)算平臺(tái)在第二代實(shí)時(shí)計(jì)算平臺(tái)基礎(chǔ)上，自主研發(fā)了機(jī)器學(xué)習(xí)平臺(tái)Angel，并以Angel為**構(gòu)建第三代機(jī)器學(xué)習(xí)計(jì)算平臺(tái)生態(tài)。主要演進(jìn)如下。1）我們與北京大學(xué)合作，自主研發(fā)了高性能分布式機(jī)器學(xué)習(xí)平臺(tái)。該平臺(tái)支持十億至百億維度模型，支持?jǐn)?shù)據(jù)并行及模型并行，支持在線訓(xùn)練。同時(shí)。鎮(zhèn)江數(shù)據(jù)采集訂制價(jià)格數(shù)據(jù)采集需要進(jìn)行數(shù)據(jù)清洗和處理，以確保數(shù)據(jù)的準(zhǔn)確性和可靠性。

    數(shù)據(jù)端到端的延遲在數(shù)秒之內(nèi)；3）兼容Windows平臺(tái)的幾乎所有軟件（C/S,B/S）；作為數(shù)據(jù)挖掘，大數(shù)據(jù)分析的基礎(chǔ)；4）自動(dòng)建立數(shù)據(jù)間關(guān)聯(lián)；5）配置簡(jiǎn)單、實(shí)施周期短；6）支持自動(dòng)導(dǎo)入歷史數(shù)據(jù)。目前，由于數(shù)據(jù)采集融合技術(shù)的缺失，往往依靠各軟件原廠商研發(fā)數(shù)據(jù)接口才能實(shí)現(xiàn)數(shù)據(jù)互通，不僅需要投入大量的時(shí)間、精力與資金，還可能因?yàn)橄到y(tǒng)開(kāi)發(fā)團(tuán)隊(duì)解體、源代碼丟失等原因出現(xiàn)的死局，導(dǎo)致了數(shù)據(jù)采集融合實(shí)現(xiàn)難度極大。在如此急迫的需求環(huán)境下基于底層數(shù)據(jù)交換的數(shù)據(jù)直接采集方式應(yīng)運(yùn)而生，從各式各樣的軟件系統(tǒng)中開(kāi)采數(shù)據(jù)，源源不斷獲取所需的精細(xì)、實(shí)時(shí)的數(shù)據(jù)，自動(dòng)建立數(shù)據(jù)關(guān)聯(lián)，輸出利用率極高的結(jié)構(gòu)化數(shù)據(jù)，讓數(shù)據(jù)有序、安全、可控的流動(dòng)到所需要的企業(yè)和用戶當(dāng)中，讓不同系統(tǒng)的數(shù)據(jù)源實(shí)現(xiàn)聯(lián)動(dòng)流通，為客戶提供決策支持、提高運(yùn)營(yíng)效率、產(chǎn)生經(jīng)濟(jì)價(jià)值。

    關(guān)于作者：胡典鋼，***工業(yè)物聯(lián)網(wǎng)**，順豐物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)人，兼任順豐集團(tuán)職業(yè)發(fā)展評(píng)審委員和ZETA聯(lián)盟工業(yè)物聯(lián)網(wǎng)高級(jí)顧問(wèn)，負(fù)責(zé)順豐物聯(lián)網(wǎng)平臺(tái)建設(shè)及產(chǎn)品化工作。在物聯(lián)網(wǎng)、邊緣計(jì)算、工業(yè)大數(shù)據(jù)領(lǐng)域從業(yè)10余年，有豐富的實(shí)踐經(jīng)驗(yàn)。歷任NI公司應(yīng)用工程師、高級(jí)應(yīng)用工程師、大區(qū)銷售經(jīng)理，兼任GSDZone社區(qū)專欄作者和海南大學(xué)校外**，NI（中國(guó)）**認(rèn)證雙架構(gòu)師——LabVIEW架構(gòu)師和TestStand架構(gòu)師，主導(dǎo)大型工業(yè)自動(dòng)化測(cè)試控制和工業(yè)物聯(lián)網(wǎng)項(xiàng)目的開(kāi)發(fā)工作。2016年受邀撰寫專著《TestStand工業(yè)自動(dòng)化測(cè)試管理》，廣受業(yè)界好評(píng)，多次重印。本文摘編自《工業(yè)物聯(lián)網(wǎng)：平臺(tái)架構(gòu)、關(guān)鍵技術(shù)與應(yīng)用實(shí)踐》，經(jīng)出版方授權(quán)發(fā)布。（ISBN：978-7-111-70227-6）延伸閱讀《工業(yè)物聯(lián)網(wǎng)》點(diǎn)擊上圖了解及購(gòu)買轉(zhuǎn)載請(qǐng)聯(lián)系微信：DoctorData推薦語(yǔ)：這是一本從平臺(tái)架構(gòu)、關(guān)鍵技術(shù)、應(yīng)用實(shí)踐3個(gè)維度***講解工業(yè)物聯(lián)網(wǎng)如何在生產(chǎn)實(shí)踐中落地的著作。它是順豐物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)人10余年經(jīng)驗(yàn)的總結(jié)，得到了行業(yè)里近10位**的一致推薦。通過(guò)數(shù)據(jù)采集，企業(yè)可以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的決策，提高管理決策的準(zhǔn)確性和效率。

    是構(gòu)建數(shù)據(jù)孿生的關(guān)鍵，而已經(jīng)存在于數(shù)字世界中的那些分散、異構(gòu)信息，可通過(guò)“軟感知”能力來(lái)利用。目前“軟感知”比較成熟，并隨著數(shù)字原生企業(yè)的崛起而得到了***的應(yīng)用。（1）埋點(diǎn)埋點(diǎn)是數(shù)據(jù)采集領(lǐng)域，尤其是用戶行為數(shù)據(jù)采集領(lǐng)域的術(shù)語(yǔ)，指的是針對(duì)特定用戶行為或事件進(jìn)行捕獲的相關(guān)技術(shù)。埋點(diǎn)的技術(shù)實(shí)質(zhì)，是**應(yīng)用運(yùn)行過(guò)程中的事件，當(dāng)需要關(guān)注的事件發(fā)生時(shí)進(jìn)行判斷和捕獲。埋點(diǎn)的主要作用是能夠幫助業(yè)務(wù)和數(shù)據(jù)分析人員打通固有信息墻，為了解用戶交互行為、擴(kuò)寬用戶信息和前移運(yùn)營(yíng)機(jī)會(huì)提供數(shù)據(jù)支撐。在產(chǎn)品數(shù)據(jù)分析的初級(jí)階段，業(yè)務(wù)人員通過(guò)自有或第三方的數(shù)據(jù)統(tǒng)計(jì)平臺(tái)了解App用戶訪問(wèn)的數(shù)據(jù)指標(biāo)，包括新增用戶數(shù)、活躍用戶數(shù)等。這些指標(biāo)能幫助企業(yè)宏觀地了解用戶訪問(wèn)的整體情況和趨勢(shì)，從總體上把握產(chǎn)品的運(yùn)營(yíng)狀況，通過(guò)分析埋點(diǎn)獲取的數(shù)據(jù)，制定產(chǎn)品改進(jìn)策略。埋點(diǎn)技術(shù)在當(dāng)前主要有以下幾類，每一類都有自己獨(dú)特的優(yōu)缺點(diǎn)，可以基于業(yè)務(wù)的需求，匹配使用。代碼埋點(diǎn)是目前比較主流的埋點(diǎn)方式，業(yè)務(wù)人員根據(jù)自己的統(tǒng)計(jì)需求選擇需要埋點(diǎn)的區(qū)域及埋點(diǎn)方式，形成詳細(xì)的埋點(diǎn)方案，由技術(shù)人員手工將這些統(tǒng)計(jì)代碼添加在想要獲取數(shù)據(jù)的統(tǒng)計(jì)點(diǎn)上。數(shù)據(jù)采集可以通過(guò)各種手段實(shí)現(xiàn)，包括調(diào)查問(wèn)卷、網(wǎng)絡(luò)爬蟲(chóng)、傳感器等。宿遷靠譜的數(shù)據(jù)采集售價(jià)

數(shù)據(jù)采集需要根據(jù)不同的業(yè)務(wù)需求和目標(biāo)進(jìn)行定制化設(shè)計(jì)。淮南本地?cái)?shù)據(jù)采集哪個(gè)好

    導(dǎo)讀：工業(yè)物聯(lián)網(wǎng)感知層作為物理世界與數(shù)字世界的橋梁，是數(shù)據(jù)的***入口?，F(xiàn)實(shí)情況下，由于感知層數(shù)據(jù)來(lái)源非常多樣，來(lái)自各種多源異構(gòu)設(shè)備和系統(tǒng)，因此如何從這些設(shè)備和系統(tǒng)中獲取數(shù)據(jù)，是工業(yè)物聯(lián)網(wǎng)面臨的***道門檻。在工業(yè)領(lǐng)域，感知即通常所說(shuō)的工業(yè)數(shù)據(jù)采集。作者：胡典鋼來(lái)源：大數(shù)據(jù)DT（ID：hzdashuju）01工業(yè)數(shù)據(jù)采集的范圍工業(yè)數(shù)據(jù)采集利用泛在感知技術(shù)對(duì)多源異構(gòu)設(shè)備和系統(tǒng)、環(huán)境、人員等一切要素信息進(jìn)行采集，并通過(guò)一定的接口與協(xié)議對(duì)采集的數(shù)據(jù)進(jìn)行解析。信息可能來(lái)自加裝的物理傳感器，也可能來(lái)自裝備與系統(tǒng)本身?！吨悄苤圃旃こ虒?shí)施指南（2016—2020）》將智能傳感與控制裝備作為關(guān)鍵技術(shù)裝備研制重點(diǎn)；針對(duì)智能制造提出了“體系架構(gòu)、互聯(lián)互通和互操作、現(xiàn)場(chǎng)總線和工業(yè)以太網(wǎng)融合、工業(yè)傳感器網(wǎng)絡(luò)、工業(yè)無(wú)線、工業(yè)網(wǎng)關(guān)通信協(xié)議和接口等網(wǎng)絡(luò)標(biāo)準(zhǔn)”，并指出：“針對(duì)智能制造感知、控制、決策和執(zhí)行過(guò)程中面臨的數(shù)據(jù)采集、數(shù)據(jù)集成、數(shù)據(jù)計(jì)算分析等方面存在的問(wèn)題，開(kāi)展信息物理系統(tǒng)的頂層設(shè)計(jì)?！边@里面蘊(yùn)含兩方面信息：一是工業(yè)數(shù)據(jù)采集是智能制造和工業(yè)物聯(lián)網(wǎng)的基礎(chǔ)和先決條件，后續(xù)的數(shù)據(jù)分析處理依賴于前端的感知。淮南本地?cái)?shù)據(jù)采集哪個(gè)好