▲圖2***代離線計算平臺架構(gòu)第二代架構(gòu)從2012～2014年，在承載離線計算的基礎(chǔ)上，擴展了平臺能力，支持實時計算的需求，如圖3所示?！鴪D3第二代實時計算平臺架構(gòu)在***代離線計算平臺基礎(chǔ)之上，我們?nèi)诤蟂torm和Spark構(gòu)建了第二代實時計算平臺。主要的演進如下。1）集成Spark，離線計算比Hadoop性能更高。2）引入Storm，支持秒級/毫秒級的流式計算任務(wù)。3）建設(shè)了實時采集系統(tǒng)TDBank，數(shù)據(jù)采集實現(xiàn)從天級（T+1）到秒級的飛躍。4）支持資源和任務(wù)調(diào)度方面，平臺支持離線與在線混合部署，任務(wù)容器化，資源管理的維度支持CPU、內(nèi)存，以及網(wǎng)絡(luò)與I/O，進一步提升了平臺輕量化、敏捷性與靈活性，極大提升了平臺利用率，降低了成本。第三代架構(gòu)從2015～2019年，在通用大數(shù)據(jù)計算外，開始支持機器學(xué)習(xí)、深度學(xué)習(xí)等AI場景，BigData與AI在平臺層面逐步融合，如圖4所示?！鴪D4第三代機器學(xué)習(xí)計算平臺在第二代實時計算平臺基礎(chǔ)上，自主研發(fā)了機器學(xué)習(xí)平臺Angel，并以Angel為**構(gòu)建第三代機器學(xué)習(xí)計算平臺生態(tài)。主要演進如下。1）我們與北京大學(xué)合作，自主研發(fā)了高性能分布式機器學(xué)習(xí)平臺。該平臺支持十億至百億維度模型，支持數(shù)據(jù)并行及模型并行，支持在線訓(xùn)練。同時。數(shù)據(jù)采集的結(jié)果可以用于制定營銷策略、產(chǎn)品研發(fā)和業(yè)務(wù)決策。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)

    ?線上行為數(shù)據(jù)：頁面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會話數(shù)據(jù)等。?內(nèi)容數(shù)據(jù)：應(yīng)用日志、電子文檔、機械數(shù)據(jù)、話音數(shù)據(jù)、社交傳媒數(shù)據(jù)等。?大數(shù)據(jù)的主要來源：1）商貿(mào)數(shù)據(jù)2）互聯(lián)網(wǎng)數(shù)據(jù)3）傳感器數(shù)據(jù)數(shù)據(jù)采集與大數(shù)據(jù)采集區(qū)別傳統(tǒng)數(shù)據(jù)采集1.來源單一，數(shù)據(jù)量相對于大數(shù)據(jù)較小2.構(gòu)造單一3.聯(lián)系數(shù)據(jù)庫和并行數(shù)據(jù)儲藏室大數(shù)據(jù)的數(shù)據(jù)采集1.來源普遍，數(shù)據(jù)量龐大2.數(shù)據(jù)種類豐沛，包括結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化3.分布式數(shù)據(jù)庫傳統(tǒng)數(shù)據(jù)收集的缺乏傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲、管理和分析數(shù)據(jù)量也相對較小，大都使用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)庫房即可處置。對倚賴并行測算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫技術(shù)追求高度一致性和容錯性，根據(jù)CAP學(xué)說，難以確保其可用性和擴展性。大數(shù)據(jù)搜集新的方式?系統(tǒng)日志采集方式很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用以系統(tǒng)日志收集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均使用分布式架構(gòu)，能滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需要。?網(wǎng)絡(luò)數(shù)據(jù)采集方式網(wǎng)絡(luò)數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方法從網(wǎng)站上得到數(shù)據(jù)信息。該方式可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來。南通數(shù)據(jù)數(shù)據(jù)采集怎么收費數(shù)據(jù)采集的結(jié)果可以通過數(shù)據(jù)分析和可視化工具來展示和解釋，以幫助人們更好地理解數(shù)據(jù)。

    方案三：第三版解決方案的問世是神策針對第二版方案持續(xù)完善、迭代的結(jié)果。假設(shè)場景如下，某App內(nèi)基層H5的開發(fā)者是第三方供應(yīng)商。在這個情況下，會產(chǎn)生以下兩個問題：（1）第三方供應(yīng)商不是神策的客戶，沒法實現(xiàn)數(shù)據(jù)采集，更沒辦法完成“打通”；（2）第三方供應(yīng)商是神策的客戶，此時App與H5可以實現(xiàn)真正打通，但很多情況下會被迫收到很多不需要的數(shù)據(jù)，我們叫“臟數(shù)據(jù)”，而H5的供應(yīng)商則會發(fā)現(xiàn)他們無法采集到完整數(shù)據(jù)，很多事件“莫名其妙”地丟了……這是因為App與H5打通后，H5的事件默認傳給了App。因此，在這種情況下，我們需要對更多的細節(jié)進行考慮，通過H5給App白名單的形式，實現(xiàn)H5的向App的事件上傳。這個時候，我們就會面臨新的場景需求，第三方供應(yīng)商答應(yīng)把數(shù)據(jù)傳給App，但是自己也要求保留一份。綜合來看，App與H5的打通看起來是一個比較常見的場景，但在執(zhí)行的過程中往往面臨較多挑戰(zhàn)。從2016年到***，面對App和H5的打通，我們一直在更新迭代中，目的是為了能夠適應(yīng)各種復(fù)雜的場景，特別是涉及第三方開發(fā)框架、第三方瀏覽器等的“打通”。案例二：App啟動與退出啟動什么叫“App啟動”？有人說，使用App即“App啟動”，那如果使用音樂播放器。

    也正是堅守于此，過去五年，不論是在數(shù)據(jù)采集技術(shù)，還是數(shù)據(jù)治理方案等方面，我們都做了很多的工作，也幫助了很多的客戶。比如我們建立強大的數(shù)據(jù)采集SDK研發(fā)團隊，并將SDK全部開源，也維護著近1500人的開源討論社群，同時不斷向業(yè)界輸出我們的積累、經(jīng)驗和沉淀，讓數(shù)據(jù)采集技術(shù)不再神秘，更讓數(shù)據(jù)采集技術(shù)的生態(tài)更好、更健康的向前發(fā)展。二、業(yè)內(nèi)常見的數(shù)據(jù)采集方案目前，市面上常見的埋點方式主要有三種：代碼埋點、全埋點和可視化埋點。1.代碼埋點代碼埋點，即客戶端集成SDK，在客戶端啟動的時候初始化SDK，然后在某個事件（行為）發(fā)生時，客戶端顯示調(diào)用SDK的接口觸發(fā)相應(yīng)的事件。代碼埋點，是**常見的埋點方式，同時也是“*****”的埋點方式。其優(yōu)點如下：（1）可以精細控制埋點；（2）可以靈活添加自定義事件和屬性；（3）可以滿足更精細化的分析需求。同時，代碼埋點也有一些缺點：（1）前期埋點代價比較大；（2）埋點的變更，需要伴隨客戶端的發(fā)版。2.全埋點全埋點，也叫無埋點、**埋點、無痕埋點、自動埋點等，是指無需開發(fā)工程師寫代碼或者只寫少量的代碼，就能預(yù)先自動采集用戶的所有行為數(shù)據(jù)，然后在數(shù)據(jù)分析產(chǎn)品上通過點選和配置，來篩選要分析和統(tǒng)計的對象。數(shù)據(jù)采集為企業(yè)提供了客觀、準確的信息，幫助其做出更明智的決策，實現(xiàn)可持續(xù)發(fā)展。

    一.什么是產(chǎn)品定位通常我們講定位時，可能涵蓋3種意思。坐標，當前所處的位置。方向，指想要去的地方。聲明，對定位的具體描述。在定位前加上“產(chǎn)品”，也有其3種意思。該產(chǎn)品在不同維度中（例如價格和市場、對象和業(yè)務(wù)等）的市場位置。確定該產(chǎn)品的發(fā)展方向，以及如何發(fā)展。對該產(chǎn)品定位的文字描述和解釋。二.為什么做SaaS定位概念弄清楚后，我們來看看為什么要做SaaS產(chǎn)品的定位。認清現(xiàn)實基于現(xiàn)實考量，清晰認識自己和市場。任何產(chǎn)品都無法滿足所有的人，也不是所有客戶都有利可圖。對于大多團隊來說，資源永遠有限且緊張，只有明確方向，才能集中力量辦大事?？傆胁蝗缢说牡胤?，要想生存和發(fā)展，需要明確自己的強項和優(yōu)勢。處理階段問題對于SaaS產(chǎn)品，不同的階段需要解決不同的問題。在初創(chuàng)期，通常沒有或擁有很少的客戶。此時的定位，是幫助我們?nèi)绾吻腥胧袌?，以便能夠存活下去。到發(fā)展期，擁有了一定的客戶基礎(chǔ)。此時的定位，是通過明確價值主張來吸引到更多的目標客戶。至擴展期，擁有了大量的客戶。此時的定位，是指導(dǎo)企業(yè)如何進行縱向的發(fā)展（提供更***的產(chǎn)品解決方案）和橫向的發(fā)展（在價值頻段上服務(wù)不同的客戶群體）。錨定內(nèi)外心智是什么很重要。數(shù)據(jù)采集可以幫助企業(yè)識別和解決問題，提高業(yè)務(wù)流程的效率和質(zhì)量。溫州企業(yè)數(shù)據(jù)采集方案

通過數(shù)據(jù)采集，企業(yè)可以更好地了解市場需求、客戶行為和競爭對手情況。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)

    ②計算變量：計算變量的目的是調(diào)用決策引擎；③調(diào)用決策引擎：部署有催收策略；④確定催收策略：將變量傳給決策引擎后，決策引擎會返回確定的催收策略。產(chǎn)生“是否催收、自己催or外包、如何催、分配給哪位催收員、什么時候打電話、用哪個溝通模板”等類型風(fēng)險決策；⑤分配催收任務(wù)：根據(jù)案件催收難度分配給不同催收員；⑥記錄催收結(jié)果：將催收結(jié)果進行歸類，如：失聯(lián)、無人接聽、占線、承諾還款等。四、征信平臺系統(tǒng)策略和模型的基礎(chǔ)是數(shù)據(jù)，數(shù)據(jù)分為內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)，調(diào)用外部數(shù)據(jù)就是由征信平臺系統(tǒng)進行。**功能模塊：調(diào)用、解析、征信數(shù)據(jù)庫①調(diào)用：將客戶參數(shù)調(diào)用傳給外部數(shù)據(jù)源相關(guān)機構(gòu)，如：人行征信報告、百行征信報告、NCIIC等，相關(guān)**以封裝加密形式返回，返回的數(shù)據(jù)一般包括客戶的個人工作單位、婚姻、學(xué)歷、***開卡、還款情況等；②解析：解析有兩層功能含義，一是***返回的數(shù)據(jù)，二是將文本串信息進行標準化，使數(shù)據(jù)變成能夠在標準數(shù)據(jù)庫中存儲的形式；③征信數(shù)據(jù)庫：儲存解析好的征信數(shù)據(jù)。五、決策引擎系統(tǒng)它是一種基于特地業(yè)務(wù)場景開發(fā)的定制引擎，中間充當一個變量計算和決策判斷的功能，以“處理變量然后輸出變量”的方式將風(fēng)控決策落地。泰州企業(yè)數(shù)據(jù)采集二次開發(fā)