數(shù)據(jù)接入服務(wù)（DIS）：數(shù)據(jù)接入服務(wù)（Data Ingestion Service）為處理或分析流數(shù)據(jù)的自定義應(yīng)用程序構(gòu)建數(shù)據(jù)流管道，主要解決云服務(wù)外的數(shù)據(jù)實(shí)時傳輸?shù)皆品?wù)內(nèi)的問題。數(shù)據(jù)接入服務(wù)每小時可從數(shù)十萬種數(shù)據(jù)源（如IoT數(shù)據(jù)采集、日志和定位追蹤事件、網(wǎng)...

近年來，我國密切關(guān)注農(nóng)業(yè)大數(shù)據(jù)的建立與發(fā)展。自2012年起，中國開始重點(diǎn)關(guān)注「智慧農(nóng)業(yè)」的發(fā)展并推出「精細(xì)農(nóng)業(yè)」技術(shù)；2016年，《「十三五」全國農(nóng)業(yè)農(nóng)村信息發(fā)展規(guī)劃》指出，要加快推動農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展，統(tǒng)籌推進(jìn)農(nóng)業(yè)農(nóng)村電子商務(wù)發(fā)展，創(chuàng)新流通方式，打造新業(yè)...

該方案的數(shù)據(jù)流向如下：物聯(lián)網(wǎng)平臺將設(shè)備上報(bào)的數(shù)據(jù)通過規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(wù)（DIS）。DIS使用對象存儲服務(wù)（OBS）作為中介，再將數(shù)據(jù)轉(zhuǎn)儲至MapReduce服務(wù)（MRS）。MRS從OBS獲取用戶定制的分析程序包，運(yùn)行程序分析數(shù)據(jù)，并保存分析結(jié)果（可...

設(shè)備接入服務(wù)：設(shè)備接入是華為OceanConnect物聯(lián)網(wǎng)平臺對海量設(shè)備進(jìn)行聯(lián)接、數(shù)據(jù)采集/轉(zhuǎn)發(fā)、遠(yuǎn)程控制的云服務(wù)。可實(shí)現(xiàn)海量設(shè)備與云端之間雙向通信連接、設(shè)備數(shù)據(jù)采集上云，支持上層應(yīng)用通過調(diào)用API遠(yuǎn)程控制設(shè)備，還提供了與華為云其他云服務(wù)無縫對接的規(guī)則引擎，可...

12.需要提供靈活的數(shù)據(jù)管理策略。一個大的系統(tǒng)，采集的數(shù)據(jù)種類繁多，而且除采集的原始數(shù)據(jù)外，還有大量的衍生數(shù)據(jù)。這些數(shù)據(jù)各自有不同的特點(diǎn)，有的采集頻次高，有的要求保留時間長，有的需要多個副本以保證更高的安全性，有的需要能快速訪問。因此物聯(lián)網(wǎng)大數(shù)據(jù)平臺必須提供多...

必須是實(shí)時處理的系統(tǒng)?；ヂ?lián)網(wǎng)大數(shù)據(jù)處理，大家所熟悉的場景是用戶畫像、推薦系統(tǒng)、輿情分析等等，這些場景并不需要什么實(shí)時性，批處理即可。但是對于物聯(lián)網(wǎng)場景，需要基于采集的數(shù)據(jù)做實(shí)時預(yù)警、決策，延時要控制在秒級以內(nèi)。如果計(jì)算沒有實(shí)時性，物聯(lián)網(wǎng)的商業(yè)價(jià)值就大打折扣。3...

高效分布式必須是高效的分布式系統(tǒng)。物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量巨大，中國而言，就有5億多臺智能電表，每臺電表每隔15分鐘采集一次數(shù)據(jù)，全國智能電表就會產(chǎn)生500多億條記錄。這么大的數(shù)據(jù)量，任何一臺服務(wù)器都無能力處理，因此處理系統(tǒng)必須是分布式的，水平擴(kuò)展的。為降低成本，一...

需要支持邊云協(xié)同。要有一套靈活的機(jī)制將邊緣計(jì)算節(jié)點(diǎn)的數(shù)據(jù)上傳到云端，根據(jù)具體需要，可以將原始數(shù)據(jù)，或加工計(jì)算后的數(shù)據(jù)，或**符合過濾條件的數(shù)據(jù)同步到云端，而且隨時可以取消，更改策略。16.需要單一的后臺管理系統(tǒng)。便于查看系統(tǒng)運(yùn)行狀態(tài)、管理集群、管理用戶、管理各...

8.需要保證數(shù)據(jù)能持續(xù)穩(wěn)定寫入。對于物聯(lián)網(wǎng)系統(tǒng)，數(shù)據(jù)流量往往是平穩(wěn)的，因此數(shù)據(jù)寫入所需要的資源往往是可以估算的。但是變化的是查詢、分析，特別是即席查詢，有可能耗費(fèi)很大的系統(tǒng)資源，不可控。因此系統(tǒng)必須保證分配足夠的資源以確保數(shù)據(jù)能夠?qū)懭胂到y(tǒng)而不被丟失。準(zhǔn)確的說，...

該方案的數(shù)據(jù)流向如下：物聯(lián)網(wǎng)平臺將設(shè)備上報(bào)的數(shù)據(jù)通過規(guī)則引擎功能轉(zhuǎn)發(fā)至數(shù)據(jù)接入服務(wù)（DIS）。DIS使用對象存儲服務(wù)（OBS）作為中介，再將數(shù)據(jù)轉(zhuǎn)儲至MapReduce服務(wù)（MRS）。MRS從OBS獲取用戶定制的分析程序包，運(yùn)行程序分析數(shù)據(jù)，并保存分析結(jié)果（可...

和歷史數(shù)據(jù)處理合二為一實(shí)時數(shù)據(jù)和歷史數(shù)據(jù)的處理要合二為一。實(shí)時數(shù)據(jù)在緩存里，歷史數(shù)據(jù)在持久化存儲介質(zhì)里，而且可能依據(jù)時長，保留在不同存儲介質(zhì)里。系統(tǒng)應(yīng)該隱藏背后的存儲，給用戶和應(yīng)用呈現(xiàn)的是同一個接口和界面。無論是訪問新采集的數(shù)據(jù)還是十年前的老數(shù)據(jù)，除輸入的時間...

人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)以及云計(jì)算，彼此之間皆存在著千絲萬縷的“親緣”關(guān)系??！半個多世紀(jì)的某個夏天，麥卡錫、明斯基等眾科學(xué)家們舉辦了一次Party，共同研究用機(jī)器模擬智能的問題，也是在那時，“人工智能(AI)”的理念正式被提出！人工智能（Artifici...

物聯(lián)網(wǎng)是一個很寬泛的概念，是指各種設(shè)備、機(jī)器都通過互聯(lián)網(wǎng)連接起來，車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等都屬于物聯(lián)網(wǎng)范疇。根據(jù)Gartner報(bào)告，聯(lián)網(wǎng)的設(shè)備在2019年已經(jīng)超過142億，預(yù)計(jì)2021年將達(dá)到250億，這是一個巨大的數(shù)量。毫無疑問，我們需要一個物聯(lián)網(wǎng)大數(shù)據(jù)平...

人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)以及云計(jì)算，彼此之間皆存在著千絲萬縷的“親緣”關(guān)系??！半個多世紀(jì)的某個夏天，麥卡錫、明斯基等眾科學(xué)家們舉辦了一次Party，共同研究用機(jī)器模擬智能的問題，也是在那時，“人工智能(AI)”的理念正式被提出！人工智能（Artifici...

14.系統(tǒng)必須支持異構(gòu)環(huán)境。大數(shù)據(jù)平臺的搭建是一個長期的工作，每個批次采購的服務(wù)器和存儲設(shè)備都會不一樣，系統(tǒng)必須支持各種檔次、各種不同配置的服務(wù)器和存儲設(shè)備并存。15.需要支持邊云協(xié)同。要有一套靈活的機(jī)制將邊緣計(jì)算節(jié)點(diǎn)的數(shù)據(jù)上傳到云端，根據(jù)具體需要，可以將原始...

高可靠性需要運(yùn)營商級別的高可靠服務(wù)。物聯(lián)網(wǎng)系統(tǒng)對接的往往是生產(chǎn)、經(jīng)營系統(tǒng)，如果數(shù)據(jù)處理系統(tǒng)宕機(jī)，直接導(dǎo)致停產(chǎn)，產(chǎn)生經(jīng)濟(jì)有損失、導(dǎo)致對終端消費(fèi)者的服務(wù)無法正常提供。比如智能電表，如果系統(tǒng)出問題，直接導(dǎo)致的是千家萬戶無法正常用電。因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)必須是高可靠的...

物聯(lián)網(wǎng)與大數(shù)據(jù)的結(jié)合點(diǎn)在哪呢？物聯(lián)網(wǎng)**值得發(fā)展的就是在人工智能的幫助下，可以為每一個人提供**適合的服務(wù)，讓每一個人都可以享受到**適合自己的物聯(lián)網(wǎng)服務(wù)。這就是所謂的私人訂制物聯(lián)網(wǎng)，是在大數(shù)據(jù)的基礎(chǔ)上發(fā)展而來的。人工智能出現(xiàn)在了各種行業(yè)之中，就連娛樂圈都已經(jīng)...

對象存儲服務(wù)：對象存儲服務(wù)（Object Storage Service，OBS）是一個基于對象的海量存儲服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力，包括：創(chuàng)建、修改、刪除桶，上傳、下載、刪除對象等。其中對象是OBS中數(shù)據(jù)存儲的基本單位，用戶上傳...

高可靠性需要運(yùn)營商級別的高可靠服務(wù)。物聯(lián)網(wǎng)系統(tǒng)對接的往往是生產(chǎn)、經(jīng)營系統(tǒng)，如果數(shù)據(jù)處理系統(tǒng)宕機(jī)，直接導(dǎo)致停產(chǎn)，產(chǎn)生經(jīng)濟(jì)有損失、導(dǎo)致對終端消費(fèi)者的服務(wù)無法正常提供。比如智能電表，如果系統(tǒng)出問題，直接導(dǎo)致的是千家萬戶無法正常用電。因此物聯(lián)網(wǎng)大數(shù)據(jù)系統(tǒng)必須是高可靠的...

在物聯(lián)網(wǎng)時代，數(shù)量龐大的“物”會產(chǎn)生PB級的海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理服務(wù)的處理速度已無法跟上數(shù)據(jù)產(chǎn)生的速度。如果沒法及時分析與利用這龐大的物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)，就無法將數(shù)據(jù)的價(jià)值比較大化，大數(shù)據(jù)分析能力的建設(shè)對物聯(lián)網(wǎng)企業(yè)來說又成為了一個新的挑戰(zhàn)。針對這種情況，大數(shù)據(jù)...

必須是實(shí)時處理的系統(tǒng)。互聯(lián)網(wǎng)大數(shù)據(jù)處理，大家所熟悉的場景是用戶畫像、推薦系統(tǒng)、輿情分析等等，這些場景并不需要什么實(shí)時性，批處理即可。但是對于物聯(lián)網(wǎng)場景，需要基于采集的數(shù)據(jù)做實(shí)時預(yù)警、決策，延時要控制在秒級以內(nèi)。如果計(jì)算沒有實(shí)時性，物聯(lián)網(wǎng)的商業(yè)價(jià)值就大打折扣。3...

11.即席分析和查詢需要支持即席分析和查詢。為提高大數(shù)據(jù)分析師的工作效率，系統(tǒng)應(yīng)該提供一命令行工具或容許用戶通過其他工具，執(zhí)行SQL查詢，而不是非要通過編程接口。查詢分析的結(jié)果可以很方便的導(dǎo)出，再制作成各種圖標(biāo)。12.靈活數(shù)據(jù)管理策略需要提供靈活的數(shù)據(jù)管理策略...

物聯(lián)網(wǎng)中的數(shù)據(jù)量更大：物聯(lián)網(wǎng)的主要特征之一是節(jié)點(diǎn)的海量性，bai除了人和服務(wù)器之外，物品、設(shè)備、傳感網(wǎng)等都是物聯(lián)網(wǎng)的組成節(jié)點(diǎn)，其數(shù)量規(guī)模遠(yuǎn)大于互聯(lián)網(wǎng);同時，物聯(lián)網(wǎng)節(jié)點(diǎn)的數(shù)據(jù)生成頻率遠(yuǎn)高于互聯(lián)網(wǎng)，如傳感節(jié)點(diǎn)多數(shù)處于全時工作狀態(tài)，數(shù)據(jù)流源源不斷。物聯(lián)網(wǎng)中的數(shù)...

對象存儲服務(wù)：對象存儲服務(wù)（Object Storage Service，OBS）是一個基于對象的海量存儲服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力，包括：創(chuàng)建、修改、刪除桶，上傳、下載、刪除對象等。其中對象是OBS中數(shù)據(jù)存儲的基本單位，用戶上傳...

物聯(lián)網(wǎng)與大數(shù)據(jù)的結(jié)合點(diǎn)在哪呢？物聯(lián)網(wǎng)**值得發(fā)展的就是在人工智能的幫助下，可以為每一個人提供**適合的服務(wù)，讓每一個人都可以享受到**適合自己的物聯(lián)網(wǎng)服務(wù)。這就是所謂的私人訂制物聯(lián)網(wǎng)，是在大數(shù)據(jù)的基礎(chǔ)上發(fā)展而來的。人工智能出現(xiàn)在了各種行業(yè)之中，就連娛樂圈都已經(jīng)...

需要支持?jǐn)?shù)據(jù)降頻、插值、特殊函數(shù)計(jì)算等操作。原始數(shù)據(jù)的采集可能頻次挺高，但具體分析時，往往不需要對原始收據(jù)進(jìn)行，而是數(shù)據(jù)降頻之后。系統(tǒng)需要提供高效的數(shù)據(jù)降頻操作。設(shè)備是很難同步的，不同設(shè)備采集數(shù)據(jù)的時間點(diǎn)是很難對齊的，因此分析一個特定時間點(diǎn)的值，往往需要插值才...

離線數(shù)據(jù)還有一些數(shù)據(jù)，對于實(shí)時性和有序性的要求都沒那么強(qiáng)，分析時數(shù)據(jù)已經(jīng)固化，我們稱之為離線數(shù)據(jù)。典型的離線數(shù)據(jù)包括產(chǎn)品銷量數(shù)據(jù)、景點(diǎn)游客數(shù)據(jù)等，應(yīng)用于統(tǒng)計(jì)分析，總結(jié)盤點(diǎn)等場景，例如，物聯(lián)網(wǎng)平臺將自動售貨機(jī)上報(bào)的**匯總后保存，然后定期使用大數(shù)據(jù)分析平臺分析*...

人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)以及云計(jì)算，彼此之間皆存在著千絲萬縷的“親緣”關(guān)系??！半個多世紀(jì)的某個夏天，麥卡錫、明斯基等眾科學(xué)家們舉辦了一次Party，共同研究用機(jī)器模擬智能的問題，也是在那時，“人工智能(AI)”的理念正式被提出！人工智能（Artifici...

高效分布式必須是高效的分布式系統(tǒng)。物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量巨大，中國而言，就有5億多臺智能電表，每臺電表每隔15分鐘采集一次數(shù)據(jù)，全國智能電表就會產(chǎn)生500多億條記錄。這么大的數(shù)據(jù)量，任何一臺服務(wù)器都無能力處理，因此處理系統(tǒng)必須是分布式的，水平擴(kuò)展的。為降低成本，一...

并通過3DGIS、BIM模型的運(yùn)維邏輯展示故障的上下游關(guān)聯(lián)及可能影響的范圍。在運(yùn)營管理數(shù)據(jù)的積累過程中，平臺采用大數(shù)據(jù)、人工智能分析技術(shù)，為運(yùn)營優(yōu)化提供數(shù)據(jù)預(yù)測、支持和決策參考，提升精細(xì)化運(yùn)營管理質(zhì)量，降低運(yùn)營成本。平臺通過信息化的手段覆蓋運(yùn)營管理的各個方面，...