新乐界娱乐城-象棋赌博网-博彩导航天天返水

香港中文大學(xué)（深圳）崔曙光教授的研究團(tuán)隊(duì)近日在國(guó)際頂級(jí)期刊《美國(guó)國(guó)家科學(xué)院院刊》（Proceedings of the National Academy of Sciences）發(fā)表研究論文，提出了高效通信的聯(lián)邦學(xué)習(xí)算法從而實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)在無(wú)線(xiàn)蜂窩網(wǎng)絡(luò)中的部署。本項(xiàng)研究的合作者包括：本·古里安大學(xué)Nir Shlezinger、魏茨曼科學(xué)研究學(xué)院Yonina Eldar、普林斯頓大學(xué)H.Vincent Poor。崔曙光教授和H. Vincent Poor共為本文的通訊作者。

點(diǎn)擊圖片，閱讀全文

?

關(guān)于文章

邊緣設(shè)備，如物聯(lián)網(wǎng)設(shè)備（傳感器）、服務(wù)器和機(jī)構(gòu)（醫(yī)院）能夠用聯(lián)邦學(xué)習(xí)協(xié)作訓(xùn)練機(jī)器學(xué)習(xí)模型。在訓(xùn)練過(guò)程中，邊緣設(shè)備無(wú)需共享其私人數(shù)據(jù)。然而，在聯(lián)邦學(xué)習(xí)的訓(xùn)練過(guò)程中，邊緣設(shè)備需要迭代交換它們的機(jī)器學(xué)習(xí)模型參數(shù)。因此，利用聯(lián)邦學(xué)習(xí)訓(xùn)練可靠的機(jī)器學(xué)習(xí)模型所需的時(shí)間不僅取決于訓(xùn)練的迭代次數(shù)，還取決于每一步的機(jī)器模型參數(shù)的傳輸時(shí)間。在實(shí)際應(yīng)用中，多個(gè)運(yùn)行聯(lián)邦學(xué)習(xí)的邊緣設(shè)備需要通過(guò)資源受限（帶寬或功率受限）的通信網(wǎng)絡(luò)傳輸訓(xùn)練的機(jī)器學(xué)習(xí)模型參數(shù)。因此，邊緣設(shè)備的迭代傳輸機(jī)器學(xué)習(xí)模型 參數(shù)會(huì)引起顯著的時(shí)延。該時(shí)延可能要比機(jī)器學(xué)習(xí)模型的訓(xùn)練時(shí)間大幾個(gè)數(shù)量級(jí)。因此，機(jī)器學(xué)習(xí)模型傳輸時(shí)延是在無(wú)線(xiàn)蜂窩網(wǎng)絡(luò)中部署聯(lián)邦學(xué)習(xí)的主要瓶頸之一。崔教授團(tuán)隊(duì)提出了一種通信高效的聯(lián)邦學(xué)習(xí)算法。該算法能夠能夠合理地運(yùn)用無(wú)線(xiàn)網(wǎng)絡(luò)資源從而降低了聯(lián)邦學(xué)習(xí)的收斂時(shí)間和訓(xùn)練損失。

崔教授團(tuán)隊(duì)主要對(duì)聯(lián)邦學(xué)習(xí)算法中邊緣設(shè)備的選擇，需要傳輸?shù)臋C(jī)器學(xué)習(xí)模型參數(shù)的壓縮，無(wú)線(xiàn)網(wǎng)絡(luò)中的頻譜資源的分配進(jìn)行優(yōu)化。首先，針對(duì)需要傳輸機(jī)器學(xué)習(xí)模型參數(shù)的邊緣設(shè)備數(shù)遠(yuǎn)大于網(wǎng)絡(luò)能夠支持的通信設(shè)備數(shù)，崔教授團(tuán)隊(duì)設(shè)計(jì)了一種隨機(jī)邊緣設(shè)備選擇方案。該方案根據(jù)用戶(hù)與基站的距離以及對(duì)聯(lián)邦學(xué)習(xí)參數(shù)更新的歷史貢獻(xiàn)決定邊緣設(shè)備的接入概率，不僅保證了每個(gè)邊緣設(shè)備都能參與聯(lián)邦學(xué)習(xí)訓(xùn)練，還降低了聯(lián)邦學(xué)習(xí)的收斂時(shí)間和訓(xùn)練損失。

圖1. 聯(lián)邦學(xué)習(xí)用于手寫(xiě)字體識(shí)別（左圖）。在不同允許接入的設(shè)備數(shù)下，聯(lián)邦學(xué)習(xí)的收斂速度（右圖）

為了進(jìn)一步減少聯(lián)邦學(xué)習(xí)算法的收斂時(shí)間，崔教授團(tuán)隊(duì)根據(jù)聯(lián)系學(xué)習(xí)算法的特點(diǎn)，1）邊緣設(shè)備無(wú)法完全了解自己的聯(lián)邦學(xué)習(xí)模型參數(shù)的分布，2）中心服務(wù)器與邊緣設(shè)備需要反復(fù)通信，提出了利用通用矢量量化方法對(duì)需要傳輸?shù)臋C(jī)器學(xué)習(xí)模型參數(shù)進(jìn)行壓縮的算法，從而減少了邊緣設(shè)備之間需要交換的模型參數(shù)量值。通過(guò)理論分析與實(shí)驗(yàn)驗(yàn)證發(fā)現(xiàn)，所提出的量化方法能夠大大降低量化與噪聲對(duì)學(xué)習(xí)模型帶來(lái)的誤差。

圖2.?聯(lián)邦學(xué)習(xí)采用不用量化方法的性能對(duì)比.

教師簡(jiǎn)介

崔曙光教授，國(guó)家重點(diǎn)研發(fā)計(jì)劃首席科學(xué)家，全球高被引學(xué)者，IEEE Fellow，深圳市杰出人才培養(yǎng)計(jì)劃首批入選人。崔教授于2005年在美國(guó)斯坦福大學(xué)獲得博士學(xué)位，先后在UC Davis等多所美國(guó)大學(xué)任教至講座教授。現(xiàn)任香港中文大學(xué)（深圳）冠名校長(zhǎng)講座教授、未來(lái)智聯(lián)網(wǎng)絡(luò)研究院院長(zhǎng)、港中深-京東集團(tuán)人工智能聯(lián)合實(shí)驗(yàn)室主任，深圳市大數(shù)據(jù)研究院常務(wù)副院長(zhǎng)。

崔教授的科研成果主要集中在數(shù)據(jù)驅(qū)動(dòng)、AI賦能的大規(guī)模系統(tǒng)控制和資源管理。他已在國(guó)際一流期刊和會(huì)議上發(fā)表了280多篇論文，是IEEE 信號(hào)處理協(xié)會(huì)2012年最佳論文獎(jiǎng)獲得者，并曾擔(dān)任多個(gè)IEEE國(guó)際會(huì)議的主席和程序委員會(huì)主席，兩個(gè)IEEE國(guó)際期刊的指導(dǎo)委員會(huì)成員、主席，多個(gè)IEEE國(guó)際期刊的編委和領(lǐng)域主編，IEEE無(wú)線(xiàn)技術(shù)委員會(huì)的主席。他在2013年當(dāng)選IEEE Fellow（博士畢業(yè)8年內(nèi)入選，IEEE歷史上最快之一），在2014年入選IEEE通信協(xié)會(huì)杰出講師，湯森路透全球高被引科學(xué)家名單，和ScienceWatch的全球最具影響力科學(xué)家名單。在2017年10月，基于其在物聯(lián)網(wǎng)和數(shù)據(jù)分析領(lǐng)域的學(xué)術(shù)聲譽(yù)，他應(yīng)阿里巴巴集團(tuán)的邀請(qǐng)到杭州，作為13名科學(xué)家之一為阿里巴巴達(dá)摩院的成立提供了戰(zhàn)略性意見(jiàn)。崔教授在2020年獲得IEEE ICC最佳論文獎(jiǎng)，IEEE ICIP最佳論文列表，IEEE GLOBECOM最佳論文獎(jiǎng)，中國(guó)ICT2020創(chuàng)新應(yīng)用獎(jiǎng)，Chinagraph首個(gè)圖形開(kāi)源數(shù)據(jù)集獎(jiǎng)，中國(guó)電子學(xué)會(huì)自然科學(xué)一等獎(jiǎng)，中國(guó)通信學(xué)會(huì)技術(shù)發(fā)明一等獎(jiǎng)。

?

文章轉(zhuǎn)自未來(lái)智聯(lián)網(wǎng)絡(luò)研究院官網(wǎng)，鏈接https://fnii.cuhk.edu.cn/article/101