西豐政府政務(wù)OA系統(tǒng)：金山屯區(qū)政務(wù)政務(wù)OA系統(tǒng)中大廠報價查詢系統(tǒng)性能優(yōu)化之道！.cn)成功入駐特付寶，雙方將攜手搭建以集團信息為單位的信息化辦公平臺，協(xié)助特付寶完善文件流轉(zhuǎn)規(guī)范，提升辦公整體競爭力。高流量，同時，對搜索結(jié)果要求也很高——成功率要高，不能查詢失敗或強說成功，希望能反給用戶最優(yōu)最新數(shù)據(jù)。 1.1.2 多引擎聚合，sla不一 機票搜索數(shù)據(jù)來源哪？很大一部分來源自己的機票運價引擎。為補充產(chǎn)品豐富性，還引入國際一些gds、sla，如聯(lián)航。將外部引擎和自己引擎結(jié)果聚合后發(fā)給用戶。 1.1.3 計算密集&io密集 大家可能意識到，我說到我們自己的引擎就是基于一些運價的數(shù)據(jù)、倉位的數(shù)據(jù)，還有其他一些航班的信息，我們會計算、


【清華 ai 公開課】ijcai理事長楊強：人工智能在企業(yè)的落地是一門大學問:

---- 新智元整理 來源：清華ai公開課 編輯：劉小芹 【新智元導(dǎo)讀】上周，清華 ai 公開課迎來最后一講，本講主題是：落地的人工智能。 spamrgzn531 在課程開始，雷鳴老師先概述了對產(chǎn)業(yè)有較大影響的技術(shù)，以及未來將發(fā)生的演變。 從技術(shù)角度看，未來對產(chǎn)業(yè)產(chǎn)生比較大影響的技術(shù)有： 基于視頻的信息理解和處理技術(shù)。 無人車是自動型的，因為它的整個運作是自動的，也有自動的學習能力，人類只是為它提供一些必要的資源。 交互 vs 核心：交互型的 ai 是為了跟人溝通，是閉環(huán)的。 還有一種做法是把 ai 作為一個核心的系統(tǒng)，它的副產(chǎn)品是對人有用，但它可以完全按照自己的方式發(fā)展。alphago 就是一個例子。 第二，人工智能在企業(yè)的落地是一門大學問，而且是一門藝術(shù)性的學問，因為還沒有到科學的程度。所以一個問題是，ai 是產(chǎn)品，還是技術(shù)，還是解決方案？

天貓數(shù)據(jù)造假，真是工程師的錯？:

錘子4g手機在天貓頁面的真實預(yù)約數(shù)被乘以3，發(fā)現(xiàn)這個規(guī)律的是畢業(yè)自藍翔的機械從業(yè)者“左岸的小熊”。不是臨時工，是工程師干的天貓隨后官方澄清這一失誤是工程師所謂。 但“藍翔哥”不會常有，直接將作假數(shù)據(jù)實現(xiàn)放在前段頁面的“豬一樣的隊友”也不會常在。 政府介入也是有可能的。目前北京工商局就通過行政建議書等形式公布第三方商家售假信息，在各電商平臺之間建立起針對第三方商家的資質(zhì)和信用管理體系。 因為平臺的信用認證體系可能并不牢靠，尤其是一家獨大的平臺，第三方尤其是有政府背書的權(quán)威第三方的認證才更有可能保持獨立真實。未來是否會有銷售相關(guān)數(shù)據(jù)的真實性監(jiān)控呢？雙十一在即。 點擊“閱讀原文”看現(xiàn)身說法。 supersofter是wemedia早期成員。關(guān)注supersofter與阿超一起圍觀冷暖科技世界。

【行業(yè)】馬克?扎克伯格認為ai會解決facebook最大的問題:

在關(guān)于這場監(jiān)管的對話中，最吸引人的問題之一是猶他州參議員orrin hatch在提到政府過度監(jiān)管的潛在危險后，詢問什么樣的監(jiān)管措施無法解決劍橋分析公司(cambridge analytica trainwreck face ++和sensetime等合作伙伴與中國政府合作，為中國政府創(chuàng)建了一個面向13億市民的面部識別數(shù)據(jù)庫，為cctv監(jiān)控和智能眼鏡提供支持，讓警察能夠在幾秒鐘內(nèi)識別出人物面部特征。 與政府的合作關(guān)系讓中國企業(yè)有能力超越facebook等公司。例如，去年在國際計算機視覺會議上，face++的表現(xiàn)優(yōu)于谷歌、facebook和微軟。 當被問到這個問題時，扎克伯格說，他不能保證俄羅斯政府支持的troll農(nóng)場互聯(lián)網(wǎng)研究機構(gòu)(ira)已經(jīng)完全從facebook上刪除。 國會議員以及整個世界都在關(guān)注扎克伯格的證詞。正如一名國會議員所言，扎克伯格在過去14年里，扎克伯格的道歉似乎足以證明自我監(jiān)管并沒有奏效，但他對計算機視覺的評估似乎是合理的。

驕傲！國辦為“一部手機游云南”打call !!!:

今年3月底，大理市政府對洱海流域水生態(tài)保護區(qū)核心區(qū)餐飲客棧等服務(wù)業(yè)開展整治，先后關(guān)停客棧餐飲經(jīng)營戶2498家。 26.遼寧省盤山縣加快發(fā)展縣域經(jīng)濟，助推鄉(xiāng)村振興。 27.遼寧省調(diào)兵山市大力發(fā)展循環(huán)經(jīng)濟，推進資源型城市轉(zhuǎn)型。 吉林省 28.吉林省長春市探索打造“審批不見面、辦事不求人”政務(wù)服務(wù)新模式。 99.重慶市忠縣堅持“保基本、強基層、建機制”，推進公立醫(yī)院改革。 四川省 100.四川省成都市實施“創(chuàng)業(yè)天府”行動計劃，打造“雙創(chuàng)”升級版。 101.四川省瀘州市推出企業(yè)開辦小時清單制。 113.西藏自治區(qū)曲水縣創(chuàng)新脫貧思路，強化產(chǎn)業(yè)帶動，激發(fā)內(nèi)生活力。 陜西省 114.陜西省西安市建立完善“1+n”社會救助體系，織牢織密兜底保障網(wǎng)。 注：騰訊文旅綜合自一部手機游云南、云南網(wǎng)、中國政府網(wǎng)、云報客戶端、云南日報、中新網(wǎng)、一帶一路網(wǎng) ? 往期精彩回顧 （點擊圖片? 即可閱讀） ? ?

西豐政府政務(wù)OA系統(tǒng)：金山屯區(qū)政務(wù)政務(wù)OA系統(tǒng)中大廠報價查詢系統(tǒng)性能優(yōu)化之道！

務(wù)水平和效率，加速實現(xiàn)高水平管理體制的整體規(guī)劃。特付寶是河北瀚迪旗下的一款支付軟件。河北瀚迪電子科技有限公司是一家集收單運營服務(wù)、線下電子商務(wù)、金融產(chǎn)品技術(shù)創(chuàng)新等為一體的綜合類服務(wù)型高新技術(shù)企業(yè)，在2014年1月榮獲成為中國中小微企業(yè)聯(lián)合會指定的唯一收單運營服務(wù)。在國內(nèi)目前是第三方合作方最大、發(fā)展最迅猛的企業(yè)。啟用政務(wù)OA系統(tǒng)(www.政務(wù)OA.cn)，特付寶將充分發(fā)揮既有的優(yōu)勢，規(guī)范管理流程，強化管理質(zhì)量，提升服務(wù)水平。同時，政務(wù)OA系統(tǒng)也將不斷沉淀企業(yè)的實施與合作經(jīng)驗，為特付寶提供更為便捷、智能、高效的協(xié)同解決方案。0 前言 機票查詢系統(tǒng)，日均億級流量，要求高吞吐，低延遲架構(gòu)設(shè)計。提升緩存的效率以及實時計算模塊長尾延遲，成為制約機票查詢系統(tǒng)性能關(guān)鍵。本文介紹機票查詢系統(tǒng)在緩存和實時計算兩個領(lǐng)域的架構(gòu)提升。 1 機票搜索服務(wù)概述 1.1 機票搜索的業(yè)務(wù)特點 機票搜索業(yè)務(wù)：輸入目的地，然后點擊搜索，后臺就開始卷了?；?~2s將最優(yōu)結(jié)果反給用戶。這個業(yè)務(wù)存在以下業(yè)務(wù)特點。 1.1.1 高流量、低延時、高成功率 超高流量，同時，對搜索結(jié)果要求也很高——成功率要高，不能查詢失敗或強說成功，希望能反給用戶最優(yōu)最新數(shù)據(jù)。 1.1.2 多引擎聚合，sla不一 機票搜索數(shù)據(jù)來源哪？很大一部分來源自己的機票運價引擎。為補充產(chǎn)品豐富性，還引入國際一些gds、sla，如聯(lián)航。將外部引擎和自己引擎結(jié)果聚合后發(fā)給用戶。 1.1.3 計算密集&io密集 大家可能意識到，我說到我們自己的引擎就是基于一些運價的數(shù)據(jù)、倉位的數(shù)據(jù)，還有其他一些航班的信息，我們會計算、比對、聚合，這是一個非常技術(shù)密計算密集型的這么一個服務(wù)。同時呢，外部的gds提供的查詢接口或者查詢引擎，對我們來說又是一個io密集型的子系統(tǒng)。我們的搜索服務(wù)要將這兩種不同的引擎結(jié)果很好地聚合起來。 1.1.4 不同業(yè)務(wù)場景的搜索結(jié)果不同要求 作為ota巨頭，還支持不同應(yīng)用場景。如同樣北京飛上海，由于搜索條件或搜索渠道不一，返回結(jié)果有所不同。如客戶是學生，可能搜到學生特價票，其他用戶就看不到。 2 公司基建 為應(yīng)對如此業(yè)務(wù)，有哪些利器？ 2.1 三個獨立idc 互相做災(zāi)備，實現(xiàn)其中一個idc完全宕機，業(yè)務(wù)也不受影響。 2.2 datacenter技術(shù)棧 springcloud+k8s+云服務(wù)（海外），感謝netflix開源支撐國內(nèi)互聯(lián)網(wǎng)極速發(fā)展。 2.3 基于開源的devops 我們基于開源做了整套的devops工具和框架。 2.4 多種存儲方案 公司內(nèi)部有比較完善可用度比較高的存儲方案，包括mysql，redis，mangodb…… 2.5 網(wǎng)絡(luò)可靠性 注重網(wǎng)絡(luò)可靠性，做了很多dr開發(fā)，sre實踐，廣泛推動熔斷，限流等，以保證用戶得到高質(zhì)量服務(wù)。 3 機票搜索服務(wù)架構(gòu) 3.1 架構(gòu)圖 idc有三個，先引入gateway分流前端服務(wù)，前端服務(wù)通過服務(wù)治理，和后端聚合服務(wù)交互。聚合服務(wù)再調(diào)用很多引擎服務(wù)。 聚合服務(wù)結(jié)果，通過kafka推到ai數(shù)據(jù)平臺，做大數(shù)據(jù)分析、流量回放等數(shù)據(jù)操作。云上部署數(shù)據(jù)的過濾服務(wù)，使傳回數(shù)據(jù)減少90%。 4 緩存架構(gòu) 4.1 緩存的挑戰(zhàn)和策略 4.1.1 為啥大量使用緩存應(yīng)對流量高峰？ 提高效率、速度的首選技術(shù)手段。 雖使用很多開源技術(shù)，但還有瓶頸。如數(shù)據(jù)庫是分片、高可用的mysql，但和一些云存儲、云數(shù)據(jù)庫比，其帶寬、存儲量、可用性有差距，通常需用緩存保護我們的數(shù)據(jù)庫，不然頻繁讀取會使數(shù)據(jù)庫很快超載。 很多外部依賴，提供給我們的帶寬，qps有限。而公司整體業(yè)務(wù)量是快速增長的，而外部的業(yè)務(wù)伙伴給我們的帶寬，要么已達技術(shù)瓶頸，要么開始收高費用。此時，使用緩存就可保護外部的一些合作伙伴，不至于擊穿他們的系統(tǒng)，也可幫我們降本。 4.1.2 本地緩存 vs 分布式緩存 整個架構(gòu)的演進過程，一開始本地緩存較多，后來部分用到分布式緩存。 本地緩存的主要問題： 啟動時，有個冷啟動過程，對快速部署不利 與分布式緩存相比，本地緩存命中率太低 對海量的數(shù)據(jù)而言，單機提供命中率非常低，5%甚至更低。對此，現(xiàn)已全面切向redis分布式緩存。本著對戰(zhàn)failure的理念，不得不考慮失敗場景。萬一集群掛掉或一部分分片掛掉，這時需要通過限流客戶端、熔斷等，防止雪崩效應(yīng)。 4.1.3 ttl 命中率 新鮮度 動態(tài)更新 ttl生命周期跟業(yè)務(wù)強相關(guān)。買機票經(jīng)常遇到：剛在報價列表頁看到一個低價機票，點進報價詳情頁就沒了，why？航空公司低價艙位票，一次可能只放幾張，若在熱門航線，可能同時幾百人在查，它們都可能看到這幾張票，它就會出現(xiàn)在緩存里。若已有10人訂了票，其他人看到緩存再點進去，運價就已失效。對此，就要求權(quán)衡，不能片面追求高命中率，還得兼顧數(shù)據(jù)新鮮度。為保證新鮮度、數(shù)據(jù)準確性，還有大量定時任務(wù)去做更新和清理。 4.2 緩存架構(gòu)演進 4.2.1 多級緩存 架構(gòu)圖的三處緩存： 引擎級緩存 l1分布式聚合緩存，基本上就是用戶看到的最終查詢結(jié)果 l2二級緩存，分布式的子引擎結(jié)果 若聚合服務(wù)需多個返回結(jié)果，很大程度都是先讀一級緩存，一級緩存沒有命中的話，再從二級緩存里面去讀中間結(jié)果，這樣可以快速聚合出一個大家所需要的結(jié)果返回。 4.2.2 引擎緩存 引擎緩存： 查詢結(jié)果緩存 中間產(chǎn)品緩存 基礎(chǔ)數(shù)據(jù)緩存 使用一個多級緩存模式。如下圖，最頂部是指引前的結(jié)果緩存，儲存在redis，引擎內(nèi)部根據(jù)產(chǎn)品、供應(yīng)商，有多個渠道的中間結(jié)果，所以對子引擎來說會有個中間緩存。 這些中間結(jié)果計算，需要數(shù)據(jù)，這數(shù)據(jù)就來自最基礎(chǔ)的一級緩存。 4.2.3 基于redis的一級緩存 pros： 讀寫性能高 水平擴展 cons： 固定ttl 命中率和新鮮度的平衡 結(jié)果： 命中率<20% 高新鮮度(ttl<5m，動態(tài)刷新 讀寫延遲<3ms 一級緩存使用redis，是考慮其讀寫性能好，快速，水平擴展性能，能提高存儲量及帶寬。但當前設(shè)計局限性： 為簡單，使用固定ttl，這是為保證返回結(jié)果的相對新鮮 為命中率和新鮮度，還在不斷提高 目前解決方案還不能完美解決這倆問題。 分析下返回結(jié)果，一級緩存命中率小于20%，某些場景更低，就是為保證更高準確度和新鮮度。高優(yōu)先度，一級緩存的ttl肯定低于5min，有些場景可能只有幾十s；支持動態(tài)刷新，整體延遲小于3ms。整個運行過程可用性較好。 4.2.4 基于redis的二級緩存（架構(gòu)升級） pros： 讀寫性能進一步提升 服務(wù)可靠性提升 成本消減 cons： 增加復(fù)雜性替代二級索引 結(jié)果： 成本降低90% 讀寫性能提升30% 4.2.5 基于mongodb的二級緩存 二級緩存一開始用mongodb： 高讀寫性能 支持二級緩存，方便數(shù)據(jù)清理 多渠道共用子引擎緩存 ttl通過ml配置 會計算相對較優(yōu)ttl，保證特定數(shù)據(jù)： 有的可緩存久點 有的可快速更新迭代 二級緩存基于mongodb，也有局限性： 架構(gòu)是越簡單越好，多引入一種存儲會增加維護代價（強依賴） 由于mongodb的license模式，使得費用非常高（ops） 結(jié)果： 但二級緩存使查詢整體吞吐量提高3倍 通過機器學習設(shè)定的ttl，使命中率提升27% 各引擎平均延時降低20% 都是可喜變化。在一個成熟的流量非常大的系統(tǒng)，能有個10%提升，就是個顯著技術(shù)特點。 針對mongodb也做了提升，最后將其切成redis，通過設(shè)計方案，雖增加部分復(fù)雜性，但替代了二級索引，改進結(jié)果就是成本降低90%，讀寫性能提升30%。 5 lb演進 系統(tǒng)首要目標滿足高可用 其次是高流量支撐 可通過多層的均衡路由實現(xiàn)，把這些流量均勻分配到多個idc的多個集群。 5.1 目標 高可用 高流量支撐 低事故影響范圍 提升資源利用率 優(yōu)化系統(tǒng)性能（長尾優(yōu)化） 如個別查詢時間特長，需要我們找到調(diào)度算法問題，一步步解決。 5.2 lb架構(gòu) 負載均衡 gateway，lb，ip直連 dc路由規(guī)則 ip直連+pooling 計算密集型任務(wù) 計算時長&權(quán)重 部分依賴外部查詢 set化 lb的演進： 公司的路由和負載均衡的架構(gòu)，非常典型，有g(shù)ateway、load、balance、ip直連，在ip基礎(chǔ)上實現(xiàn)了一項新的pooling技術(shù)。也實現(xiàn)了set化，在同一idc，所有的服務(wù)都只和該數(shù)據(jù)中心的節(jié)點打交道，盡量減少跨地區(qū)網(wǎng)絡(luò)互動。 5.3 pooling 為啥做 pooling？有些計算密集的引擎，存在耗時長，耗cpu資源多的子任務(wù)，這些子任務(wù)可能夾雜一些實時請求，所以這些任務(wù)可能會留在線程里邊，阻塞整個流程。 pooling就負責：我們把這些子任務(wù)放在queue里邊，將節(jié)點作為worker，總是動態(tài)的去取，每次只取一個，計算完了要么把結(jié)果返回，要么把中間結(jié)果再放回queue。這樣的話如果有任何實時的外部調(diào)用，我們就可以把它分成多次，放進queue進行task的整個提交執(zhí)行和應(yīng)用結(jié)果的返回。 5.4 過載保護 有過載保護 扔掉排隊時間超過t的請求（t為超時時間），所有請求均超時，系統(tǒng)整體不可用 扔到排隊時間超過x的請求（x為小于t的時間），平均響應(yīng)時間為x+m，系統(tǒng)整體可用。m為平均處理時間 pooling設(shè)計需要一個過載保護，當流量實在太高，可用簡單的過載保護，把等待時間超過某閾值的請求全扔掉。當然該閾值肯定小于會話時間，就能保證整個pooling服務(wù)高可用。 雖可能過濾掉一些請求，但若沒有過載保護，易發(fā)生滾雪球效應(yīng)，queue里任務(wù)越來越多，當系統(tǒng)取到一個任務(wù)時，實際上它的原請求可能早已timeout。 img 壓測結(jié)果可見：達到系統(tǒng)極限值前，有無pooling兩種case的負載均衡差異。如80%負載下，不采用pooling的排隊時間比有pooling高10倍： 所以一些面臨相同流量問題廠家，可考慮把 pooling 作為一個動態(tài)調(diào)度或一個control plan的改進措施。 如下圖，實現(xiàn)pooling后平均響應(yīng)時間基本沒大變化，還是單層查詢計算普遍60~70ms。但實現(xiàn)pooling后，顯著的鍵值變少，鍵值范圍也都明顯控制在平均時間兩倍內(nèi)。這對大體量服務(wù)來說，比較平順曲線正是所需。 6 ai賦能 6.1 應(yīng)用場景 6.1.1 反爬 在前端，我們設(shè)定了智能反爬，能幫助屏蔽掉9%的流量。 6.1.2 查詢篩選 在聚合服務(wù)中，我們并會把所有請求都壓到子系統(tǒng)，而是會進行一定的模式運營，找出價值最高實際用戶，然后把他們的請求發(fā)到引擎當中。對于一些實際價值沒有那么高的，更多的是用緩存，或者屏蔽掉一些比較昂貴的引擎。 6.1.3 ttl智能設(shè)定 整個ttl設(shè)定使用ml技術(shù)。 6.2 ml技術(shù)棧和流程 ml技術(shù)棧和模型訓練流程： 6.3 過濾請求 開銷非常大的子引擎多票，會拼接多個不同航空公司的出票，返給用戶。但拼接計算昂貴，只對一部分產(chǎn)品開放。通過機器學習找到哪些查詢可通過多票引擎得到最好結(jié)果，然后只對這一部分查詢用戶開放，結(jié)果也很不錯。 看右上角圖片，整個引擎能過濾掉超過80%請求，流量高峰時能把曲線變得平滑，效果顯著。整個對于查詢結(jié)果、訂單數(shù)，都沒太大影響，且節(jié)省80%產(chǎn)品資源。這種線上模型運算時間也短，普遍低于1ms。 7 總結(jié) 使用了多層靈活緩存，從而能很好的應(yīng)對高流量的沖擊，提高反應(yīng)速度。 使用可靠的調(diào)度和負載均衡，這樣就使我們的服務(wù)保持高可用狀態(tài)，并且解決了長尾的查詢延遲問題。最后內(nèi)部嘗試了很多技術(shù)革新，將適度的ai技術(shù)推向生產(chǎn)，從目前來看，機器學習發(fā)揮了很好的效果。帶來了roi的提升，節(jié)省了效率，另外在流量高峰中，它能夠起到很好的削峰作用。以上就是我們?yōu)閼?yīng)對高流量洪峰所采取了一系列有針對性的架構(gòu)改善。 多層，靈活的緩存 -> 流量，速度 可靠的調(diào)度和負載均衡 -> 高可用 適度的ai -> roi，削峰 8 q&a q：啥場景用緩存？ a：所有場景都要考慮緩存。高流量時，每級緩存都能帶來很好的保護系統(tǒng)，提高性能的效果，但要考慮到緩存失效的應(yīng)對措施。 q：緩存迭代過程咋樣的？ a：先有l(wèi)1，又加l2，主要因為流量越來越大，引擎外部依賴逐漸撐不住，不得不把中間結(jié)果也高效緩存，此即l1到l2的演進。二級緩存用redis替代mongodb，是出于高可用考慮，費用節(jié)省也是一個因素，但更主要是發(fā)現(xiàn)自運維的mongodb比redis，整體可用性要差很多，所以最后決定切換。 q：分布式緩存的設(shè)計方式？ a：分布式緩存的關(guān)鍵在于它的kv怎么設(shè)定？須根據(jù)業(yè)務(wù)場景，如有的kv里加入ip地址，即pooling，基于redis建立了它的隊列，所以我們queue當中是把這種請求方的ip作為建設(shè)的一部分放了進去，就能保證子任務(wù)能知道到哪查詢它相應(yīng)的返回結(jié)果。 q：為什么redis的讀寫延遲能做到3ms以內(nèi)呢？ a：讀寫延時低其實主要指讀延時，讀延時3ms內(nèi)沒問題。 q：這隊列是內(nèi)存隊列？還是mq？ a：互聯(lián)隊列用redis，主要是為保證其高可用性。 q：緩存失效咋刷新，涉及分布式鎖？ a：文章所提緩存失效，并非指它里邊存的數(shù)據(jù)失效，主要指整個緩存機制失效。無需分布式鎖，因為都是單獨的kv存儲。 q：緩存數(shù)據(jù)一致性咋保證？ a：非常難保證，常用技巧：緩存超過閾值，強行清除。然后若有更精確內(nèi)容進來，要動態(tài)刷新。如本可存5min，但第2min有位用戶查詢并下單，這時肯定是要做一次實時查詢，順便把還沒過期的內(nèi)容也刷新一遍。 q：熱key，大key咋監(jiān)控？ a：對我們熱區(qū)沒那么明顯，因為一般我們的一個key對應(yīng)一個點，一個出發(fā)地和一個目的地，中間再加上各種渠道引擎的限制。而不像分片，你分成16或32片，可能某一分片邏輯設(shè)計不合理，導(dǎo)致那片過熱，然后相應(yīng)硬件直接到瓶頸。 q：詳解pooling？ a：原理：子任務(wù)耗時間不一，若完全基于soa進行動態(tài)隨機分，肯定有的計算節(jié)點分到的子任務(wù)較重，有的較輕，加入pooling，就好像加入一個排隊策略，特別是對中間還會實時調(diào)用離開幾s的case，排隊策略能極大節(jié)省計算資源。 q：監(jiān)控咋做的？ a：基于原來用了時序數(shù)據(jù)庫，如clickhouse，和grafana，然后現(xiàn)在兼容promeneus的數(shù)據(jù)收集和api。 q：二級緩存采用redis的啥數(shù)據(jù)類型？ a：二級緩存存儲中間結(jié)果，應(yīng)該是分類型的數(shù)據(jù)類型。 q；ttl計算應(yīng)該考慮啥？ a：最害怕數(shù)據(jù)異常，如系統(tǒng)總返回用戶一個已過期低票價，用戶體驗很差，所以這方面犧牲命中率，然后縮短ttl，只不過ttl控制在5min內(nèi)，有時還要微調(diào)，所以還得用機器學習模型。 q：ip直連和pooling沒明白，是agg中涉及到的計算進行拆分，將中間結(jié)果進行存儲，其他請求里若也需要這中間計算，可直接獲取嗎？ a：ip直連和poolingip直連，其實把負載均勻分到各節(jié)點pooling，只不過你要計算的子任務(wù)入隊，然后每個運算節(jié)點每次取一個，計算完再放回去，這樣計算效率更高。中間結(jié)果沒有共享，中間結(jié)果存回是因為有的子任務(wù)需要中間離開，再去查其他實時系統(tǒng)，所以就相當于把它分成兩個運算子任務(wù)，中間的任務(wù)要重回隊列。 q：下單類似秒殺，發(fā)現(xiàn)一瞬間票搶光了，相應(yīng)緩存咋更新？ a：若有第1個用戶選擇了一個運價，沒通過，要把緩存數(shù)據(jù)都給殺掉，然后盡量防止第2個用戶還會陷入同樣問題。 q：多級緩存數(shù)據(jù)咋保證一致？ a：因為我們一級緩存存的是最終的結(jié)果，二級緩存是中間結(jié)果，所以不需要保持一致。 q：一級、二級、三級緩存，請求過來，咋提高吞吐量，按理說，每個查詢過程都消耗時間，吞吐量應(yīng)該下降？ a：是的，若無這些緩存，幾乎所有都要走一遍。實時計算，時間長，而且部署的集群能響應(yīng)的數(shù)很有限，然后一、二、三級每級都能攔截很多請求。一級約攔截20%，二級差不多40%~50%。此時同樣的集群，吞吐量顯然明顯增加。 q：如何防止緩存過期時刻產(chǎn)生的擊穿問題，目前公司是定時任務(wù)主動緩存，還是根據(jù)用戶請求進行被動的緩存？ a：對于緩存清除，我們既有定時任務(wù)，也有被動的更新。比如說用戶又取了一次或者購票失敗這些情況，我們都是會刷新或者清除緩存的。 q：搜索結(jié)果會根據(jù)用戶特征重新計算運價和票種嗎？ a：為啥我的運價跟別人不一致，是不是被大數(shù)據(jù)殺熟？其實不是的，那為啥同樣查詢返回結(jié)果不一呢？有一定比例是因為緩存數(shù)據(jù)異常，如前面緩存的到后面票賣光了，然后又推給了不幸用戶。公司有很多引擎如說國外供應(yīng)商，尤其聯(lián)航，他們系統(tǒng)帶寬不夠，可用性不高，延時也高，所以部分這種低價票不能及時返回到我們的最終結(jié)果，就會出現(xiàn)這種“殺熟”，這并非算法有意，只是系統(tǒng)局限性。 q：pooling 為啥用 redis？ a：為追求更高讀寫速度，其他中間件如內(nèi)存隊列，很難用在分布式調(diào)度。若用message queue，由于它存在明顯順序性，不能基于kv去讀到你所寫的，如你發(fā)了個子任務(wù)，這時你要定時取其結(jié)果，但你基于mq或內(nèi)存隊列沒法拿到，這也是一個限制。 q：多級緩存預(yù)熱咋保證mysql不崩？ a：冷啟動問題更多作用在本地緩存，因為本地緩存發(fā)布有其他的情況，需要預(yù)熱，在這之間不能接受生產(chǎn)流量。對多級緩存、分布式緩存，預(yù)熱不是問題，因為它本就是分布式的，可能有部分節(jié)點要下線之類，但對整個緩存機制影響很小，然后這一部分請求又分散到我們的多個服務(wù)器，不會產(chǎn)生太大抖動。但若整個緩存機制失效如緩存集群完全下掉，還是要通過熔斷或限流對實時系統(tǒng)作過載保護。 q：redis對集合類qps不高，咋辦？ a：redis多加些節(jié)點，減少它的存儲使用率，把整體throughput提上即可。若你對云業(yè)務(wù)有了解，就知道每個節(jié)點都有throughput限制。若單節(jié)點throughput成為瓶頸，那就降低節(jié)點使用率。

2.4 億元、中電科中標粵港澳大灣區(qū)大數(shù)據(jù)中心（一期）項目:

一期“數(shù)網(wǎng)”工程的iaas資源由深圳市政務(wù)云項目（二期）提供，本項目主要涵蓋“數(shù)紐”“數(shù)鏈”“數(shù)腦”“數(shù)盾”等部分，建設(shè)需求如下： 1、建立灣區(qū)算力服務(wù)調(diào)度樞紐（灣區(qū)“數(shù)紐”一期） 建設(shè)灣區(qū)核心主節(jié)點云平臺 ，為粵港澳大灣區(qū)大數(shù)據(jù)中心提供包括基礎(chǔ)設(shè)施服務(wù)、數(shù)據(jù)服務(wù)、業(yè)務(wù)支撐服務(wù)在內(nèi)的全棧云服務(wù)。 3、打造灣區(qū)數(shù)據(jù)決策支持大腦（灣區(qū)“數(shù)腦”一期） 建設(shè)粵港澳大灣區(qū)大數(shù)據(jù)中心運營、管理、展示一體的運營系統(tǒng)，實現(xiàn)數(shù)據(jù)中心運行態(tài)勢全局掌握、運營管理有序高效；打造重點領(lǐng)域?qū)ｍ棏?yīng)用展示系統(tǒng)，為產(chǎn)業(yè)升級、產(chǎn)業(yè)扶持政策優(yōu)化調(diào)整提供科學決策依據(jù) 經(jīng)過本項目的實施建設(shè)，將全面完成粵港澳大灣區(qū)大數(shù)據(jù)中心深圳主節(jié)點主體建設(shè)、粵港澳三地數(shù)據(jù)中心和較大規(guī)模的社會化數(shù)據(jù)中心互聯(lián)互通機制得到初步驗證、灣區(qū)政務(wù)數(shù)據(jù)與社會數(shù)據(jù)平臺化對接機制初步完善、政企一體化數(shù)據(jù)資源體系基本成型 “數(shù)腦”提供決策分析服務(wù)，在灣區(qū)“數(shù)紐”“數(shù)鏈”“數(shù)盾”一期示范項目成果進行綜合性集中可視化展示基礎(chǔ)上，實現(xiàn)灣區(qū)“戰(zhàn)略-政策-企業(yè)-自然人”宏中微觀一體化動態(tài)分析，加快形成粵港澳大灣區(qū)綜合展示、科學決策

富士康深圳龍華、觀瀾廠區(qū)獲準恢復(fù)生產(chǎn):

3月21日消息，深圳市在經(jīng)歷了一周時間的防疫管控之后，已于今日正式“解封”。 鴻?？萍技瘓F今日也發(fā)布聲明表示，依照《深圳市新型冠狀病毒肺炎疫情防控指揮部通告》，鴻海旗下富士康位于深圳龍華、觀瀾等主要廠區(qū)，在遵守防疫政策，嚴格落實疫情防控的前提下，已基本恢復(fù)正常工作秩序和生產(chǎn)經(jīng)營。 據(jù)介紹，富士康深圳龍華廠區(qū)是在上周開始部分復(fù)工，之后申請在本周大規(guī)模復(fù)工，目前已經(jīng)經(jīng)過深圳市政府審核通過，本周將恢復(fù)正常生產(chǎn)。 根據(jù)摩根士丹利的預(yù)估，鴻海約25%的總產(chǎn)能位于深圳龍華和觀瀾，這兩個據(jù)點皆有處理四大產(chǎn)品線，包括iphone、pc/nb、網(wǎng)路及組件，但關(guān)鍵產(chǎn)品的主要生產(chǎn)分布在中國大陸各地，如鄭州（占iphone生產(chǎn)近

測量異構(gòu)信息網(wǎng)絡(luò)的多樣性（cs ai）:

在本文中，我們開發(fā)了一個用于異構(gòu)信息網(wǎng)絡(luò)(hins)的多樣性度量的正式框架，這是一種靈活的、廣泛使用的網(wǎng)絡(luò)數(shù)據(jù)形式。這擴大了多樣性措施的應(yīng)用，從分類和分配制度擴展到可以由網(wǎng)絡(luò)更好地模擬的更復(fù)雜的關(guān)系。 在此過程中，我們不僅提供了來自不同領(lǐng)域的多個實踐的有效組織，而且還發(fā)現(xiàn)了由異構(gòu)信息網(wǎng)絡(luò)建模的系統(tǒng)中的新的可觀察性。我們通過開發(fā)與多樣性和網(wǎng)絡(luò)相關(guān)的不同領(lǐng)域相關(guān)的不同應(yīng)用程序來說明我們的方法的針對性。 fournier-sniehotta, remy poulain, lionel tabourier, fabien tarissan 原文地址：https://arxiv.org/abs/2001.01296 測量異構(gòu)信息網(wǎng)絡(luò)的多樣性

【每日要聞】蘋果在華招聘汽車軟件工程師；爆料稱騰訊將成立xr部門:

1、蘋果在華招聘汽車軟件工程師 2、南亞科技宣布斥資3000億新臺幣在新北市投建12英寸新晶圓廠 3、扎克伯格公開演示四款vr原型機 4、騰訊減持新東方在線套現(xiàn)超7億港元 5、拜登對蘋果零售員工組建首個工會感到 3、扎克伯格公開演示四款vr原型機 近日，meta罕見地一次性公布了4款vr頭戴設(shè)備的原型。 上周末，這些工人投票決定在這家科技巨頭的一家美國專賣店成立了首個工會。另外，拜登還接見了亞馬遜和星巴克的工會組織者。他補充說，由于工會的存在，“每個人都變得更好了，包括最終產(chǎn)品”。 8、特斯拉德國工廠招聘因薪資問題受阻 當?shù)貢r間周一，德國最大工會ig metall表示，該工會收到了特斯拉在格倫海德工廠員工的報告，他們抱怨工資不足或不平等。 10、蘋果vr指環(huán)專利公開 據(jù)企查查顯示，6月21日，蘋果公司公開專利“可伸展環(huán)設(shè)備”。專利摘要顯示，環(huán)設(shè)備可具有外殼，該外殼被配置為佩戴在用戶的手指上。

轉(zhuǎn)載請注明出處,本站網(wǎng)址：http://www.goldenleaftobacco.net/news_2475.html