為什么看起來(lái)不是很復雜的網(wǎng)站,淘寶、騰訊卻需要大量頂尖高手來(lái)開(kāi)發(fā)
阿里巴巴員工 2 萬(wàn),百度技術(shù)人員超過(guò)6000,京東也有三四千攻城獅。
子柳:
就拿淘寶來(lái)說(shuō)說(shuō),當作給新人一些科普。
▼先說(shuō)你看到的頁(yè)面上,重要的幾個(gè):
【搜索商品】這個(gè)功能,如果你有幾千條商品,完全可以用select * from tableXX where title like %XX%這樣的操作來(lái)搞定。但是——當你有10000000000(一百億)條商品的時(shí)候,任何一個(gè)數據庫都無(wú)法存放了,請問(wèn)你怎么搜索?這里需要用到分布式的數據存儲方案,另外這個(gè)搜索也不可能直接從數據庫里來(lái)取數據,必然要用到搜索引擎(簡(jiǎn)單來(lái)說(shuō)搜索引擎更快)。好,能搜出商品了,是否大功告成可以啵一個(gè)了呢?早著(zhù)呢,誰(shuí)家的商品出現在第一頁(yè)?這里需要用到巨復雜的排序算法。要是再根據你的購買(mǎi)行為做一些個(gè)性化的推薦——這夠一幫牛叉的算法工程師奮斗終生了。
【商品詳情】就是搜索完畢,看到你感興趣的,點(diǎn)擊查看商品的頁(yè)面,這個(gè)頁(yè)面有商品的屬性、詳細描述、評價(jià)、賣(mài)家信息等等,這個(gè)頁(yè)面的每天展示次數在 30 億以上,同樣的道理,如果你做一個(gè)網(wǎng)站每天有 10 個(gè)人訪(fǎng)問(wèn),你絲毫感覺(jué)不到服務(wù)器的壓力,但是 30 億,要解決的問(wèn)題就多了去了。首先,這些請求不能直接壓到數據庫上,任何單機或分布式的數據庫,承受 30 億每天的壓力,都將崩潰到完全沒(méi)有幸福感,這種情況下要用到的技術(shù)就是大規模的分布式緩存,所有的賣(mài)家信息、評價(jià)信息、商品描述都是從緩存里面來(lái)取到的,甚至更加極致的一點(diǎn)“商品的瀏覽量”這個(gè)信息,每打開(kāi)頁(yè)面一次都要刷新,你猜能夠從緩存里面來(lái)取嗎?淘寶做到了,整個(gè)商品的詳情都在緩存里面。
【商品圖片】一個(gè)商品有 5 個(gè)圖片,商品描述里面有更多圖片,你猜淘寶有多少張圖片要存儲? 100 億以上。這么多圖片要是在你的硬盤(pán)里面,你怎么去查找其中的一張?要是你的同學(xué)想拷貝你的圖片,你需要他準備多少塊硬盤(pán)?你需要配置多少大的帶寬?你們的網(wǎng)卡是否能夠承受?你需要多長(cháng)時(shí)間拷貝給他?這樣的規模,很不幸市面上已經(jīng)沒(méi)有任何商業(yè)的解決方案,最終我們必須自己來(lái)開(kāi)發(fā)一套存儲系統,如果你聽(tīng)說(shuō)過(guò)google的GFS,我們跟他類(lèi)似,叫TFS。順便說(shuō)一下,騰訊也有這樣的一套,也叫TFS。
【廣告系統】淘寶上有很多廣告,什么,你不知道?那說(shuō)明我們的廣告做的還不錯,居然很多人不認為它是廣告,賣(mài)家怎么出價(jià)去買(mǎi)淘寶的廣告位?廣告怎么展示?怎么查看廣告效果?這又是一套算法精奇的系統。
【BOSS系統】淘寶的工作人員怎么去管理這么龐大的一個(gè)系統,例如某時(shí)刻突然宣布某位作家的作品全部從淘寶消失,從數據庫到搜索引擎到廣告系統,里面的相關(guān)數據在幾分鐘內全部消失,這又需要一個(gè)牛叉的后臺支撐系統。
【運維體系】支持這么龐大的一個(gè)網(wǎng)站,你猜需要多少臺服務(wù)器?幾千臺?那是零頭。這么多服務(wù)器,上面部署什么操作系統,操作系統的內核能否優(yōu)化?Java虛擬機能否優(yōu)化?通信模塊有沒(méi)有榨取性能的空間?軟件怎么部署上去?出了問(wèn)題怎么回滾?你裝過(guò)操作系統吧,優(yōu)化過(guò)吧,被 360 坑過(guò)沒(méi),崩潰過(guò)沒(méi)?這里面又有很多門(mén)道。
客服QQ:1062518926
聯(lián)系電話(huà):0371-66355405
傳 真:0371-55655030
公司地址:河南省鄭州市管城區紫東路186號A座