問 我(wo)是(shi)計算(suan)機(ji)專業(ye)的畢業(ye)生，目(mu)前處于求職狀態(tai)，想問一(yi)下爬蟲工程(cheng)師的工作(zuo)內容是(shi)什么(me)？

答 1.編寫大規(gui)模分布(bu)式網絡爬(pa)蟲(chong)(chong)（多線程、分布(bu)式調度(du)、協議(yi)處理(li)）； 2.能用(yong)系統解決動態網頁內容抓取、深度(du)網頁內容抓取的(de)關鍵技術； 3.采用(yong)機器學習，信息(xi)檢索，大規(gui)模數據挖掘等工作。 4.爬(pa)蟲(chong)(chong)核心(xin)算法(fa)和策(ce)略優(you)化,熟(shu)悉采集系統的(de)調度(du)策(ce)略，分析(xi)爬(pa)蟲(chong)(chong)系統瓶(ping)頸(jing)設計實現相(xiang)應策(ce)略和算法(fa)，提(ti)升爬(pa)蟲(chong)(chong)的(de)抓取效率和質量。