家居導購數(shù)據(jù)平臺的設計與實現(xiàn).pdf

1、隨著電子商務產業(yè)的成熟，垂直化的服務開始受到重視。如主營服飾的凡客誠品、專業(yè)經營正品鞋的拍鞋網和電子產品起家的京東等都提供了個性化的體驗。隨著垂直領域的電商、導購網站近些年的崛起，各垂直領域紛紛涌現(xiàn)了大量優(yōu)秀的產品為用戶更好的服務。服務的質量，依賴于服務器端對數(shù)據(jù)處理的質量。家居導購數(shù)據(jù)平臺通過爬蟲和電子商務平臺獲取數(shù)據(jù)，經過預處理、入庫，為數(shù)據(jù)分析挖掘、前端導購提供可靠的支撐，同時為編輯人員提供生產環(huán)境，通過分析日志等信息為產品和運營

2、部門提供技術支持。該項目的主要功能模塊包括:界面模塊、數(shù)據(jù)獲取模塊、篩選/編輯子系統(tǒng)、網站內容管理子系統(tǒng)、日志統(tǒng)計分析子系統(tǒng)、圖片服務器、數(shù)據(jù)寫入服務、通行證管理模塊、數(shù)據(jù)備份模塊。
　　本人獨立完成了如下工作:
　　篩選/編輯子系統(tǒng)的設計與開發(fā)，編輯人員在該子系統(tǒng)中完成對圖片的篩選和編輯，包括選擇符合要求的圖片，編輯圖片信息，通過渠道、風格、時間等條件檢索圖片。該子系統(tǒng)中引入了MongoDB存儲風格圖和單品的信息，提高關鍵

3、詞檢索的速度。
　　圖片服務器的設計與開發(fā)，該模塊獨立于其他子系統(tǒng)或模塊，提供上傳圖片、刪除圖片、生成縮略圖、打水印、存儲圖片等功能，并通過hash策略實現(xiàn)了通過修改配置文件擴展圖片服務器的策略，同時將各功能獨立以實現(xiàn)服務可伸縮，方便將來針對某項服務進行單獨優(yōu)化。
　　數(shù)據(jù)獲取模塊中數(shù)據(jù)寫入服務的設計與開發(fā)，以及編輯數(shù)據(jù)庫的設計，該服務內部設置定時檢測機制，用于自動更新商品信息。
　　通行證管理模塊的設計與開發(fā)，為篩選