基于網(wǎng)絡(luò)爬蟲的在線教育平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，越來(lái)越多的傳統(tǒng)行業(yè)開始與互聯(lián)網(wǎng)產(chǎn)業(yè)相結(jié)合。傳統(tǒng)的教育模式，可以為學(xué)生提供良好的現(xiàn)場(chǎng)反饋，但是也存在著諸多問(wèn)題，比如上課時(shí)間、地點(diǎn)的局限性，課程的內(nèi)容的可選性差以及教師的專業(yè)水平參差不齊等等。線上教育在這些方面具有獨(dú)特的優(yōu)勢(shì)，可以為學(xué)生提供量身定做的課程學(xué)習(xí)內(nèi)容。因此，在線教育也成為了如今互聯(lián)網(wǎng)產(chǎn)業(yè)中蓬勃發(fā)展的行業(yè)。在線上教育中，尤其是英文線上教育方面，優(yōu)質(zhì)的教育資源是吸引學(xué)生的一個(gè)重要內(nèi)容。如何獲取高質(zhì)量的學(xué)習(xí)資源

2、是一個(gè)難題，而網(wǎng)絡(luò)爬蟲很好的解決了這個(gè)難題。
　　本論文來(lái)源于實(shí)際工程項(xiàng)目——智課網(wǎng)在線教育平臺(tái)，通過(guò)網(wǎng)絡(luò)爬蟲的方式，對(duì)互聯(lián)網(wǎng)上開源的英文教育資源的獲取，并對(duì)這些資源進(jìn)行整合，從而得到具有特色的、高質(zhì)量的英文教育資源。首先，筆者參與了對(duì)獲取英文單詞相關(guān)數(shù)據(jù)，用戶練習(xí)題目等方面的需求分析以及后臺(tái)題庫(kù)展示的原型界面設(shè)計(jì)。其次，在設(shè)計(jì)與實(shí)現(xiàn)階段，筆者獨(dú)立完成了網(wǎng)絡(luò)爬蟲模塊、題庫(kù)生成模塊、Web平臺(tái)模塊的設(shè)計(jì)和開發(fā)。在測(cè)試階段，筆者獨(dú)立完

3、成了所有平臺(tái)的功能測(cè)試和單元模塊測(cè)試。本文使用了基于Python的Grab網(wǎng)絡(luò)爬蟲框架和Flask平臺(tái)框架，結(jié)合了通用網(wǎng)絡(luò)爬蟲、主題網(wǎng)絡(luò)爬蟲以及深層次網(wǎng)絡(luò)爬蟲等不同的網(wǎng)絡(luò)爬蟲手段以及網(wǎng)絡(luò)爬蟲算法，完成了對(duì)互聯(lián)網(wǎng)上開源英文教育資源的獲取，并通過(guò)數(shù)據(jù)的規(guī)范化處理和題庫(kù)的生成，最終得到了具有特色的英文學(xué)習(xí)資料和學(xué)習(xí)題庫(kù)，向用戶提供了高質(zhì)量的英文在線學(xué)習(xí)平臺(tái)。
　　目前，該項(xiàng)目正在處于試運(yùn)行階段，筆者所負(fù)責(zé)的模塊獲取的數(shù)據(jù)準(zhǔn)確，提供的題型