大數(shù)據(jù)時(shí)代讓網(wǎng)絡(luò)自動采集機(jī)票價(jià)格成為了可能

隨著大數(shù)據(jù)時(shí)代的蓬勃發(fā)展和大數(shù)據(jù)技術(shù)的深入應(yīng)用，網(wǎng)絡(luò)自動采集機(jī)票價(jià)格成為了可能。本文結(jié)合工作實(shí)踐，再現(xiàn)從需求分析到技術(shù)選型，再到完成設(shè)計(jì)的工作過程。

機(jī)票采價(jià)需求分析

獲取明確的需求是高效、準(zhǔn)確開展工作的前提。機(jī)票采價(jià)工作中，一是有特殊的時(shí)間要求，需在特定的日期采集特定日期的機(jī)票;二是未通過攜程、飛豬等第三方平臺進(jìn)行，而是通過航班官網(wǎng)采集實(shí)際的機(jī)票價(jià)格;三是為保證價(jià)格采集有佐證，需在訂單頁將價(jià)格區(qū)域截圖保存。

相關(guān)技術(shù)選型

在分析研究需求之后，發(fā)現(xiàn)關(guān)鍵技術(shù)點(diǎn)有兩個：一是采集實(shí)際發(fā)生價(jià)格，二是價(jià)格區(qū)域截圖，需要選擇合適的程序。通過查找相關(guān)資料，發(fā)現(xiàn)Python的Selenium庫可以實(shí)現(xiàn)采價(jià)和截圖的需求。Selenium可以模擬用戶在瀏覽器中的一切操作，甚至可以不打開瀏覽器模擬操作(后臺無界面操作)。此結(jié)果完美符合技術(shù)需求，既能抓取到價(jià)格又能實(shí)現(xiàn)截圖。

東航采價(jià)設(shè)計(jì)與實(shí)現(xiàn)

在東航網(wǎng)站的采價(jià)中，最為困擾的有兩個問題：一個是登錄的驗(yàn)證，另一個是網(wǎng)頁數(shù)據(jù)加載不出來、中途彈出驗(yàn)證的問題。

登錄驗(yàn)證和中途驗(yàn)證。通過相關(guān)資料找到了一個比較成熟的解決方案。通過比對驗(yàn)證圖片和原始圖片的RGB信息找到缺口坐標(biāo)軸計(jì)算水平移動距離，采取“進(jìn)3退1”的方式移動到缺口位置，即可實(shí)現(xiàn)驗(yàn)證通過。

刷新網(wǎng)頁直到數(shù)據(jù)加載。由于會存在數(shù)據(jù)加載不出來的問題，所以在查詢結(jié)果頁加入元素判斷，將某個關(guān)鍵元素用Xpath的方式獲取，如果存在就繼續(xù)執(zhí)行操作，如果不存在則刷新網(wǎng)頁重新判斷。

采價(jià)日期計(jì)算。本文的思路為獲取當(dāng)前日期，并根據(jù)采價(jià)日期的要求計(jì)算采價(jià)的日期段。再利用Pandas庫的Series方法生成采價(jià)日期段，用于查詢機(jī)票。對于不同的網(wǎng)站有不同的日期格式，計(jì)算日期方法中設(shè)置日期格式參數(shù)，用于格式化日期之用。

價(jià)格區(qū)域截圖。在訂單頁面，通過F12工具定位價(jià)格區(qū)域的Xpath，并應(yīng)用Selenium的方法獲取該Xpath的坐標(biāo)和長、寬。操作截圖的時(shí)候是先截圖整個網(wǎng)頁，再根據(jù)價(jià)格區(qū)域的坐標(biāo)、長、寬進(jìn)行截圖。

國航采價(jià)設(shè)計(jì)與實(shí)現(xiàn)

查詢機(jī)票。對于出發(fā)城市和到達(dá)城市的輸入框，國航網(wǎng)站有輸入提示，本文思路為按照中文將出發(fā)地和輸入地發(fā)送過去，獲取提示框的Xpath地址，再調(diào)用點(diǎn)擊方法即可實(shí)現(xiàn)提示框的輸入。出發(fā)日期直接將日期輸入到輸入框即可。

識別彈窗。在實(shí)際操作中，成都有彈窗提示登記窗口，此時(shí)調(diào)用Selenium的方法，切換到Alert窗口，如果切換成功則點(diǎn)擊彈窗表示確認(rèn)，若切換失敗則無需做任何操作。

滑動到訂單頁底部。實(shí)際開發(fā)過程中，并沒找到具體的Selenium滑動頁面方式，可以通過編寫Javascript代碼的方式發(fā)送給瀏覽器執(zhí)行，具體代碼如下：

相關(guān)體會

一是技術(shù)選型很重要，采用合適的技術(shù)能促進(jìn)工作更好地開展。二是程序可以進(jìn)一步完善，可以抽象成公共的工具，出發(fā)地、到達(dá)地可以根據(jù)用戶指定去采價(jià)。