影音先锋av天堂,欧美一区二区三区国产精品

關(guān)于Scrapy爬蟲(chóng)項(xiàng)目運(yùn)行和調(diào)試的小技巧（上篇）

2019-05-07 10:18

掃除運(yùn)行Scrapy爬蟲(chóng)程序的bug之后，現(xiàn)在便可以開(kāi)始進(jìn)行編寫(xiě)爬蟲(chóng)邏輯了。在正式開(kāi)始爬蟲(chóng)編寫(xiě)之前，在這里介紹四種小技巧，可以方便我們操縱和調(diào)試爬蟲(chóng)。

一、建立main．py文件，直接在Pycharm下進(jìn)行調(diào)試

很多時(shí)候我們?cè)谑褂肧crapy爬蟲(chóng)框架的時(shí)候，如果想運(yùn)行Scrapy爬蟲(chóng)項(xiàng)目的話，一般都會(huì)想著去命令行中直接執(zhí)行命令“scrapy crawl crawler＿name”，其中crawler＿name指的是爬蟲(chóng)的名字，在一開(kāi)始創(chuàng)建Scrapy爬蟲(chóng)模板的時(shí)候就指定了的，而且在該爬蟲(chóng)項(xiàng)目中具有唯一性。但是每次跑到命令行下去執(zhí)行，看交互的結(jié)果，有時(shí)候并不是很清晰，所以這里介紹一種方法，可以幫助大家提高開(kāi)發(fā)效率，尤其是調(diào)試的時(shí)候更是顯得方便。

在與爬蟲(chóng)項(xiàng)目的scrapy．cfg文件同級(jí)目錄下建立一個(gè)main．py文件，用于控制整個(gè)爬蟲(chóng)項(xiàng)目的執(zhí)行。

在該文件夾中寫(xiě)入的代碼見(jiàn)下圖。其中execute函數(shù)是內(nèi)嵌在scrapy中的，調(diào)用這個(gè)函數(shù)可以直接調(diào)用該Scrapy工程項(xiàng)目的爬蟲(chóng)腳本，這個(gè)函數(shù)的執(zhí)行需要在爬蟲(chóng)項(xiàng)目的父目錄下進(jìn)行。而第7行代碼的意思就是獲取當(dāng)前py文件的父目錄，省去我們直接復(fù)制路徑的精力和時(shí)間，同時(shí)也方便我們將該項(xiàng)目放到其他的平臺(tái)上去運(yùn)行，不會(huì)報(bào)路徑的錯(cuò)誤。execute函數(shù)里邊的參數(shù)其實(shí)就是將Scrapy爬蟲(chóng)執(zhí)行命令拆分，然后分別以一個(gè)字符的方式放到了一個(gè)數(shù)組中。