您好,欢迎来到[编程问答]网站首页   源码下载   电子书籍   软件下载   专题
当前位置:首页 >> 编程问答 >> 其他语言 >> (python)pyspider超时 HTTP 599: Operation timed out after

(python)pyspider超时 HTTP 599: Operation timed out after

来源:网络整理     时间:2017/8/15 0:45:14     关键词:

关于网友提出的“ (python)pyspider超时 HTTP 599: Operation timed out after ”问题疑问,本网通过在网上对“ (python)pyspider超时 HTTP 599: Operation timed out after ”有关的相关答案进行了整理,供用户进行参考,详细问题解答如下:

问题: (python)pyspider超时 HTTP 599: Operation timed out after
描述:

Retry的几次之后,系统感觉就不在动了,好像任务停止了一样

源码如下:

class Handler(BaseHandler):
crawl_config = {
}

def __init__(self):
    self.deal = Deal()

@every(minutes=24 * 60)
def on_start(self):
    self.crawl('http://hangkong.citytt.com/hk-1/', callback=self.index_page)

@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
    for each in response.doc('.list_centaa a[href^="http"]').items():
        self.crawl(each.attr.href, callback=self.detail_page,connect_timeout = 50,timeout = 200,save={'name': each.text()})

@config(priority=2)
def detail_page(self, response):
    html =response.doc('div.center_rt').html()
    #print html
    pattern = re.compile(u'航空公司:(.*?)<br.*?IATA代码:(.*?)<br.*?官方网站:(.*?)<br',re.S)
    items = re.findall(pattern, html)
    result = ''
    for item in items:
        print item
        result = "[%s,%s,%s],\n" % (item[0],item[1],item[2])
        
    print result
    #self.deal.saveBrief(result, DIR_PATH, "aaa")
    return {
        "url":result,
        "name": response.save['name'],
    }

解决方案1:

如字面所诉,请求超时。
而重试过多次之后,重试间隔会加大,任务还没有到重试的时间。所以你看起来它不再运行了。

解决方案2:

将timeout值修改大一点可解决


以上介绍了“ (python)pyspider超时 HTTP 599: Operation timed out after ”的问题解答,希望对有需要的网友有所帮助。
本文网址链接:http://www.codes51.com/itwd/4428355.html

相关图片

相关文章