您好,欢迎来到[编程问答]网站首页   源码下载   电子书籍   软件下载   专题
当前位置:首页 >> 编程问答 >> 其他语言 >> scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?

scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?

来源:网络整理     时间:2018/1/29 0:54:37     关键词:

关于网友提出的“ scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?”问题疑问,本网通过在网上对“ scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?”有关的相关答案进行了整理,供用户进行参考,详细问题解答如下:

问题: scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?
描述:

我在scrapy的settings中设置了LOG_LEVEL = 'INFO',但我用CrawlerProcess将多个项目在一个进程中运行的时候,日志显示为DEBUG,这是为什么?'INFO'比较省些资源吧?
用的是官网的第一个案例,

类似这样,再运行该文件。


解决方案1:

把DEBUG的包 比如urllib3,根据这个改
logging.getLogger("urllib3").setLevel(logging.WARNING)

解决方案2:

请加载设置


from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings()) #加载项目设置

# 'followall' 是爬虫项目中的爬虫示例
process.crawl('followall', domain='scrapinghub.com')
process.start() # the script will block here until the crawling is finished

https://doc.scrapy.org/en/lat...


这个代码示例是展示直接运行爬虫,运行爬虫项目需加载项目设置


以上介绍了“ scrapy 明明在settings中设置 'INFO',但用CrawlerProcess运行的时候,为什么是DEBUG?”的问题解答,希望对有需要的网友有所帮助。
本文网址链接:http://www.codes51.com/itwd/4537108.html

相关图片

相关文章