Settings

Scrapy設(shè)置(settings)提供了定制Scrapy組件的方法?？梢钥刂瓢ê诵?core)，插件(extension)，pipeline及spider組件。比如 設(shè)置Json Pipeliine、LOG_LEVEL等。

參考文檔：Settings — Scrapy 1.0.5 文檔

內(nèi)置設(shè)置參考手冊(cè)

• BOT_NAME

  • 默認(rèn): 'scrapybot'

  • 當(dāng)您使用 startproject 命令創(chuàng)建項(xiàng)目時(shí)其也被自動(dòng)賦值。

• CONCURRENT_ITEMS

  • 默認(rèn): 100

  • Item Processor(即 Item Pipeline) 同時(shí)處理(每個(gè)response的)item的最大值。

• CONCURRENT_REQUESTS

  • 默認(rèn): 16

  • Scrapy downloader 并發(fā)請(qǐng)求(concurrent requests)的最大值。

• DEFAULT_REQUEST_HEADERS

  • 默認(rèn): 如下