在上一篇中，task_queue所解决的问题是，一个message只能被一种consumer所接收。现在我们有了新的需求，我们需要一个日志系统，我们希望有两种consumer，一种consumer将日志输出到屏幕，另一种consumer写到disk。为了实现这个目的，我们希望message被投到两个queue中，交给不同的consumer进行处理。

当我们的确是有需要开始真正优化我们的Python程序的时候，我们要做的第一步并不是盲目的去做优化，而是对我们现有的程序进行分析，发现程序的性能瓶颈进而进行针对性的优化。这样才会使我们花时间和精力去做的优化获得最大的效果。

Python内置两个非常常用的时间处理库 time 和 datetime，足以满足工作中的各种需求。

这次主要替换了程序里一些不可用的链接，对登录时的验证码作了处理，对去重队列作了优化。并且可以非常简单地实现爬虫分布式扩展。

本人工作中需要用到flask-socketio，在学习英文文档时发现，flask-socketio目前并没有相关的中文文档。斗胆利用业余时间将这个库的英文文档翻译出来，希望能够帮助那些没有时间或精力研习英文文档的朋友。

virtualenv为我们提供了一个很强大的隔离环境的功能，特别是在多应用、多版本的情况下，其威力不言而喻，这里我只是简单的写了 virtualenv的一些最基本的东西。

Pandas是Python的一个结构化数据分析的利器。其中，DataFrame是比较常用的处理数据的对象，类似于一个数据库里的table或者excel中的worksheet，可以非常方便的对二维数据读取（xls，csv，hdf等）、增删改查、基本绘图等。pandas应该是用python做数据分析必不可少的工具。

本来想这周继续写写 Flask 那点破事儿的，但是想了想决定换换口味，来聊聊很不容易理解但是很重要的 Python 中的生成器和协程。

“去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。