同事写了个爬虫，逻辑上看着没什么问题，但是一直报错：Request url must be str or unicode……
打印了一下url 和url 的类型，确实是 unicode 懵逼……
打印url 时，突然发现url 的域名和 爬虫设置的 allowed_domains 参数并不相同。
按正常来说，如果url 不在allowed_domains 范围内，他应该是会被禁止的。但是当用Request 对指定 的url 发送请求时，他竟然抛出了这么一个错误……
改了一下allowed domains ，爬虫就正常爬去了……
