后使用快捷导航没有帐号？
只需一步，快速开始
请完成以下验证码
请完成以下验证码
主题帖子荣誉
查看: 2826|回复: 16
回复本帖可获得 2 鱼币奖励! 每人限 1 次
& 累计签到：13 天连续签到：1 天
马上注册加入鱼C，享用更多服务吧^_^
才可以下载或查看，没有帐号？
最近学习了小甲鱼的OOXX之后，一直想要实践，但是不是采用SCRAPY框架的方法。而我想要使用Scrapy框架进行爬取。我就根据63章节来进行了爬虫图片练习。
但是，总是爬不成功。希望各位前辈帮忙指导一下。
执行后显示的代码：
python@ubuntu:~/tupian$ scrapy crawl tupian
02:00:38 [scrapy] INFO: Scrapy 1.0.3 started (bot: tupian)
02:00:38 [scrapy] INFO: Optional features available: ssl, http11, boto
02:00:38 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tupian.spiders', 'SPIDER_MODULES': ['tupian.spiders'], 'DOWNLOAD_DELAY': 0.25, 'BOT_NAME': 'tupian'}
02:00:38 [scrapy] INFO: Enabled extensions: CloseSpider, TelnetConsole, LogStats, CoreStats, SpiderState
02:00:38 [boto] DEBUG: Retrieving credentials from metadata server.
02:00:39 [boto] ERROR: Caught exception reading instance data
Traceback (most recent call last):
&&File &/usr/lib/python2.7/dist-packages/boto/utils.py&, line 210, in retry_url
& & r = opener.open(req, timeout=timeout)
&&File &/usr/lib/python2.7/urllib2.py&, line 429, in open
& & response = self._open(req, data)
&&File &/usr/lib/python2.7/urllib2.py&, line 447, in _open
& & '_open', req)
&&File &/usr/lib/python2.7/urllib2.py&, line 407, in _call_chain
& & result = func(*args)
&&File &/usr/lib/python2.7/urllib2.py&, line 1228, in http_open
& & return self.do_open(httplib.HTTPConnection, req)
&&File &/usr/lib/python2.7/urllib2.py&, line 1198, in do_open
& & raise URLError(err)
URLError: &urlopen error timed out&
02:00:39 [boto] ERROR: Unable to read instance data, giving up
02:00:39 [scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddleware, HttpCompressionMiddleware, RedirectMiddleware, CookiesMiddleware, ChunkedTransferMiddleware, DownloaderStats
02:00:39 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware
02:00:39 [scrapy] INFO: Enabled item pipelines: TupianPipeline
02:00:39 [scrapy] INFO: Spider opened
02:00:39 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
02:00:39 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
02:00:39 [scrapy] INFO: Closing spider (finished)
02:00:39 [scrapy] INFO: Dumping Scrapy stats:
{'finish_reason': 'finished',
'finish_time': datetime.datetime(, 18, 0, 39, 629425),
'log_count/DEBUG': 2,
'log_count/ERROR': 2,
'log_count/INFO': 7,
'start_time': datetime.datetime(, 18, 0, 39, 626707)}
02:00:39 [scrapy] INFO: Spider closed (finished)
代码如下：
tupianspider.py文件
#coding:utf-8
import scrapy
from tupian.items import TupianItem
from scrapy.crawler import CrawlerProcess
class tupianSpidier(scrapy.Spider):
& & name = 'tupian' #该名字为爬虫的独立名字
& & allowed_domains = [&toumiaola.com&]#图片在该网址范围内
& & star_urls= [&http://www.toumiaola.com/youtu/&]#图片起始位置
& & def parse_img(self, response):
& && &&&item = TupianItem()
& && &&&item['image_urls'] = response.xpath('//img//@src').extract()#提取图片地址
& && &&&print'image_urls', item['image_urls']
& && &&&yield item
& && &&&new_url = ('http://www.toumiaola.com/youtu/' + [response.xpath('//a[@href=&list_/w&]')]).extract_first()#寻找下一页
& && &&&print'new_url', new_url
& && &&&if new_url:
& && && && &yield scrapy.Request(new_url, callback=self.parse)
items.py文件
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
# See documentation in:
import scrapy
class TupianItem(scrapy.Item):
& & # define the fields for your item here like:
& & # name = scrapy.Field()
& & image_urls = scrapy.Field()#图片地址
pipelines.py文件
# -*- coding: utf-8 -*-
# Define your item pipelines here
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
import urllib
from tupian import settings
class TupianPipeline(object):&&
& & def process_item(self, item, spider):
& && &&&dir_path = '%s%s'%(settings.IMAGES_STORE,spider.name)
& && &&&print'dir_path', dir_path
& && &&&if not os.path.exists(dir_path):
& && && && &os.makedirs(dir_path)
& && &&&for image_url in item['image_urls']:
& && && && &list_name = image_url.split('/')
& && && && &file_path = list_name[len(list_name)-1]#图片名称
& && && && &#print 'filename',file_path
& && && && &if os.path.exists(list_name):
& && && && && & continue
& && && && &with open(file_path, 'wb')as file_writer:
& && && && && & conn = urllib.urlopen(image_url)#下载图片
& && && && && & file_writer.write(conn.read())
& && && && &file_writer.close()
& && &&&return item
Settings.py文件
BOT_NAME = 'tupian'
SPIDER_MODULES = ['tupian.spiders']
NEWSPIDER_MODULE = 'tupian.spiders'
ITEM_PIPELINES = {
& & 'tupian.pipelines.TupianPipeline':1,
IMAGES_STORE='E:'
DOWNLOAD_DELAY=0.25
诚心的请教，希望可以帮忙解答。
python@ubuntu:~/tupian/jiandan$ scrapy crawl jiandan
00:02:33 [scrapy] INFO: Scrapy 1.0. ...
'downloader/response_status_count/302': 1,
'downloader/response_status_count/503': 3,
jiandan发现你是爬虫，拒绝了
& 累计签到：13 天连续签到：1 天
唉，前期每一步都是深渊，努力爬上高处。
& 累计签到：20 天连续签到：1 天
回帖奖励 +2 鱼币
等我学会了我来帮你解答
& 累计签到：13 天连续签到：1 天
等我学会了我来帮你解答
好吧。期待~
& 累计签到：13 天连续签到：1 天
感觉指向地址也正确。怎么会就结束了呢
& 累计签到：13 天连续签到：1 天
python@ubuntu:~/tupian/jiandan$ scrapy crawl jiandan
00:02:33 [scrapy] INFO: Scrapy 1.0.3 started (bot: jiandan)
00:02:33 [scrapy] INFO: Optional features available: ssl, http11, boto
00:02:33 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'jiandan.spiders', 'SPIDER_MODULES': ['jiandan.spiders'], 'DOWNLOAD_DELAY': 0.25, 'BOT_NAME': 'jiandan'}
00:02:33 [scrapy] INFO: Enabled extensions: CloseSpider, TelnetConsole, LogStats, CoreStats, SpiderState
00:02:33 [boto] DEBUG: Retrieving credentials from metadata server.
00:02:34 [boto] ERROR: Caught exception reading instance data
Traceback (most recent call last):
&&File &/usr/lib/python2.7/dist-packages/boto/utils.py&, line 210, in retry_url
& & r = opener.open(req, timeout=timeout)
&&File &/usr/lib/python2.7/urllib2.py&, line 429, in open
& & response = self._open(req, data)
&&File &/usr/lib/python2.7/urllib2.py&, line 447, in _open
& & '_open', req)
&&File &/usr/lib/python2.7/urllib2.py&, line 407, in _call_chain
& & result = func(*args)
&&File &/usr/lib/python2.7/urllib2.py&, line 1228, in http_open
& & return self.do_open(httplib.HTTPConnection, req)
&&File &/usr/lib/python2.7/urllib2.py&, line 1198, in do_open
& & raise URLError(err)
URLError: &urlopen error timed out&
00:02:34 [boto] ERROR: Unable to read instance data, giving up
00:02:34 [scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddleware, HttpCompressionMiddleware, RedirectMiddleware, CookiesMiddleware, ChunkedTransferMiddleware, DownloaderStats
00:02:34 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware
00:02:34 [scrapy] INFO: Enabled item pipelines: JiandanPipeline
00:02:34 [scrapy] INFO: Spider opened
00:02:34 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
00:02:34 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
00:02:34 [scrapy] DEBUG: Redirecting (302) to &GET & from &GET &
00:02:34 [scrapy] DEBUG: Retrying &GET & (failed 1 times): 503 Service Unavailable
00:02:35 [scrapy] DEBUG: Retrying &GET & (failed 2 times): 503 Service Unavailable
00:02:35 [scrapy] DEBUG: Gave up retrying &GET & (failed 3 times): 503 Service Unavailable
00:02:35 [scrapy] DEBUG: Crawled (503) &GET & (referer: None)
00:02:35 [scrapy] DEBUG: Ignoring response &503 &: HTTP status code is not handled or not allowed
00:02:35 [scrapy] INFO: Closing spider (finished)
00:02:35 [scrapy] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 1063,
'downloader/request_count': 4,
'downloader/request_method_count/GET': 4,
'downloader/response_bytes': 8516,
'downloader/response_count': 4,
'downloader/response_status_count/302': 1,
'downloader/response_status_count/503': 3,
'finish_reason': 'finished',
'finish_time': datetime.datetime(, 16, 2, 35, 655094),
'log_count/DEBUG': 8,
'log_count/ERROR': 2,
'log_count/INFO': 7,
'response_received_count': 1,
'scheduler/dequeued': 4,
'scheduler/dequeued/memory': 4,
'scheduler/enqueued': 4,
'scheduler/enqueued/memory': 4,
'start_time': datetime.datetime(, 16, 2, 34, 321404)}
00:02:35 [scrapy] INFO: Spider closed (finished)
& 累计签到：249 天连续签到：18 天
&&&本楼为最佳答案&&&
回帖奖励 +2 鱼币
python@ubuntu:~/tupian/jiandan$ scrapy crawl jiandan
00:02:33 [scrapy] INFO: Scrapy 1.0. ...
'downloader/response_status_count/302': 1,
'downloader/response_status_count/503': 3,
jiandan发现你是爬虫，拒绝了
& 累计签到：13 天连续签到：1 天
'downloader/response_status_count/302': 1,
'downloader/response_status_count/503': 3,
原来代码是这么看的....敞开了世界的大门，我原来还以为只看最下面的INFO。。。学习了。
& 累计签到：42 天连续签到：1 天
回帖奖励 +2 鱼币
厉害了，学习学习
& 累计签到：11 天连续签到：1 天
回帖奖励 +2 鱼币
看到这些代码，我瞬间懵逼了。。水平还不如你。。。
& 累计签到：209 天连续签到：1 天
回帖奖励 +2 鱼币
& 累计签到：2 天连续签到：1 天
回帖奖励 +2 鱼币
还没有学的这里，完全看不懂
& 累计签到：35 天连续签到：1 天
回帖奖励 +2 鱼币
也在學爬蟲中..同楊等大神恢復,也參考學習
& 累计签到：57 天连续签到：1 天
回帖奖励 +2 鱼币
& 累计签到：35 天连续签到：1 天
同樣學習中...
& 累计签到：95 天连续签到：2 天
回帖奖励 +2 鱼币
& 累计签到：35 天连续签到：1 天
进来看看了。。
小甲鱼强烈推荐
给我一节课的时间，帮你从繁琐的工作中解脱出来！
- - - - - - - - - - - -
极客Python，新课程！！
新的视频新的面貌，希望大家喜欢 (≧∇≦)ﾉ
- - - - - - - - - - - -
新课程，新体验！
特效不会给你基本工资，但却能让你升职加薪
- - - - - - - - - - - -
有备无患，念念不忘
移动客户端下载（未启用）
微信公众号
Powered by
Copyright &
&&& All Rights Reserved.大神求救！第一次用C-Free5.0 小白 为什么老是被调试程序不是可执行程序。
[问题点数：40分，无满意结帖，结帖人paschen]
大神求救！第一次用C-Free5.0 小白 为什么老是被调试程序不是可执行程序。
[问题点数：40分，无满意结帖，结帖人paschen]
不显示删除回复
显示所有回复
显示星级回复
显示得分回复
只显示楼主
2016年5月 总版技术专家分月排行榜第二
2016年10月优秀大版主2016年8月论坛优秀大版主
2014年 总版技术专家分年内排行榜第二
2013年 总版技术专家分年内排行榜第三
匿名用户不能发表回复！|[已解决 - ]
悬赏价格: 无忧币 10
求救求救，关于2008R2再次激活问题！
服务器上安装了个企业版的08R2，之前一直抱着侥幸的心理于是用工具激活了。激活工具提示激活成功，用了一个月发现每个一个小时自动关机。查看日志，说是激活问题。
Windows 许可证激活失败。错误 0x。& && && && && & 事件4103
许可证激活(slui.exe)失败，错误代码如下:0x& && & 事件9198
“C:\Windows\System32\systemcpl.dll”的激活上下文生成失败。 找不到从属程序集 Microsoft.Windows.Common-Controls,language=&*&,processorArchitecture=&*&,publicKeyToken=&4741&,type=&win32&,version=&6.0.0.0&。 请使用 sxstrace.exe 进行详细诊断。& && &事件33
后来就用以前激活的工具进行“卸载”，在淘宝网上购买了一个2008的激活码.卸载后想输入激活的时候发现报错.(如图.)发现激活码也输入不了.
再次进入日志,发现
错误应用程序名称: slui.exe，版本: 6.1.，时间戳: 0x4ce79f61
错误模块名称: unknown，版本: 0.0.0.0，时间戳: 0x
异常代码: 0xc0000005
错误偏移量: 0x0000& &事件1000
各位大神，这个到底怎么处理啊？
(59.39 KB)
最佳答案 ( 回答者:
此类问题出现确实让人觉得头疼，两年前我也为这个问题踌躇很久，老天不负有心人，我在网上无意搜索到了一款Windows server 2008的激活工具，该工具绝对属于永久性正版激活，我们公司内部通过测试，直接去微软官网下载最新的2008系统介质，然后正常安装之后出现3天提示激活期限，果断点击激活软件，然后提示重启，之后一切的验证更新均全部通过，服务器使用到现在，都没有出现过任何异常，觉得该资源不错，希望对你有所帮助。
下载地址：
采纳率-&&/&&-
结帖率1帖&&/&&100%
帖子75&精华&无忧币22 &在线时间22 小时&注册时间&最后登录&求救！C语言题求解决！_百度知道
求救！C语言题求解决！
好心人来一个啊啊啊啊！加点注释再好不过！- -本人水平不好 最后，是用C语言解决啊喂！
1、最小倍数
倍数，一般是指就是一个数乘以任意正整数所得到的结果，只要一个乘法就可以求出来，非常简单，但，假如我们限制结果的各位只能由0和1组成呢？ 那...
我有更好的答案
1.&BFS#include&&stdio.h&#include&&string.h&char&ans[1000000];int&pre[1000000];int&queue[1000000];int&head,&void&print(int&index)&{ if&(pre[index]&!=&0)&{
print(pre[index]); } putchar(ans[index]);}int&main()&{ int&n,&temp,&temp2; scanf(&%d&,&&n); head&=&tail&=&0; memset(pre,&-1,&sizeof(pre)); queue[tail++]&=&1; ans[1]&=&'1'; pre[1]&=&0; while&(head&!=&tail)&{
temp&=&queue[head++];
temp2&=&temp&*&10;
temp2&%=&n;
if&(pre[temp2]&==&-1)&{
ans[temp2]&=&'0';
pre[temp2]&=&
if&(temp2&==&0)&
queue[tail++]&=&temp2;
temp2&=&(temp2&+&1)&%&n;
if&(pre[temp2]&==&-1)&{
ans[temp2]&=&'1';
pre[temp2]&=&
if&(temp2&==&0)&
queue[tail++]&=&temp2;
} } print(0); printf(&\n&);}2.&Linked&List&/&Brute-Force这个太简单了，网上很多源码，我就懒的写了
= =我要.c文件运行啊 这个C++的吧 大神来改下吧！下午要用啊啊啊啊
这个就是C语言的，你哪里看出是C++了
额- -为嘛后缀改成cpp才能运行呢~ .c后缀好像不能运行诶
你用的是啥编译器
Microsoft Visual C++6.0
那你把改成.c之后的编译错误信息给我
原谅我的逗逼！- -我打错了！
#include&&stdio.h&int&main()&{ int&M,&N,&i,&c,& int&people[20]; scanf(&%d&%d&,&&M,&&N); for&(i&=&0;&i&&&M;&i++)&{
people[i]&=&i&+&1; } pos&=&-1; for&(i&=&0;&i&&&M&-&1;&i++)&{
while&(c--)&{
pos&=&(pos&+&1)&%&M;
}&while&(people[pos]&==&-1);
printf(&%d&&,&pos&+&1);
people[pos]&=&-1; } for&(i&=&0;&i&&&M;&i++)&{
if&(people[i]&!=&-1)&{
printf(&%d\n&,&i&+&1);
采纳率：63%
就会第二题，请原谅#include&stdio.h&void main(){
int i=0,j=1,k=1,m,M,N,a[21];
scanf(&%d%d&,M,N);
//输入人数M，整数N
for(;i&=m;i++) a[i]=1;
//赋初值，1在，0退出
//开始人数为M
//判断是否在圈中
if((j++==N)
//判断是否报N
printf(&%d &,i);
//人数减少
if(m==1) {printf(&%d&,i);
//人数为一后退出
if(i==M）i=1;
} while(1);}
//--&&第一题有人解答了。那我来第二题。#include&iostream&using&namespace&void&main(){ int&m[100],&M; int&n; cout&&&&&M&&:&; cin&&M; int&i,&j,&s; for(i=0;&i&M;&i++)
m[i]=i+1; cout&&&&&N&&:&; cin&&&&n; i=-1; s=j=0;//--&s表示出队人数，j表示报数 do{
if(i==M)//--&&报数到最后一个重头开始
if(m[i]==0)
//--&&对应位置出列的，跳过
if(j==n)//--&&报数到n出去一个，
cout&&&&m[i]&&&&&&&;
m[i]=0;//--&&出去后置为0；
s++;//--&&出队人数累计
j=0;//--&&重新报数
} }while(s&M);//--&&还有人未出队，不断重复执行。}
eh.h is only for C++ 唉 我要的是C诶= = 还是谢谢
为您推荐：
其他类似问题
您可能关注的内容
c语言的相关知识
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。Windows8.1系统启动突然变得极慢！求救！_百度知道
Windows8.1系统启动突然变得极慢！求救！
windows8.1系统启动突然变得极慢，平均都要13，14分钟！（就是先出现Windows标志五个圆点转了10分钟，然后黑屏了几分钟，才进入登陆界面。。。）连桌面删东西都费劲，不停的卡死，连任务管理器都不响应。想重装系统，但是10分钟就提取了百分之一！我的是think...
我有更好的答案
软件，找出不合适的东西就不要安装了，请还原一下系统或重装（还是不行格式化硬盘重新分区重装，在不行就要换硬盘了，或检修一下去吧）：如果还原系统或重装后，安装驱动，看看开机还有问题吗，会弹出一个框，点是，在弹出的驱动器属性窗口中依次选择“工具→开始检查”并选择“自动修复文件系统错误”和“扫描并恢复坏扇区”，不要安装软件、补丁、驱动等，自动关机后在开机进行修复，Win78选按计划磁盘检查按钮）。请注意。2）如果上面的方法不能解决，电脑无法启动或死机：具体步骤如下：在我的电脑中选中盘符C 后单击鼠标右键选属性、显卡、主板等是否出现问题，如果是硬件问题引起的。硬盘坏道可以采用NDD磁盘工具或Scandisk来修复。 硬盘坏道将导致电脑系统文件损坏或丢失，然后点击开始，扫描时间会因磁盘容量及扫描选项的不同而有所差异（按上面的方法做后，先软后硬，重新安装操作系统，一定要将影响你这次出事的东西不要在安装上去了，否则就白还原或重装了。3）硬件方面，如硬盘、内存？如果没有在逐步的安装驱动、补丁、补丁、软件等东西时。 如果故障依旧1)可能是非法关机或其它原因引起的磁盘受损，请修复一下（每个磁盘都修复一下或只修复C）。 系统自带的磁盘修复方法，建议检修一下去
采纳率：89%
中病毒了吧，否则不可能这么慢
①现在的软件安装，免不了夹带随机启动项，不管开机是否运行这个软件，都会随机添加启动项，占用电脑宝贵的资源，轻则拖累系统，重则导致系统死机等异常现象。好在系统自带启动项的管理程序，使用鼠标右键点击屏幕左下方的开始按钮→运行②在运行中输入：msconfig →确定。③打开系统配置程序之后，常规→可以选择 诊断启动→确定。④如果重启电脑，启动快了，那就是随机启动项太多的缘故，清理一下无用的启动项即可。系统配置→启动→打开任务管理器（这个操作和之前的操作系统有所不同）。⑤清理启动影响高的程序，即可加快启动速度了。⑥操作很简单，点选程序→禁用（这是一个可逆操作，需要随机启动点击启用即可）⑦如果不清楚是什么启动程序，右键点击该程序→属性（一探究竟）⑧还不清楚，点击打开文件位置，到程序的文件夹中查看。一般而言，任何程序都可以等到系统启动完毕之后，再根据需要启动。⑨最后，查看上次在BIOS所花时间是否长？太长，那就和操作系统无关，可以尝试设置BIOS的默认值。开机会有进入BIOS的键值显示。⑩当然，系统中的系统配置只是比较简单的禁用启动项的工具（禁用之后，程序还在），如要更深入管理启动项程序，可以使用更专业的工具，比如：autoruns。参考资料：《怎么处理Windows 8.1 开机慢?》
为您推荐：
其他类似问题
windows8的相关知识
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。}