【爬虫】（八）Python之爬虫和数据小解析

发表于 | 分类于 | | 阅读次数 |
字数统计 2,110 | 阅读时长 9


Holi需要。
之前爬的课表，现在需要将那些个一连串的字符串分割成想要的单独的数据，做个性化推送。

程序的前面和之前一样，模拟登录。
在处理选课/改课这个网页的时候，还是蛮复杂的。
遇神杀神，见鬼杀鬼。

爬虫

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
def Store(self):
     # 改课选课
     grade_page = self.session.get(
         "http://yjsxt.xidian.edu.cn/electiveForwardAction.do")
     bsObj = BeautifulSoup(grade_page.text, "html.parser")
     table = bsObj.findAll("table", {"class": "list_2title"})[0]
     rows = table.findAll("tr")
     # 删除特定的标签和其标签下的内容
     # 方法：
     # 去除标签：[s.extract() for s in soup('script')]
     [s.extract() for s in bsObj.findAll(
         'td', attrs={'class': "special_background textLeft"})]
     csvFile = open('./xuankegaike.csv', 'w', newline='', encoding='utf-8')
     writer = csv.writer(csvFile)
     writer.writerow(('课程编号', '课程名称', '学分', '学位课', '上课学期',
                      '任课教师', '校区', '上课地点/星期/节次/周次', '分班号'))
     csvRow = []
     try:
         for row in rows:
             csvRow = []
             # for cell in row.findAll('td')[:-1]:
             for cell in row.findAll('td', attrs={'valign': "middle"})[:-1]:
                 csvRow.append(cell.get_text().strip().replace(' ', ''))
             writer.writerow(csvRow)
     finally:
         csvFile.close()
     csvFile1 = open('./xuankegaike.csv', 'r', encoding='utf-8')
     reader = csv.DictReader(csvFile1)

正个页面有一张大table，但是里面分布的真不整齐。

新方法s.extract()：

删除特定的标签和其标签下的内容
方法：
去除标签：[s.extract() for s in soup('script')]
s.extract()方法可以删除标签或指定标签下的内容。

获取指定td下的内容：

row.findAll('td', attrs={'valign': "middle"})[:-1]:

这几次爬虫对于切片还是用的很好的。

爬回待处理table：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
课程编号,课程名称,学分,学位课,上课学期,任课教师,校区,上课地点/星期/节次/周次,分班号
G00FL1020,综合英语,2,是,2016秋,培养办,北校区,,免修班
G00HA1012,科学道德与学风,0,是,2016秋,梁昌洪,南校区,,不分班
G00HA1010,中国特色社会主义理论与实践,2,是,2016秋,肖群,北校区,"J-201/星期一/(9-11)2,3,4,5,7,8,9,10,11,12,13",02
G00HA1011,自然辩证法概论,1,是,2017春,朱丹琼,北校区,"J-205/星期一/(3-4)2,3,4,5,7,8,9,11,12",07
G00FL1023,英语听说,1,是,2016秋,姜宁,北校区,"西-508/星期二/(7-8)2,3,4,5,7,8,9,10,11,12,13,14,15,16,17,18",07
G00FL1026,英美文化,1,是,2017春,邹甜甜,北校区,"西-514/星期一/(1-2)2,3,4,5,7,8,9,11,12,13,15,16,17,18",01
Z00MS1031,工程优化方法及应用,3,是,2016秋,寇晓丽,北校区,"J-205/星期四/(9-11)2,4,5,7,8,9,10,11,13,14,15,16,17,18,19",01
Z08EE1011,算法设计技术与方法,3,是,2016秋,公茂果,北校区,"J-304/星期三/(9-11)18J-304/星期五/(9-11)2,5,7,8,9,10,11,12,13,14,15,16,17,18,20",不分班
Z08TE1107,宽带无线通信,3,是,2016秋,盛敏,北校区,"J-204/星期一/(3-4)2,3,4,5,7,8,9,10,11,12,13,14,15,16,17,18J-204/星期四/(1-2)2,4,8,10,12,14,16,18",不分班
Z08TE1140,信号检测与估值理论,3,是,2017春,李颖,北校区,"J-208/星期三/(3-4)2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17J-208/星期五/(1-2)2,4,6,8,10,12,14,16",不分班
G00HA0040,体育,0.5,否,2016秋,白光斌,北校区,"体育馆/星期三/(3-4)3,4,5,7,8,9,10,11,12,13",01
G00HA0041,体育,0.5,否,2017春,白光斌,北校区,"体育馆/星期三/(5-6)2,3,4,5,6,7,8,9,10,11",02
Z08TE1222,扩频通信系统,2,否,2016秋,刘乃安,北校区,"J-205/星期二/(9-11)4,5,7,8,9,10,11,12,13,14,15",不分班
G00HA1016,知识产权与专利申请,1,否,2016秋,王喜媛,北校区,"J-101/星期二/(1-2)3,4,5,7,8,9,10,11,12",01
G00GS1001,企业实习报告,2,否,2016秋,培养办,北校区,,不分班
G00GS1002,开题报告,2,否,2016秋,培养办,北校区,,不分班
G00GS1003,中期检查,2,否,2016秋,培养办,北校区,,不分班
Z08TE1212,MIMO系统与OFDM传输技术,2,否,2016秋,赵力强,北校区,"J-204/星期二/(5-6)3,4,5,7,8,9,10,11,12J-204/星期四/(5-6)4,5,7,8,9,10,11",不分班
Z08TE1216,图像工程,3,否,2016秋,卢朝阳，李静,北校区,"J-208/星期五/(5-8)2,4,5,7,8,9,10,11,12,13,14,15",不分班
Z08EE1238,科学精神与方法专题讲座,2,否,2017春,梁昌洪,北校区,"图书馆报告厅（3楼）/星期四/(9-11)3,4,5,6,7,8,9,10,11,12,13",不分班

前几项都是可以直接存到MySQL，现在要做的就是把 上课地点/星期/节次/周次 这一栏切割后存进MySQL。

方法：split()

首先分析爬回的table。
里面的上课地点/星期/节次/周次可以分为三类：

  1. 空。比如综合英语，科学道德与学分。
  2. 一周只有一节课的课。
  3. 一周有两节课的课。

讲道理是要按照三种方法来对字符型切割。
但是该怎么来分类。
我的第一个思路是用：try，except。
但是这几个并不是用来处理选择结构的吧。
但是try，except，else，finally还是很好用的。
选择结构？难道不应该是if，else吗？
对！就是它！
对这几种不同类型的上课地点/星期/节次/周次字符串的长度进行分析，三类的长度大概如下：
第一类：长度为0；
第二类：长度为50~60；
第三类：长度60~90.
这样一来就按照上课地点/星期/节次/周次的长度来判断分割方法。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
# # 使用 execute()  方法执行 SQL 查询
try:
    if len(e['上课地点/星期/节次/周次']) > 60:
        cursor.execute(sql, (
            e['课程编号'].strip(),
            e['课程名称'].strip(),
            e['学分'].strip(),
            e['学位课'].strip(),
            e['上课学期'].strip(),
            e['任课教师'].strip(),
            e['校区'].strip(),
            e['上课地点/星期/节次/周次'].split("/")[0],
            e['上课地点/星期/节次/周次'].split("/")[1],
            e['上课地点/星期/节次/周次'].split(
                "(")[1].split(")")[0][0],
            e['上课地点/星期/节次/周次'].split("/")[2][5:-
                                             5].lstrip(')'),
            e['分班号'].strip()))
    # 存两次
        cursor.execute(sql, (
            e['课程编号'].strip(),
            e['课程名称'].strip(),
            e['学分'].strip(),
            e['学位课'].strip(),
            e['上课学期'].strip(),
            e['任课教师'].strip(),
            e['校区'].strip(),
            e['上课地点/星期/节次/周次'].split("/")[2][-5:],
            e['上课地点/星期/节次/周次'].split("/")[3],
            e['上课地点/星期/节次/周次'].split("/")[4][1],
            e['上课地点/星期/节次/周次'].split(
                "/")[4][5:].lstrip(')'),
            e['分班号'].strip()))
    else:
        cursor.execute(sql, (
            e['课程编号'].strip(),
            e['课程名称'].strip(),
            e['学分'].strip(),
            e['学位课'].strip(),
            e['上课学期'].strip(),
            e['任课教师'].strip(),
            e['校区'].strip(),
            e['上课地点/星期/节次/周次'].split("/")[0],
            e['上课地点/星期/节次/周次'].split("/")[1],
            e['上课地点/星期/节次/周次'].split(
                "(")[1].split(")")[0][0],
            e['上课地点/星期/节次/周次'].split(
                "/")[2][5:].lstrip(')'),
            e['分班号'].strip()))
except:
    # else len(e['上课地点/星期/节次/周次']) == 0:
    cursor.execute(sql, (
        e['课程编号'].strip(),
        e['课程名称'].strip(),
        e['学分'].strip(),
        e['学位课'].strip(),
        e['上课学期'].strip(),
        e['任课教师'].strip(),
        e['校区'].strip(),
        e['上课地点/星期/节次/周次'],
        e['上课地点/星期/节次/周次'],
        e['上课地点/星期/节次/周次'],
        e['上课地点/星期/节次/周次'],
        e['分班号'].strip()))

if

下面包含两部分：

  1. 字符串长度大于60的，即一周有两节课的情况。
  2. 一周有两节课的情况，将该课程在数据库存两次，但是两次的上课时间、地点、周次是不一样的。

else

处理长度小于60的，即一周只要一节课的课。

except

当前两项都出现异常时，其必然是第一类情况，字符串为空，直接存进就可以。

split

split的几种用法：
split("/")[0]：按照“/”分割，取第一个切片。 

split("(")[1].split(")")[0][0]

取“（）”内的字符串的第一个。

最后

将里面的简单字符串都处理为数字。 

for e in reader:
    # 是否是学位课
    if e['学位课'] == '是':
        e['学位课'] = '1'
    else:
        e['学位课'] = '0'
    # 学期
    if e['上课学期'] == '2016秋':
        e['上课学期'] = '0'
    else:
        e['上课学期'] = '1'

存进数据库了。


这次还是发现了很多的问题。
归根结底，还是基础不太好，是得花时间在研习下Python基础。

谢谢你请我吃糖果！