西电睿思
西电睿思，建立于2009年9月，是一个面向西安电子科技大学师生的以资源共享为主，包括论坛在内诸多功能的综合集娱乐、学习、资源交流的平台。名字取自“睿智善思”和“resource”的谐音，网站的宗旨是“永远不去谋求任何商业利益，只为西电人有一个高速下载的地方，有一个开心聊天交朋友的地方而努力”。
初衷
首先要说的是真的特别喜欢睿思，也特别喜欢它的宗旨！“永远不去谋求任何商业利益，只为西电人有一个高速下载的地方，有一个开心聊天交朋友的地方而努力”。睿思背后的技术团队一定是伟大，灿烂的！技术也是有温度的！
之前写了一个简单的爬虫登录睿思领金币（其实我也没怎么领，因为金币够用。[偷笑][偷笑]）。就有一个想法，希望年底能对睿思做一个报告分析,特别好奇西电er在学习磕盐之余关心什么。
本来的计划是爬取睿思全站的信息，后来因为种种事情忙的不可开交，只对西电睿思灌水专区、相聚睿思板块的发帖人、帖子标题。帖子内容进行了采集。当然，采集的时长和网速都有控制，不会对睿思服务器造成影响的~(采集过程中出了好多幺蛾子！xue微的用了人工“断点采集”……)
采集内容统计
|
|
|
|
|
|
灌水专区关键字榜单
对采集的信息首先进行了结巴分词，然后做了词频统计。使用了停用表过滤（就是过滤嗯、啊、的这些没意思的词语），发现还是有很多BBS的用语，就自己又建立了一个过滤表，体现我个人倾向以及非官方的时候到了[哈哈]。得到以下排行：
“可以”
“可以”？什么可以？可以什么？ Are you ok ?
可以可以，很可以。我电孩纸们难道很佛系？
当然，也希望大家可以一直可以下去，2018年里一直可以!一直ok下去！
“他” “她”
“他”的次数出现了3280次。“她”的次数出现了1739次。
本来以为“食堂”（580）、“餐厅”（249）、“空调”（359）会上榜。看到这个榜单，其实还是比较符合睿思上的情况的。“工作”、“毕业”、“手机”、“研究生”、“流量”、“宿舍”等等，就是我们日常的日常啊。
缘聚睿思关键字榜单
“老乡”
缘聚睿思的板块，采集的数据比较久远。“老乡”一共出现了734次。看来大家还是喜欢找一个老乡或者喜欢给老乡找一个。“可以”又出现了，到底什么可以呢？？？希望一切都可以吧。
“妹子”
“妹子”出现排行第三，不知道怎么解释了。[尴尬]
“身高”
我觉得这个可能是最有意义的了，到底睿思的标准是不是173？？刚刚写了个正则，发现还是不能很好的匹配出好的结果。（然而我要去忙了，后面再做分析吧）
（updating）
~~~
问题集合
遇到的问题:捕获异常、重复处理、网络异常502,504，数据库数据类型错误
