/ 4 min 阅读
为了偷懒我决定写一个定时推送...
可是我后来发现人工分享好累，后面居然开始有朋友说我推的歌不好玩。 这就有点过分了。所以决定用机械的方式，来做每日的一个定时推送。 这是我在刚刚有这个打算时候想法：使用API拉到我的歌单列表，然后随机那首歌，取这首歌的热评，然后从热评随机拿一…
#数据采集
网页抓取、接口采集与清洗
/ 2 min 阅读
[英雄联盟数据计划] 最初计划和构想
坐车无聊，在翻到某多玩的评论之后心情不由得有点暴躁。所以突发奇想：拉一些赛事的数据下来做一些数据分析相关的事情，在初期构想来看，游戏的架构分为战队，个人和英雄三个方面，所以个人觉得实现有路可循，而其数据量不会特别爆炸但是字段很多很复杂，所以…
/ 2 min 阅读
Java 利用雅虎API 采集天气情况
是这样的-为了业务需求，产品要求在某页加上天气信息，且根据日落日出时间来提醒行程时间在日落后的人打开车灯。由于业务都在国外，像国家气象中心就凉了，产品极力推荐使用Yahoo Weather。然后折腾了一整日大概摸清了Yahoo的Weathe…
/ 4 min 阅读
[网易云音乐] 热评的故事。
在这次之前学习API的时候发现了一些事情，我利用网易云音乐的API实现了一些简单的歌曲搜索、封面图片的爬去之类的无聊事情。而最近在使用网易云的时候发现自己已经使用网易云整整两年了（顺便思考了一下我的手机为什么装一个APP这么久。连原来的QQ…
/ 4 min 阅读
Python采集JavaScript
之前在上bilibili的时候就想通过python的采集办法来获取视频封面，但是在人工手动解读代码的时候发现了一些问题：BiliBili的主页由JS动态生成，当http去访问时还会重定向到https（主页），所以直接用BeautifulSo…
/ 3 min 阅读
跨越表单和登录窗口的采集
之前就提到过，简单的采集办法对JS和登录表单的网站无可奈何，网站在获取表单和进行登录这一过程的时候，都是使用HTTP协议的Get方法去请求信息，这样可以通过POST方法，把信息推送给网络服务器进行存储和分析。 页面的表单基本上可以看成是一种…
/ 3 min 阅读
Python清洗数据
之前在采集的时候我曾经遇到过一个问题：一旦传输过来的页面不能提供样式规范的信息我就变得束手无策（比如Bilibli的主页，百度的主页，采用js动态生成我就彻底没有办法了）但是如果创建的爬虫只能采集那些显而易见的信息，不经过任何处理就存储起来…
/ 2 min 阅读
Python读取PDF和微软docx
之前在学习linux时尝试着将电脑系统装为双系统。而在Linux环境下像微软软件的替代品也有不少（当然特指ubuntu）而在学校机房就没有这么幸运了，Kali Linux就是一个典型的例子，但是文档的通行格式却不是docx或者doc，而是P…
/ 3 min 阅读
Python读取纯文本和CVS
之前在百科看到一句介绍HTML网站的话：经过点缀的多媒体集合。但这些集合当中的元素我在Get的时候往往也遇到了一些问题，不论是编码问题还是js，对于我而言这些东西在简单采集的时候几乎是非常致命的，不过还好，工具足够强大。这里附编码格式简介文…
/ 11 min 阅读
数据库MySQL和Python
在上次搞到百度地图API的时候我底下也写了不少检测小程序。在这个过程中我遇到了不少的问题：数据量或者是生产结果很小的时候使用命令行或者用PyCharm的控制台输出是蛮好用还挺酷炫的，但是数据采集我总不能到大后期还是一两条吧，想了这个问题之后…
/ 2 min 阅读
API和爬虫真正的Py
说起来很过分哎，前面写的忘记保存查了个资料回来就没东西了。。正题： 如果说网络应用存在的理由只是采集现有数据再换种形式表现（卧槽这不就是我现在做的事情吗？？），这样一来API成了“数据库”（数据源），只是将数据复制出来。而现在正是要正视AP…
/ 5 min 阅读
Weibo API和Baidu API
在上次的学习过程当中，我尝试使用了网易云音乐的API，其中涵盖了不少可用的好方法，而此次我想更进一步，来看查微博和百度的API 开局我选择直接查看一下官方提供的API：http://open.weibo.com/wiki/%E9%A6%96…
/ 5 min 阅读
API简介和网易云音乐API
近日肝了不少的Java代码，而在流的编程还有GUI编程当中 用到的更多是API。首先API（Application Programming Interface 应用编程接口）提供了一个友好的接口，让编程的复杂度大大降低，而其 设计的目的也是…
/ 4 min 阅读
通过互联网采集
经过前两天的折腾也大概对数据采集慢慢形成概念，在表面来看人工肉眼能够检索到的数据是非常有限的，即浅网(Surface Web)，这一部分只占到互联网资源的百分之十左右，也就是搜索引擎能够抓取到的地方，至于真正的数据到底有多少，无法估量。但值…
/ 3 min 阅读
Python遍历单个域名和检索整个网站
之前强行采集了非常简单的HTML页面当中 显而易见的一些数据，对于实际情况而言存在的意义只是练习亦或者是认识BeautifulSoup的强大。这次稍加难度，就尝试一些不一样的东西： 之前看到 一个 非常有趣的现象：在我刚刚建站的时候关于 百…
/ 5 min 阅读
利用Python完成HTML的解析
从零开始的异世界Orz 在这里我 选择Python2.7的版本，官网下载一路确定。 在确定PIP安装完成之后进入下一阶段（PIP的安装目录在Python/lib下） 安装BeautifulSoup： 在cmd进入python目录下，使用pi…