DataAcquisition · KelovpString

Keep develop....

    是这样的-为了业务需求,产品要求在某页加上天气信息,且根据日落日出时间来提醒行程时间在日落后的人打开车灯。由于业务都在国外,像国家气象中心就凉了,产品极力推荐使用Yahoo Weather。然后折腾了一整日大概摸清...

发布 0 条评论

    在这次之前学习API的时候发现了一些事情,我利用网易云音乐的API实现了一些简单的歌曲搜索、封面图片的爬去之类的无聊事情。而最近在使用网易云的时候发现自己已经使用网易云整整两年了(顺便思考了一下我的手机为什...

发布 0 条评论

    之前在上bilibili的时候就想通过python的采集办法来获取视频封面,但是在人工手动解读代码的时候发现了一些问题:BiliBili的主页由JS动态生成,当http去访问时还会重定向到https(主页),所以直接用BeautifulSoup采...

发布 0 条评论

    之前就提到过,简单的采集办法对JS和登录表单的网站无可奈何,网站在获取表单和进行登录这一过程的时候,都是使用HTTP协议的Get方法去请求信息,这样可以通过POST方法,把信息推送给网络服务器进行存储和分析。 &n...

发布 0 条评论

    之前在采集的时候我曾经遇到过一个问题:一旦传输过来的页面不能提供样式规范的信息我就变得束手无策(比如Bilibli的主页,百度的主页,采用js动态生成我就彻底没有办法了)但是如果创建的爬虫只能采集那些显而易见的...

发布 0 条评论

    之前在学习linux时尝试着将电脑系统装为双系统。而在Linux环境下像微软软件的替代品也有不少(当然特指ubuntu)而在学校机房就没有这么幸运了,Kali Linux就是一个典型的例子,但是文档的通行格式却不是docx或者doc,...

发布 0 条评论

    之前在百科看到一句介绍HTML网站的话:经过点缀的多媒体集合。但这些集合当中的元素我在Get的时候往往也遇到了一些问题,不论是编码问题还是js,对于我而言这些东西在简单采集的时候几乎是非常致命的,不过还好,工具...

发布 0 条评论

    在上次搞到百度地图API的时候我底下也写了不少检测小程序。在这个过程中我遇到了不少的问题:数据量或者是生产结果很小的时候使用命令行或者用PyCharm的控制台输出是蛮好用还挺酷炫的,但是数据采集我总不能到大后期...

发布 0 条评论

    说起来很过分哎,前面写的忘记保存查了个资料回来就没东西了。。正题:     如果说网络应用存在的理由只是采集现有数据再换种形式表现(卧槽这不就是我现在做的事情吗??),这样一来API成了...

发布 1 条评论

    在上次的学习过程当中,我尝试使用了网易云音乐的API,其中涵盖了不少可用的好方法,而此次我想更进一步,来看查微博和百度的API WeiBo API     开局我选择直接查看一下官方提供的API:http://open.w...

发布 0 条评论