DataAcquisition 归档

ClickHouse 在商业中台的实践和应用 1.背景 在订单中台干了两年之后由于工作关系的变动我入职了一家以广告为核心业务的公司，所在部门属于商业中台，但是由于业务架构的调整，原先大数据部门面临重组，我们急需满足商业业务相关的数据...

    是这样的-为了业务需求，产品要求在某页加上天气信息，且根据日落日出时间来提醒行程时间在日落后的人打开车灯。由于业务都在国外，像国家气象中心就凉了，产品极力推荐使用Yahoo Weather。然后折腾了一整日大概摸清...

    在这次之前学习API的时候发现了一些事情，我利用网易云音乐的API实现了一些简单的歌曲搜索、封面图片的爬去之类的无聊事情。而最近在使用网易云的时候发现自己已经使用网易云整整两年了（顺便思考了一下我的手机为什...

    之前在上bilibili的时候就想通过python的采集办法来获取视频封面，但是在人工手动解读代码的时候发现了一些问题：BiliBili的主页由JS动态生成，当http去访问时还会重定向到https（主页），所以直接用BeautifulSoup采...

    之前就提到过，简单的采集办法对JS和登录表单的网站无可奈何，网站在获取表单和进行登录这一过程的时候，都是使用HTTP协议的Get方法去请求信息，这样可以通过POST方法，把信息推送给网络服务器进行存储和分析。 &n...

    之前在采集的时候我曾经遇到过一个问题：一旦传输过来的页面不能提供样式规范的信息我就变得束手无策（比如Bilibli的主页，百度的主页，采用js动态生成我就彻底没有办法了）但是如果创建的爬虫只能采集那些显而易见的...

    之前在学习linux时尝试着将电脑系统装为双系统。而在Linux环境下像微软软件的替代品也有不少（当然特指ubuntu）而在学校机房就没有这么幸运了，Kali Linux就是一个典型的例子，但是文档的通行格式却不是docx或者doc，...

    之前在百科看到一句介绍HTML网站的话：经过点缀的多媒体集合。但这些集合当中的元素我在Get的时候往往也遇到了一些问题，不论是编码问题还是js，对于我而言这些东西在简单采集的时候几乎是非常致命的，不过还好，工具...

    在上次搞到百度地图API的时候我底下也写了不少检测小程序。在这个过程中我遇到了不少的问题：数据量或者是生产结果很小的时候使用命令行或者用PyCharm的控制台输出是蛮好用还挺酷炫的，但是数据采集我总不能到大后期...

    说起来很过分哎，前面写的忘记保存查了个资料回来就没东西了。。正题：     如果说网络应用存在的理由只是采集现有数据再换种形式表现（卧槽这不就是我现在做的事情吗？？），这样一来API成了...