Jump out of the limit and carry on

  1. 大数据

    Hive SQL查询效率提升之Analyze方案的实施

    0.简介 Analyze,分析表(也称为计算统计信息)是一种内置的Hive操作,可以执行该操作来收集表上的元数据信息。这可以极大的改善表上的查询时间,因为它收集构成表中数据的行计数,文件计数和文件大小(字节),并在执行之前将其提供给查询计划程序。

    2019/05/18

  2. 大数据

    Hive集群合并之应用端的负载均衡算法

    0.背景 有这么一个场景,我们有两个Hive集群,Hive集群1(后面成为1号集群)是一直专享于数据计算平台的,而Hive集群2(后面成为2号集群)是用于其他团队使用的,比如特征,广告等。而由此存在两个主要问题:a) 两个Hive集群共享了同一份MetaData,导致经常会出现在HUE(建立与2号集群上)上建表成功后,但是在计算平台上却无法查询到新建表信息;b) 让运维同学们同时维护两套集群,管理和资源分配调整起来的确是麻烦很多,毕竟也不利于资源的弹性分配。那么鉴于此,经过讨论,需要做这么一样工作:两个集群合二为一,由1号集群合并到2号集群上来。

    2019/05/11

  3. 架构设计

    小文件合并之如何通过状态机保证应用高可用

    (敬请期待,未完待续…)

    2019/04/21

  4. 安装教程

    Python3.x安装教程

    1.前期准备

    2019/03/01

  5. 线上问题排查集锦

    警报:线上事故之CountDownLatch的威力

    2019.2.22号凌晨3点半,是一个让人难以忘怀的、和瑞哥最后一次一起奋战的夜晚。

    2019/02/22

  6. 架构设计

    设计一个分布式RPC框架

    0 前言

    2019/02/01

  7. Java

    如何保存/恢复Java应用程序核心内存数据现场?

    0. 背景 不论是单体应用还是分布式应用,总是会有些许迭代或者紧急Fix bug上线的神操作。但是如果不是那么幸运,当时还存在大量核心内存中数据在进行计算等逻辑,此时终止项目,就会出现核心数据或者状态丢失的不利情况,后续即使上线完成也要尽快追加数据。

    2019/01/27

  8. 年度总结规划

    2018年度复盘,2019年度规划

    2018年度复盘,比起前两度总结晚了将近一个月。2018年,经历了很多事情,也中途换了一份新工作,但追求技术的心仍然没有改变。

    2019/01/23

  9. Java

    为何通过java.sql.DatabaseMetaData获取MySQL的table remarks总是为空?

    大数据平台存在这样一种场景,我们需要根据用户录入的配置信息,进行同步数据源/表相关的信息,此时就需要把数据库、数据表、数据表字段相关信息进行拉取。而我们获取数据源的元信息时,是在Connection连接通道之上,借助于java.sql.DatabaseMetaData进行获取详细信息(比如TABLE_NAME, REMARKS, COLUMN_NAME等等),然而却出现了除REMARKS之外的其他信息都可以正常同步,唯有REMARKS一直为空。

    2018/10/10

  10. 数据结构与算法

    数组、链表对比及应用

    1. 数组和链表的区别 1.1 底层存储结构 数组需要一块连续的内存空间进行存储 链表通过“指针”将一组零散的内存块串联起来使用 1.2 性能 链表和数组的(增删查)时间复杂度正好相反 数组使用连续的内存空间,可以借助缓存机制提高效率;链表不连续,所以无法借助缓存机制 数组大小固定,当需要申请更大的空间,需要拷贝数据,很耗时;而链表纯天然的支持动态扩容 相对来说,链表比较耗内存,因为需要记录节点指针,内存消耗翻倍

    2018/10/04

滴水穿石,积水成河

Java觉醒之路之步步高升

大数据学习记录


zns

What's the ZNS is an implementation of distribution RPC.

29 21

Deep in design pattern. Thinking in Design.

2 2

One simple redis one tools cater for distributed system.

1 0