阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解
阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解CAT是美团点评的一个基于Java开发的异常和性能监控项目，github地址：https://github.com/dianping/cat 本篇文章不是对CAT本身的源码拆解，而是基于本人依赖CAT client开发的代理项目进行拆解，但是并不会纰漏任何技术细节 CAT当前已有很多不同语言的Client，当然暂且是不 CAT本身是通过CAT client收集数据并上报至CAT server，server会进行并，共有六种常见数据格式：Transaction、Event、Problem、Metric、HeartBeat、调用链标记，其实如果不考虑复杂的处理（譬如Metric是可以基于指标生成折线图，Problem可以根据具体的异常类型追溯到相应的会话Track）除去Transaction剩余的数据格式都可以理解为特殊的Event
2020-07-19鱼鱼
Java的SPI机制
Java的SPI机制SPI（Service Provider Interface） 是JDK内部提供的一种用于服务能力扩展的机制 在服务中通过不同的下沉方法实现能够加载不同的接口实现类，从而实现功能的热插拔 相比一些类似的设计模式（例如策略模式）， SPI作为Java自带的实现特性，相对更加灵活和开放 我们常见的JDBC、日志框架slf4j、JavaMail、Spring等组件都基于 SPI实现（例如JDBC针对不同数据源的驱动） 之所以说区别于Java的一些设计模式，因为Java有一些实现能实现 SPI的动态加载 首先让我们定义 SPI对外提供抽象能力的接口类，这里为了便于理解展示包路径：
2024-10-14鱼鱼
Redis原理-源码解析：数据结构3 hash
Redis原理-源码解析：数据结构3 hash 所有原理实现基于Redis版本6.0.9 hash在Redis中可以认为是套了一层的string，当然，对hash来说没有数字类型 让我们依旧通过基本命令看看hash的基本数据结构实现 在set方法中我们看到了hash的初始创建过程，一个hash最开始是zipist 想要了解ziplist可以看Redis原理-源码解析：数据结构2 list ，是为节省内存而生的链表格式 所以其实在使用ziplist时其查询的时间复杂度不是遵循hash的近似O(1)，而是O(n)，但是在数据量不大时，这种性能的损失微乎其微，并且能预见到大多数使用hash的场景都不会存储过多的字段 所以优先使用了更节省内存空间的ziplist
2020-11-29鱼鱼
Java的socket通信
Java的socket通信网络编程中，会使用socket通信 TCP/IP协议，即Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议，他使用TCP/IP四层模型（实际开发中只涉及到四层模型，软件范畴涉及不到OSI七层参考模型）： TCP是面向连接的通信协议，通过三次握手建立连接，通讯完成时要拆除连接，由于TCP是面向连接的所以只能用于端到端的通讯 具有高度的可靠性 三次握手，即通信时，客户端和服务端共计要传输三次包，三次握手建立连接： 1.主机（客户端）发送 SYN=1（建立连接标识）和seq=x（序号），客户端进入SYN_SEND状态，等待服务端确认
2019-03-27鱼鱼
MySQL杂记
MySQL杂记Explain 可以分析一个SELECT语句的性能，只要加在查询语句之前即可，会输出关于查询语句的分析，分析这个例子： id: SELECT 查询的标识符. 每个 SELECT 都会自动分配一个唯一的标识符. select_type: SELECT 查询的类型. table: 所查询的表 partitions: 匹配的分区 type: join 类型 possible_keys: 此次查询中可能选用的索引 key: 此次查询中确切使用到的索引. key_len: 索引长度占字节数 ref: 哪个字段或常数与 key 一起被使用 rows: 显示此查询一共扫描了多少行. 这个是一个估计值.
2019-02-25鱼鱼
Consul高级应用：多数据中心，模板与Client(Zuul)
Consul高级应用：多数据中心，模板与Client(Zuul)此文整理了Consul比较实用的高级功能：多数据中心，模板与维护模式 Consul提供了多数据中心联动的特性，目前看来多数据中心只是在查询阶段提现，各个数据中心的数据持久化和数据目录（k-v对）的更新不相干扰 也就是说，多数据中心的特性目前看来不能作为可用性的保障，当然 不排除可以手动热切换数据中心 最好判断是否使用多数据中心的情形是判断服务是否属于同一系统下，是否相同serviceId能提供相同的无状态服务，以下列举一些情景： 一个系统拥有多个域名的多套部署，提供版本一致的服务（建议使用多数据中心） 一个系统由多个服务器提供的不同服务提供(视服务具体情况，不建议使用多数据中心)
2020-01-28鱼鱼
Redis原理-源码解析：数据结构3 sorted set(zset))
Redis原理-源码解析：数据结构3 sorted set(zset))Redis的set数据结构在此不多讲，同Java中原理一样，set也可以理解为是hash剥离了value的数据结构，即同为dic 但是zset（有序集合）其实在底层原理上完全不同于set 所有原理实现基于Redis版本6.0.9 先看一下基本的指令实现，着重注意中文注解的地方 t_zset.c 可以看出zset的数据结构不是固定的，在其元素数或是元素的字符串过长时，其结构为zset；否则使用ziplist数据结构（像hash一样为了节省空间），二者的创建方法如下： ziplist的代码和原理可以参考我的博客Redis原理-源码解析：数据结构2 list-鱼鱼的Java小站，就是一个节省内存的压缩的链表结构
2021-02-28鱼鱼
Java中的协程（虚拟线程）探究
Java中的协程（虚拟线程）探究在Java最新的LTS版本 21中，终于实装了协程这一特性 当然，在这些诸如python、golang等轻量级语言中被称为协程的东西，在Java中有个全新的代号——虚拟线程，为了将协程与线程做区分，在Java21中，原Thread被称之为平台线程 下文中，将统一使用线程/协程的方式称呼 我们都知道，Java中引入了线程的概念，区别于系统中的进程 作为并发执行的最小单元，在一定的条件下，使用多个线程同时运作可以有效提高程序的运转效率 而线程这一能力源于系统本身而并非JVM 之所以说是在一定条件下，是因为受限于机器配置情况（CPU的运作机制、核心数），线程的同时运作并不能线性的提升运行性能，单个cpu并不能同时处理多线程任务，实际的运作方式是基于时间片分片，各个线程抢占式执行代码，这样能减少一些无效的io等待（例如网络io、磁盘io实际是会阻塞等待io结果），同时在多核心场景下也能有效利用cpu
![Java中的协程（虚拟线程）探究]()
2024-10-28鱼鱼
JVM源码解析 从Launcher类浅谈ClassLoader(类加载器及双亲委派)
JVM源码解析 从Launcher类浅谈ClassLoader(类加载器及双亲委派)首先普及ClassLoader的基础：所有的Java类都是由ClassLoader由class文件加载进内存的，对于一个类，其唯一标识就是类名+加载他的ClassLoader（亦即对于不同的 ClassLoader，即使是加载了同一个Class也不能互通，本质上是两个类），其基本的分类如下图： BootstrapClassLoader是一个特殊的ClassLoader，负责启动时加载jre的类库 并不继承于ClassLoader，因为是jvm逻辑的一部分； ExtClassLoader也会加载jre类库，但是会加载那些额外的扩展类库(jre\lib\ext目录)，到这个级别的 类加载器已经可以直接在代码中使用了；
2020-11-28鱼鱼
MySQL tips
MySQL tips一些日常接触到的MySQL优化tips，比较散乱 假设有一个用户表，对于一句很简单的查询语句： 假设name与age字段均有单列索引，容易想到的是，MySQL应该会分别走两次索引，并将其结合起来，EXPLAIN也是如此，大多数时候MySQL会进行优化，我们可能会看到EXPLAIN的结果中有Using union或Using soft union，这是MySQL针对OR做了隐性的优化，但当SQL复杂或数据极端情况下，这一语句极容易变成全表扫描，偶尔使用联合索引可能解决问题，更多情况则是MySQL“昏了头”，即使OR条件均涉及数据条数不多，依旧没能在查询语句中使用索引，此时应调整为UNION语句(可以权衡一下重复及顺序是否有影响，可以使用更快的UNION ALL)：
2021-01-13鱼鱼
ELK实战(Ⅰ) 基于ELK整合分布式业务日志
ELK实战(Ⅰ) 基于ELK整合分布式业务日志大多情况下，我们可能都习惯了使用linux指令查看日志，很多时候一句简简单单的tail、grep能定位绝大多数问题 但是面临复杂的目录结构和分布式系统产生的“分布式日志文件”，如果还要我们一个一个去查日志，就会耗费很多没必要的时间 可以利用ELK这套组件快速搭建一个日志系统 注意此文仅针对可能很多情况下格式不确定的业务日志，对于某些组件日志我们有更好的可视化实践方式，可以参考此系列的其他文章 对于一个日志系统，我们要确认我们的诉求，在不同的场景下采用不同的收集方式： 是否是分布式系统需要合并多个节点的日志 如果需要，则需要用分布式组件收集并合并日志，这也是一个日志系统最基本的要求；
2020-03-14鱼鱼
分布式系统中的CAP原则与BASE原则
分布式系统中的CAP原则与BASE原则没有十全十美的分布式系统，分布式的痛点就在于各个节点状态的统一，CAP和BASE便是描述它的状态 本文中的分布式系统不仅指一套全是无状态的应用的服务系统，单纯依靠共享资源（如多个无状态的服务共用数据库或NoSQL而不在内存或是本身的服务容器中存储任何数据）运转的服务不是纯粹的分布式系统，分布式系统中一般需要包含有状态的服务（如主从同步的Mysql、多机哨兵模式的Redis、设置会话共享的分布式Tomcat服务） 图A 分布式架构雏形 （ 试想在上图中，若是网关通过A分区对数据做出了修改，此时还没有写入数据库但是A分区的缓存做出了调整，在分区容错的情况下A不能直接与B通信，那A与B分区就会失去一致性
2019-09-29鱼鱼
