Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证
Redis原理-源码解析：数据结构1 字符串操作&SDS及预分配的实现验证所有原理实现基于Redis版本6.0.9 SDS(Simple Dynamic String)简单动态字符串，是Redis中字符串所采取的数据结构，SDS并不是Redis的独创，只是被Redis采纳的一种数据结构，用以替换C语言原生的字符串类型：sds仓库传送门 使用方法与原生的C语言字符串类似，并能提供很多类似的API SDS经过了两个版本，目前的解析大都基于v1 v1版本的sds数据结构很简单： 比起C语言中单一的字符数组构成的字符串，sds具有以下优势： 存储了字符串长度，相比C语言遍历获取长度，将时间复杂度由O(n)变为O(1); 当SDS每次发生修改时，会为其分配冗余空间，在字符串空间小于1MB时，每次分配实际长度2倍的空间，而在大于1MB时则是分配多1MB的空间，是在空间不足时才会触发分配
2020-11-16鱼鱼
浅谈代理-动态代理
浅谈代理-动态代理我们可以很轻松的实现一个简单的代理 实现静态代理是个很简单的事情，最基础的代理只需要定义一个接口(虽然不是必要，但这显然才是标准的设计)、一个被代理类和一个代理类，例如： 定义一个接口： 一个实现类： 和一个代理类： 实际使用时，我们是去调用HelloWorldProxy的方法，其将作为HelloWorld的代理实现 此种方式直接实现的代理太过于死板，因为每一种代理行为都要制定一个代理类，我们熟知的很多基于代理的实现（譬如AOP、事务）显然不可能用静态代理的方式针对每一处类切点都覆写一个代理类，这种时候就需要动态代理 我们所熟知的相当多的框架均基于动态代理开发，JDK本身基于反射(java.lang.reflect)提供了动态代理，我们只需定义代理的行为，而对于代理类的范围并不是固定值
![浅谈代理-动态代理]()
2020-10-13鱼鱼
动态路由数据源（多租户）解决方案
动态路由数据源（多租户）解决方案当下有很多服务都使用了多数据源，或是出于跨库查询或是分库分表、读写分离等，多数据源解决方案早已不是稀罕事 常见的解决方案包括使用多数据源框架(例如Shareding-Jdbc)、在数据库端做代理（例如MYCAT）、对于固定的几个数据源连接，也可以直接手动配置多个数据源，这种相关处理有很多源码，我在github上也有简单的实现：fishstormX/dynamicDataSource: 动态数据源的实现，基于maven自定义多模块骨架 Spring Boot2.0.x，本文实现的是动态数据源，主要为了解决 多租户问题（不同的用户群组有不同的数据源和配置，强调数据的隔离性） 本文技术能实现的是动态数据源，基于Spring框架，即能够将注入的Datasource根据租户不同使用不同的来源，同时根据租户增减动态的增删和缓存数据源（增是因为会有新增租户可能使用到项目启动后的数据源，减是因为租户数不可预料，不可直接缓存所有的数据源）
2021-01-07鱼鱼
网络协议面面观：TCP/IP协议组，TCP与UDP
网络协议面面观：TCP/IP协议组，TCP与UDP日常中的网站应用交互绝大部分都是基于TCP/IP协议栈构建的，而TCP/IP就是通信常见的protocol(协议)组，是一类协议的简称，利用这篇文章总结一些常见的TCP/IP网络协议簇以及着重一下两个常见的传输层协议TCP和UDP，扫一下盲 OSI参考模型是ISO(国际标准化组织)指定的网络互联七层模型，与此对比的还有互联网界针对TCP/IP协议簇提出的四层模型 相比之下，OSI七层模型的应用面很窄，且是一种理论模型，TCP/IP则是一种实施标准 一般使用四层模型来表达协议归属，所以此处不详细介绍七层模型的内容，只是简单的与四层协议做对比，两者对比： 应用层 通过这个TCP/IP模型，整体的数据流向是发送方自顶向下然后在接收方自底向上的，即：
2020-03-03鱼鱼
算法：递归
算法：递归递归算法主要寻找： 终止条件：递归的尽头 单级递归的行为：在一次递归里要做的事情 返回值：每次迭代要return的东西 例如 首先，假定方法是已经实现的 终止条件为：当当前节点(传了空节点)或下一节点（传了单节点）为空，则无需反转返回当前节点 递归行为：假定之后的节点均已实现反转，则需要将已经反转的尾部的next变为当前节点，而当前节点由于是第一个节点，其next为null 此处注意在反转前需要先留存反转后的尾部； 返回值：返回反转后的头结点
![算法：递归]()
2020-06-24鱼鱼
JVM与GC
JVM与GCJMM，长下面这个样子： 其中，堆和栈区自然不做介绍了，主要介绍： 程序计数器：线程私有的，记录正在执行的字节码地址，换言之，它告诉我们某线程执行到了那里，分支、循环等也会依赖这个来执行，这一区域不会发生OOM问题 栈：就是正常所指的栈，每个方法被执行的时候都会同时创建一个栈帧（Stack Frame ）用于存储局部变量表、操作栈、动态链接、方法出口等信息 每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程，这一区域会发生StackOverflow问题 堆：就是正常所指的堆，这里是GC的主要区域 方法区：线程私有的，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据，运行时常量池也包含在里面
2019-03-28鱼鱼
Kafka服务端集群原理
Kafka服务端集群原理kafka是家喻户晓的消息队列，也因“纯粹”而闻名（高性能高吞吐、扩展较少较为简单），此篇文章整理Kafka的基本架构，将按照Kafka的版本迭代分别展示架构的演进（截至版本3.0） 我们在这里暂且只讨论Kafka服务端，对于生产者和消费者的逻辑简单带过 扫盲一下Kafka的部分概念： Producer mq生产者通用叫法 作为消息的生产者，在生产完消息后需要将消息投送到指定的目的地（某个topic的某个partition） Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition； Consumer mq生产者通用叫法 消息消费者，向Kafka broker读取消息的客户端;，负责订阅和消费消息
2022-03-10鱼鱼
多线程应用提高(IV) 线程安全的集合类
多线程应用提高(IV) 线程安全的集合类在Java中的数据结构一篇中，列举了Java中一些常见的集合，此文主要梳理线程安全的相关集合 我们知道，当一个实例对象只能被一个线程访问时（线程私有），无论如何都不会有线程安全的问题，但在多线程的情境下，多个线程操作同一个对象时，可能会出现更新丢失、读写数据不同步、计数击穿等现象，此时这种操作就是非线程安全的 相应地，线程安全的集合有这样的特点：在多个线程操作同一集合时，能保证每一步操作都是安全的，与串行执行的结果一致，不会出现数据不同步等预料之外的问题 可以先看这个小例子Java-lab/ListT.java at master · fishstormX/Java-lab，我在里面解释了
![多线程应用提高(IV) 线程安全的集合类]()
2019-07-13鱼鱼
ELK实战(Ⅰ) 基于ELK整合分布式业务日志
ELK实战(Ⅰ) 基于ELK整合分布式业务日志大多情况下，我们可能都习惯了使用linux指令查看日志，很多时候一句简简单单的tail、grep能定位绝大多数问题 但是面临复杂的目录结构和分布式系统产生的“分布式日志文件”，如果还要我们一个一个去查日志，就会耗费很多没必要的时间 可以利用ELK这套组件快速搭建一个日志系统 注意此文仅针对可能很多情况下格式不确定的业务日志，对于某些组件日志我们有更好的可视化实践方式，可以参考此系列的其他文章 对于一个日志系统，我们要确认我们的诉求，在不同的场景下采用不同的收集方式： 是否是分布式系统需要合并多个节点的日志 如果需要，则需要用分布式组件收集并合并日志，这也是一个日志系统最基本的要求；
2020-03-14鱼鱼
MYSQL的索引、引擎的实现原理和应用
MYSQL的索引、引擎的实现原理和应用本篇主要介绍数据库MySQL的索引实现原理，包括B+ Tree的原理，顺带提到了数据库的常用引擎 我们常见的数据库引擎就是InnoDB，还有另外一个常见一个引擎叫做MyISAM，这里着重介绍着两个引擎，执行show engines，可见MySQL所有的引擎如下： InnoDB采用行级锁，不会记录表中的数据个数，支持外键，高并发下使用事务的首选引擎，也是5.5之后MySQL的默认引擎（之前采用MyISAM），可以通过bin-log日志回滚数据，所以它比较适合处理数据量大的数据 PS：InnoDB最初不支持全文索引，在MySQL 5.6版本后添加了支持 MyISAM跟InnoDB截然相反，它采用表锁，记录了表的条目数，SELECT COUNT可以直接查看表中数据个数，支持FULLTEXT索引，不支持外键和事务，不能进行数据恢复操作，他比较适合频繁插入的数据，或是读操作远大于写操作时
2019-09-15鱼鱼
分布式系统中的CAP原则与BASE原则
分布式系统中的CAP原则与BASE原则没有十全十美的分布式系统，分布式的痛点就在于各个节点状态的统一，CAP和BASE便是描述它的状态 本文中的分布式系统不仅指一套全是无状态的应用的服务系统，单纯依靠共享资源（如多个无状态的服务共用数据库或NoSQL而不在内存或是本身的服务容器中存储任何数据）运转的服务不是纯粹的分布式系统，分布式系统中一般需要包含有状态的服务（如主从同步的Mysql、多机哨兵模式的Redis、设置会话共享的分布式Tomcat服务） 图A 分布式架构雏形 （ 试想在上图中，若是网关通过A分区对数据做出了修改，此时还没有写入数据库但是A分区的缓存做出了调整，在分区容错的情况下A不能直接与B通信，那A与B分区就会失去一致性
2019-09-29鱼鱼
mysql前缀索引
mysql前缀索引有时候需要索引很长的字符列，这会让索引变得大且慢 通常可以索引开始的部分字符，这样可以大大节约索引空间，从而提高索引效率 但这样也会降低索引的选择性 前面已经说过，使用前缀索引，定义好长度，就可以做到既节省空间，又不用额外增加太多的查询成本 2.1因为前缀索引无法完全等于判断，只是前缀匹配，所以可能需要扫描的所以数会增加 2.2在特殊的查询里面 select id,email from SUser where email='zhangssxyz@xxx.com'; 前缀索引需要回到 id 索引再查一下，因为系统并不确定前缀索引的定义是否截断了完整信息 select count(distinct left(email,4)）as L4,
2020-05-15yangwcn
