网络时延、异步IO、Pipeline
网络时延、异步IO、Pipeline通过使用多线程是能提高网络延迟带来的负面效应的，也就是在IO密集型的应用中（尤其是网络IO密集应用中），通过异步操作或能显著提高性能，本篇讨论相关问题 并不是异步（多线程）定能提高性能，有这种讨论也是发现经常有人会滥用多线程 通常会有一种说法：如果想要采用多线程的来执行一段任务，为了提高性能，假设服务器中有N个核心，推荐在CPU密集型的应用中启用N个线程，而在IO密集型的任务中启用2*N个线程 本人不是很认同此种说法，他只能代表一个大致的度量，在实际应用中几乎可以说完全不准确，一般来说，权衡系统资源与性能后，前者可能需要更少的线程数，而后者根据实际情况也许适宜分配更多的线程数 这个概念大家一般都不是很陌生，在此再次科普下：所谓IO密集型任务，即是任务的资源消耗多集中在系统IO上，这里的IO本来包括磁盘IO和网络IO等，但是磁盘IO涉及文件句柄操作等系统限制不在本篇讨论，所以此篇文章所提主要指网络IO，高网络IO也是绝大多数web应用的特性
2021-04-21鱼鱼
ELK全家桶基本使用（I）文件收集Filebeat
ELK全家桶基本使用（I）文件收集FilebeatFilebeat是Elastic中的轻量文件收集系统，相比于功能更强悍的Logstash，当我们需求很单一，读取文件内容且对文件内容没有过多复杂处理时，最好使用FileBeat取代Logstash，以免造成不必要的内存开销 文档链接 Filebeat负责收集文件并发送给下游服务 核心行为包含输入、处理过滤和输出 当然也有集成好配置的模块，通过模块与Es和Kibana链接可以直接在Kibana上看到组件的可视化 同时不难看出Filebeat其实对数据库的支持不是很健壮 截止7.6版本，开源的Filebeat可支持以下几种消息输入类型： log 用得最多的输入类型； stdin 标准的输入，从process或是piepline读取（可理解为脚本运行通道直接输入），一旦配置了这种input方式，其他 input将不再生效文档地址；
2020-03-16鱼鱼
算法：递归
算法：递归递归算法主要寻找： 终止条件：递归的尽头 单级递归的行为：在一次递归里要做的事情 返回值：每次迭代要return的东西 例如 首先，假定方法是已经实现的 终止条件为：当当前节点(传了空节点)或下一节点（传了单节点）为空，则无需反转返回当前节点 递归行为：假定之后的节点均已实现反转，则需要将已经反转的尾部的next变为当前节点，而当前节点由于是第一个节点，其next为null 此处注意在反转前需要先留存反转后的尾部； 返回值：返回反转后的头结点
![算法：递归]()
2020-06-24鱼鱼
Spring源码解析(1) 基于SSM看Spring的使用和Spring启动监听
Spring源码解析(1) 基于SSM看Spring的使用和Spring启动监听查看源码的顺序就见仁见智了，比较普遍的做法是从IoC入手，了解容器注入的每一个环节，掌握大致的流程 由于使用的是Spring，所以在这里我们引入比较古老的xml配置文件进行bean的配置，首先定义一个bean: 配置描述bean的xml，核心只有一行： 这样一来就可以使用BeanFactory这个容器来注入bean并使用了： 本来有封装好的XmlBeanFactory，这一类现在已经被弃用了，所以采用了他的父类DefaultListableBeanFactory;当然，也可以使用更加方便和常用的ApplicationContext： 当然从xml文件读取bean的配置只是其中一种目前用的不多的加载方式，还有基于包扫描等加载bean的方法，此处仅为理解IoC的基本使用
2020-08-04鱼鱼
Kafka服务端集群原理
Kafka服务端集群原理kafka是家喻户晓的消息队列，也因“纯粹”而闻名（高性能高吞吐、扩展较少较为简单），此篇文章整理Kafka的基本架构，将按照Kafka的版本迭代分别展示架构的演进（截至版本3.0） 我们在这里暂且只讨论Kafka服务端，对于生产者和消费者的逻辑简单带过 扫盲一下Kafka的部分概念： Producer mq生产者通用叫法 作为消息的生产者，在生产完消息后需要将消息投送到指定的目的地（某个topic的某个partition） Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition； Consumer mq生产者通用叫法 消息消费者，向Kafka broker读取消息的客户端;，负责订阅和消费消息
2022-03-10鱼鱼
算法：广度优先搜索（BFS）（最短路径）
算法：广度优先搜索（BFS）（最短路径）我们先看一个案例： 遍历一个树结构，按层次输出树的节点内容，即：欲求 A B C D E F 实现方式便是从根节点（A）向下遍历，先获取A，其次是A的子节点B和C，其次是B的子节点D…… 这种遍历树结构或者图结构的方法被称作广度优先搜索（BFS），与之对应的先遍历到最下层子节点的是深度优先 BFS核心采用队列的数据结构，例如上面的树结构中，解法为： A进队列->A出队列 B、C进队列->B出队列 D进队列 ->C出队列 E、F进队列-> D、E、F出队列 如果想要区分层次边缘，使用count参数即可 解法步骤（蓝色部分为已经处理完的节点）：
2020-06-05鱼鱼
mysql前缀索引
mysql前缀索引有时候需要索引很长的字符列，这会让索引变得大且慢 通常可以索引开始的部分字符，这样可以大大节约索引空间，从而提高索引效率 但这样也会降低索引的选择性 前面已经说过，使用前缀索引，定义好长度，就可以做到既节省空间，又不用额外增加太多的查询成本 2.1因为前缀索引无法完全等于判断，只是前缀匹配，所以可能需要扫描的所以数会增加 2.2在特殊的查询里面 select id,email from SUser where email='zhangssxyz@xxx.com'; 前缀索引需要回到 id 索引再查一下，因为系统并不确定前缀索引的定义是否截断了完整信息 select count(distinct left(email,4)）as L4,
2020-05-15yangwcn
并发之AQS全解析
并发之AQS全解析我们知道juc(java.util.concurrent)包下有很多实用的类，提供了很多并发工具，例如线程池、原子类、并发工具、信号量工具、锁等，可以说基本实现都为悲观锁，底层原理基本都使用了AQS(AbstractQueuedSynchronizer)，AQS不是一种概念，是并发中实打实的工具类 本篇文章针对AQS做解析 AQS是多线程访问共享资源的同步器框架 AQS的资源可以是独占的也可以是共享的 我们先来简单看一下它的使用方式和ApI（因为是抽象类，是不能直接使用的）,下图是AQS的整体脉络 AQS核心就是一个状态值state，同时维护了一个线程的阻塞队列，队列的节点为有两种状态：SHARED(共享)和EXCLUSIVE(独占)，节点状态有五种：
![并发之AQS全解析]()
2021-03-12鱼鱼
Spring MVC源码和设计思想1 DispatcherServlet
Spring MVC源码和设计思想1 DispatcherServlet此篇文章是个人通过阅览Spring MVC源码的学习过程记录，包含Spring MVC的关键细节源码设计和一些设计上的tips，更近似于一种意识流的记录方式，锚点设置可能也有些乱，零零散散的点我日后有时间会统一总结起来 Restful风格的Http有八种请求方式，除了最常使用的Get与Post还有Head、Put、Delete、Options、Trace、Connect 在Restful接口的设计中，请求方方式的语义性很强，我们时常用他约束接口请求的行为，请求类型的语义： OPTIONS获取服务器支持的HTTP请求方法； HEAD跟get很像，但是不返回响应体信息，用于检查对象是否存在，并获取包含在响应消息头中的信息
![Spring MVC源码和设计思想1 DispatcherServlet]()
2019-06-03鱼鱼
JVM与GC
JVM与GCJMM，长下面这个样子： 其中，堆和栈区自然不做介绍了，主要介绍： 程序计数器：线程私有的，记录正在执行的字节码地址，换言之，它告诉我们某线程执行到了那里，分支、循环等也会依赖这个来执行，这一区域不会发生OOM问题 栈：就是正常所指的栈，每个方法被执行的时候都会同时创建一个栈帧（Stack Frame ）用于存储局部变量表、操作栈、动态链接、方法出口等信息 每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程，这一区域会发生StackOverflow问题 堆：就是正常所指的堆，这里是GC的主要区域 方法区：线程私有的，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据，运行时常量池也包含在里面
2019-03-28鱼鱼
使用Shiro和token进行无状态登录
使用Shiro和token进行无状态登录我们之前可以使用shiro实现登录，但这些都是基于session或是cookie实现的，这些只能用于单机部署的服务，或是分布式服务共享会话，显然后者开销极大，所以JWT(JSON Web Token)应运而生，JWT是一套约定好的认证协议，通过请求携带令牌来访问那些需鉴权的接口 我们在这里使用token，原理类似，但是规则更为简单，没有形式上的约束，只是在请求Head或是body中添加token用于校验用户身份，token是可以和会话共存的，此处我们使用Shiro的会话登录结合JWT来实现无状态登录，从而实现扫码登录和一般的接口访问授权 项目中，需要实现无状态登录（单点登录，SSO），但是同时也要保持Shiro本身自带的会话登录
![使用Shiro和token进行无状态登录]()
2020-03-22鱼鱼
IO多路复用模型：select、poll、epoll对比
IO多路复用模型：select、poll、epoll对比我们平时提到的I/O几乎都是同步 阻塞模型，譬如网络请求的socket IO，在数据返回前，相应的线程或是进程将会一直 阻塞直到数据返回，比较直接的处理便是针对IO流一对一的监听，但在IO返回前，相应的系统资源会平白无故的浪费，这种处理方式会大大降低服务器的吞吐 如果我们用很少的线程来监听这些IO，就能实现对系统资源的更好利用，在相应的socket有数据返回时才去读取数据 这种方式被称作IO多路复用，在Linux系统中，实现IO多路复用的方式（从古老到新）有select、poll和epoll 现在很多中间件都使用epoll IO多路复用模型才因此有着很高的性能和吞吐 此处简单描述三种方式的实现和区别
2020-08-11鱼鱼
