数据库的瓶颈问题解决（主从分离）与多数据源切换
数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼
[Quick Start]RedisTemplate的bean手动配置
[Quick Start]RedisTemplate的bean手动配置 有时我们可能需要手动配置Redis的连接，例如动态修改或是从特殊的参数中获取，而不是使用SpringBoot的自有配置，此篇文章意在快速指引redis的手动配置 基于Spring项目和Jedis的底层，使用RedisTemplate； 通过Maven引入相关依赖，可以的话spring-data-redis选择2.0.0以上版本，较低版本需要的依赖： 如果使用了Spring-boot并且要使用较高的版本（例如在2.1.0后才有的某些API-putIfAbsent带有超时时间的版本），我们直接修改starter的版本是不够的，二者版本并不对称，我们需要去掉其中的redis依赖并单独引入 建议保持良好的依赖管理习惯，显式的移除依赖，而不是任其覆盖，如：
![[Quick Start]RedisTemplate的bean手动配置](/blog_cover/20200220/bc7458d39b07471f8559d5469418133f.png)
2020-02-24鱼鱼
Java中的动态代理与静态代理
Java中的动态代理与静态代理proxy（代理）作为一种设计模式在Java中已经应用非常广泛，例如常见的拦截器是代理模式设计的，AOP是通过动态代理实现的，而基于AOP的应用就更多了，从简单的事务应用到Dubbo框架，Java开发中离不开代理，本篇文章主要阐述Java中的代理，此处是比较狭义的代理，仅指方法和类中的代理 代理模式是一种非常常见的设计模式，它通过给某对象提供代理，从而通过代理对象控制原对象的引用 以下是代理模式的简单实现： 类Admin： 对应的代理类AdminProxy： 设计良好的聚合代理模式应该是代理类与被代理类共同继承一个接口，此处只为实现功能 这样在执行new AdminProxy().changeWorld()时，除了会调用原本的new Admin().changeWorld()，在方法前后也可以做出些其他的操作
![Java中的动态代理与静态代理]()
2019-08-09鱼鱼
MySQL tips
MySQL tips一些日常接触到的MySQL优化tips，比较散乱 假设有一个用户表，对于一句很简单的查询语句： 假设name与age字段均有单列索引，容易想到的是，MySQL应该会分别走两次索引，并将其结合起来，EXPLAIN也是如此，大多数时候MySQL会进行优化，我们可能会看到EXPLAIN的结果中有Using union或Using soft union，这是MySQL针对OR做了隐性的优化，但当SQL复杂或数据极端情况下，这一语句极容易变成全表扫描，偶尔使用联合索引可能解决问题，更多情况则是MySQL“昏了头”，即使OR条件均涉及数据条数不多，依旧没能在查询语句中使用索引，此时应调整为UNION语句(可以权衡一下重复及顺序是否有影响，可以使用更快的UNION ALL)：
2021-01-13鱼鱼
多线程应用提高(II) 线程池
多线程应用提高(II) 线程池项目中，当发生并行操作时，一般都会用到线程池处理多线程任务，线程池的规则类似于数据库连接池，在此不予赘述 jdk自带线程池，此处主要讲述Spring框架自带的线程池ThreadPoolTaskExecutor 通过实现Runnable和Callable接口实现一个线程任务，从而能放入Executor进行线程管理 其中，Callable可以理解为带有返回值的Runnable，并且Callable需要实现的方法不是run()而是call()，该方法返回一个泛型对象 当我们把一个需要返回值的线程任务放进线程池后，线程池会返回一个Future对象，借助该对象，我们可以调用get()方法获取线程的状态，调用get()会阻塞当前线程直到返回结果
2020-02-25鱼鱼
Kafka服务端集群原理
Kafka服务端集群原理kafka是家喻户晓的消息队列，也因“纯粹”而闻名（高性能高吞吐、扩展较少较为简单），此篇文章整理Kafka的基本架构，将按照Kafka的版本迭代分别展示架构的演进（截至版本3.0） 我们在这里暂且只讨论Kafka服务端，对于生产者和消费者的逻辑简单带过 扫盲一下Kafka的部分概念： Producer mq生产者通用叫法 作为消息的生产者，在生产完消息后需要将消息投送到指定的目的地（某个topic的某个partition） Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition； Consumer mq生产者通用叫法 消息消费者，向Kafka broker读取消息的客户端;，负责订阅和消费消息
2022-03-10鱼鱼
过滤器、拦截器、监听器和AOP
过滤器、拦截器、监听器和AOP用这篇文章来梳理一下这些杂七杂八的Spring MVC中的基础概念，顺便讲一下在项目中的一些基本使用和常见应用（其实主要是针对AOP的），至于使用他们实现具体的功能，后续可能会独立写出来（谁知道呢） 执行的顺序： 项目初始化：filter:init()->filter:doFilter()->preHandle->Controller->postHandle->afterComplition ->destory() 过滤器（Filter），由servlet提供，拦截URL(其实是servlet)，经过代理，执行想要的方法，最基本的使用是集成Filter类并重写方法，因为是从url层面上直接拦截，可以有很多用途，比如用于用户身份校验，比如某些页面需要有用户权限才能访问，就可以利用过滤器进行拦截，一些安全框架的鉴权本身也是过滤器的实现
![过滤器、拦截器、监听器和AOP]()
2020-03-01鱼鱼
MySQL的数据锁 加在哪？
MySQL的数据锁 加在哪？此篇文章探讨MySQL数据库的锁，讨论MySQL各种语句将如何加锁，以及加锁的“效果”，主要针对默认的InnoDb引擎 基于MySQL5.6之后的版本 有心力的可以直接看MySQL官方文档，说的更为详细：14.7.3由InnoDB中的不同SQL语句设置的锁 按类型分，MySQL有锁： 行锁，最普通的锁，其实是加在索引上的锁 表锁，直接加在整张表的锁，一旦上锁整张表的操作都会比较锁 间隙锁，又称GAP锁，用于在涉及范围查询时给莫须有的位置加锁，防止并发插入等操作出现数据不一致(诸如幻读)的问题 间隙锁之间是不会冲突的 行锁与Gap锁合称Next-Key锁 间隙锁只能锁住间隙，即间隙锁不能指定具体的数据范围，将会锁上整个间隙
2021-02-05鱼鱼
动态路由数据源（多租户）解决方案
动态路由数据源（多租户）解决方案当下有很多服务都使用了多数据源，或是出于跨库查询或是分库分表、读写分离等，多数据源解决方案早已不是稀罕事 常见的解决方案包括使用多数据源框架(例如Shareding-Jdbc)、在数据库端做代理（例如MYCAT）、对于固定的几个数据源连接，也可以直接手动配置多个数据源，这种相关处理有很多源码，我在github上也有简单的实现：fishstormX/dynamicDataSource: 动态数据源的实现，基于maven自定义多模块骨架 Spring Boot2.0.x，本文实现的是动态数据源，主要为了解决 多租户问题（不同的用户群组有不同的数据源和配置，强调数据的隔离性） 本文技术能实现的是动态数据源，基于Spring框架，即能够将注入的Datasource根据租户不同使用不同的来源，同时根据租户增减动态的增删和缓存数据源（增是因为会有新增租户可能使用到项目启动后的数据源，减是因为租户数不可预料，不可直接缓存所有的数据源）
2021-01-07鱼鱼
分布式系统中的一致性算法和问题解决
分布式系统中的一致性算法和问题解决在撰写脑裂问题相关的博客时发现脑裂问题的产生原因在不同算法下的分布式系统各不相同，需要先大致了解一致性算法并针对性的解决 市面上有很多开源的分布式系统，他们的数据一致性算法不尽相同，例如k-v系统的祖师爷——zookeeper采用的是ZAB的算法，而最近流行的Consul是raft算法，不同数据中心server沟通的方式则是gossip协议 不同的协议和方式对选举和数据同步有不同的处理机制，利用这篇文章来对比常见的分布式一致性算法 一个系统可能会使用多个不同的一致性算法，以便于在不同的业务环节上有着各自更贴切的处理 ps：有种观点是一致性算法不是很准确，因为replica也能保证数据某种程度上具有一致性，有人称之为共识算法
2021-03-13鱼鱼
Spring MVC源码和设计思想2 HandlerMapping
Spring MVC源码和设计思想2 HandlerMapping系列传送门Spring MVC源码和设计思想1 DispatcherServlet-鱼鱼的博客 此篇篇幅很长，且慢慢道来 在之前一篇中，DispatchServlet的doDispatch()方法中有这么几行： 其中getHandler方法： handlerMappings是一个初始化过的List
，通过它获取HandlerExecutionChain HandlerExecutionChain存储了一个Object（其实就是HandleAdapter）和一个拦截器(HandlerInterceptor)数组，在doDispatch方法中执行了applyPreHandle和applyPostHandle方法，方法就是分别迭代调用了拦截器数组的postHandle和preHandle，同样地，发生异常时的triggerAfterCompletion也映射到了afterCompletion方法
![Spring MVC源码和设计思想2 HandlerMapping]()
2019-06-12鱼鱼
Java的socket通信
Java的socket通信网络编程中，会使用socket通信 TCP/IP协议，即Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议，他使用TCP/IP四层模型（实际开发中只涉及到四层模型，软件范畴涉及不到OSI七层参考模型）： TCP是面向连接的通信协议，通过三次握手建立连接，通讯完成时要拆除连接，由于TCP是面向连接的所以只能用于端到端的通讯 具有高度的可靠性 三次握手，即通信时，客户端和服务端共计要传输三次包，三次握手建立连接： 1.主机（客户端）发送 SYN=1（建立连接标识）和seq=x（序号），客户端进入SYN_SEND状态，等待服务端确认
2019-03-27鱼鱼
