分布式系统中的一致性算法和问题解决
分布式系统中的一致性算法和问题解决在撰写脑裂问题相关的博客时发现脑裂问题的产生原因在不同算法下的分布式系统各不相同，需要先大致了解一致性算法并针对性的解决 市面上有很多开源的分布式系统，他们的数据一致性算法不尽相同，例如k-v系统的祖师爷——zookeeper采用的是ZAB的算法，而最近流行的Consul是raft算法，不同数据中心server沟通的方式则是gossip协议 不同的协议和方式对选举和数据同步有不同的处理机制，利用这篇文章来对比常见的分布式一致性算法 一个系统可能会使用多个不同的一致性算法，以便于在不同的业务环节上有着各自更贴切的处理 ps：有种观点是一致性算法不是很准确，因为replica也能保证数据某种程度上具有一致性，有人称之为共识算法
2021-03-13鱼鱼
Spring源码解析(3) IoC容器配置读取和容器refresh
Spring源码解析(3) IoC容器配置读取和容器refresh在文章Spring源码解析(I) 基于SSM看Spring的使用和Spring启动监听中，讲述了web容器启动后会触发的方法实现中生成Context的部分，回顾下核心方法： 我们已经分析到了0.处，他对我们生成的容器做了一个判断，对于web.xml监听初始化的Context，其生成的WebApplicationContext都是ConfigurableWebApplicationContext的子类，所以必然会进入if分支 首先通过loadParentContext先加载了父容器，默认是null 然后调用了configureAndRefreshWebApplicationContext方法进行初始化和配置项的读取
2020-08-09鱼鱼
造轮子0 浅谈设计模式
造轮子0 浅谈设计模式语义化接口的使用，譬如Aware等接口完全是语义性接口，不定义任何方法，只是用来约束一类行为 在Spring框架中有很多类似的接口 Wrapper，包装 ，相当于一个装饰器 XxxAware类表示在Spring中可感知，一般是类中需要用到Spring相关的对象时使用的 例如继承ApplicationContextAware接口后，实现setApplicationContext(ApplicationContext applicationContext)便会获得这个对象，与之对应的是XxxCapable类，继承他的类要负责实现相关的方get法负责生成Spring需要的对象
![造轮子0 浅谈设计模式]()
2019-05-26鱼鱼
Java中的数据结构
Java中的数据结构若不提到Jdk版本，本文中的源码都是基于jdk8版本分析的 注：有关同步集合（如Vector、ConcurrentHashMap、CopyOnWriteArrayList等）请移步博客 数组集合类，是Collection接口的子类，有序的Collection实现，包含ArrayList、LinkedList、Vector，其中Vector是线程安全的ArrayList，LinkedList是底层基于双向链表实现的List ArrayList的默认大小为10，扩容操作： 也就是1.5倍 不重复集合类，不能包含重复的元素，是Collection接口的子类，包含HashSet、LinkedHashSet、TreeSet，其实都是基于Map类的实现，所以详细了解请参阅Map类
2019-07-12鱼鱼
mysql orderby排序
mysql orderby排序where 字段和orderby字段组成一个联合索引，这个样一个普通业务的order只需要通过这个索引就能确定排序顺序，不需要额外的临时表来计算字段的排序 可以通过配置max_length_for_sort_data改变mysql判断采取方式 全字段排序 将命中的行的所有要查询的结果集都放到排序的临时表内，排序后将数据结果集返回 rowid 排序 将命中的行的排序字段和主键id放到临时表内排序，再根据排序后的主键id进行一次回表查询 虽然有联合索引，但是当where的条件不止一个时候，order by就会失效，可以采取多次查询结果，然后在服务中排序的方式来解决问题
2020-05-17yangwcn
分布式系统中的CAP原则与BASE原则
分布式系统中的CAP原则与BASE原则没有十全十美的分布式系统，分布式的痛点就在于各个节点状态的统一，CAP和BASE便是描述它的状态 本文中的分布式系统不仅指一套全是无状态的应用的服务系统，单纯依靠共享资源（如多个无状态的服务共用数据库或NoSQL而不在内存或是本身的服务容器中存储任何数据）运转的服务不是纯粹的分布式系统，分布式系统中一般需要包含有状态的服务（如主从同步的Mysql、多机哨兵模式的Redis、设置会话共享的分布式Tomcat服务） 图A 分布式架构雏形 （ 试想在上图中，若是网关通过A分区对数据做出了修改，此时还没有写入数据库但是A分区的缓存做出了调整，在分区容错的情况下A不能直接与B通信，那A与B分区就会失去一致性
2019-09-29鱼鱼
网络时延、异步IO、Pipeline
网络时延、异步IO、Pipeline通过使用多线程是能提高网络延迟带来的负面效应的，也就是在IO密集型的应用中（尤其是网络IO密集应用中），通过异步操作或能显著提高性能，本篇讨论相关问题 并不是异步（多线程）定能提高性能，有这种讨论也是发现经常有人会滥用多线程 通常会有一种说法：如果想要采用多线程的来执行一段任务，为了提高性能，假设服务器中有N个核心，推荐在CPU密集型的应用中启用N个线程，而在IO密集型的任务中启用2*N个线程 本人不是很认同此种说法，他只能代表一个大致的度量，在实际应用中几乎可以说完全不准确，一般来说，权衡系统资源与性能后，前者可能需要更少的线程数，而后者根据实际情况也许适宜分配更多的线程数 这个概念大家一般都不是很陌生，在此再次科普下：所谓IO密集型任务，即是任务的资源消耗多集中在系统IO上，这里的IO本来包括磁盘IO和网络IO等，但是磁盘IO涉及文件句柄操作等系统限制不在本篇讨论，所以此篇文章所提主要指网络IO，高网络IO也是绝大多数web应用的特性
2021-04-21鱼鱼
杂记：Spring与Springboot的本地化配置
杂记：Spring与Springboot的本地化配置利用这篇文章巩固一下Spring框架的基础，因为发现接触到的各种Spring的项目配置杂七杂八，从xml到注解，从properties到json到yaml，他们各有千秋，没有哪一种方式可以绝对取代另一种配置，所以在这里统一介绍一下各种配置方式的内容和利弊，以便随时查看 这并不是一篇Spring框架领域的教程，只是一种技术的补足或是一种投机取巧的学习手段 原始的Spring是采用纯xml进行配置的，我从github上找了一个规范经典的SSM项目，以下是一些常用的配置，从这里就可以看出xml的基本格式： ApplicationContext-test.xml jdbc.properties
2020-03-01鱼鱼
数据库的瓶颈问题解决（主从分离）与多数据源切换
数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼
Spring MVC源码和设计思想2 HandlerMapping
Spring MVC源码和设计思想2 HandlerMapping系列传送门Spring MVC源码和设计思想1 DispatcherServlet-鱼鱼的博客 此篇篇幅很长，且慢慢道来 在之前一篇中，DispatchServlet的doDispatch()方法中有这么几行： 其中getHandler方法： handlerMappings是一个初始化过的List
，通过它获取HandlerExecutionChain HandlerExecutionChain存储了一个Object（其实就是HandleAdapter）和一个拦截器(HandlerInterceptor)数组，在doDispatch方法中执行了applyPreHandle和applyPostHandle方法，方法就是分别迭代调用了拦截器数组的postHandle和preHandle，同样地，发生异常时的triggerAfterCompletion也映射到了afterCompletion方法
![Spring MVC源码和设计思想2 HandlerMapping]()
2019-06-12鱼鱼
Redis高级特性：事务和pipelined以及在RedisTemplate中的应用
Redis高级特性：事务和pipelined以及在RedisTemplate中的应用Redis Pipelined是由Client提供的(是防止client端 阻塞的操作)一种请求redis的方式 Redis本身具有很高的吞吐量，因此性能最大的考察便是网络状况，如果应用到redis的网络状况不好，每次请求都将会出现轻微的 阻塞和延迟，这种延迟对于批量请求是很可怕的，譬如要进行数千次数据插入，或是批量获取数据时，我们就需要用到Pipelined Pipelined可以将多个请求无 阻塞的发出并按顺序将请求结果“打包”返回，这有点类似于并发请求，可以有效地利用等待结果的 阻塞时间 注意，Pipelined并不能保证原子性，即pipelined执行的内容可能会被其他客户端或是线程的指令"插队"，若想要原子性操作，需要使用事务
![Redis高级特性：事务和pipelined以及在RedisTemplate中的应用]()
2020-06-21鱼鱼
AI大模型定价对比
AI大模型定价对比https://open.bigmodel.cn/pricing 火山方舟也提供端点（GLM3 0.001） https://openai.com/ja-JP/api/pricing/ 出入价格不一样 官网和火山都有 另外有免费版本的
2024-12-18鱼鱼
