MYSQL的索引、引擎的实现原理和应用
MYSQL的索引、引擎的实现原理和应用本篇主要介绍数据库MySQL的索引实现原理，包括B+ Tree的原理，顺带提到了数据库的常用引擎 我们常见的数据库引擎就是InnoDB，还有另外一个常见一个引擎叫做MyISAM，这里着重介绍着两个引擎，执行show engines，可见MySQL所有的引擎如下： InnoDB采用行级锁，不会记录表中的数据个数，支持外键，高并发下使用事务的首选引擎，也是5.5之后MySQL的默认引擎（之前采用MyISAM），可以通过bin-log日志回滚数据，所以它比较适合处理数据量大的数据 PS：InnoDB最初不支持全文索引，在MySQL 5.6版本后添加了支持 MyISAM跟InnoDB截然相反，它采用表锁，记录了表的条目数，SELECT COUNT可以直接查看表中数据个数，支持FULLTEXT索引，不支持外键和事务，不能进行数据恢复操作，他比较适合频繁插入的数据，或是读操作远大于写操作时
2019-09-15鱼鱼
使用RPC与Restful接口调用服务
使用RPC与Restful接口调用服务在SOA和微服务架构中，远程通信是无法避免的，最常用的远程通信有两种方式： restful的接口，使用Http通信 使用dubbo或是Spring Cloud组件进行 RPC协议远程调用，可选地使用socket通信 不同的人对 RPC调用会有不同的看法，甚至对rpc本身的理解都不甚相同，但我认为 RPC有两种倾向： 一为语义化的 RPC 没有统一的请求规范，数据格式在开发人员中很难达成一致，在使用传统Http调用时，交互的双方需要约定一份“API文档”以保证数据格式的唯一性，这样API格式本身就成为了一道大墙，耽误研发双方的时间 但如果服务间采用语义化 RPC进行交互，双方可能并不需要一份文档，只要一份约定好的代码，并以此作为双方的依赖，在请求时也仅仅是直接调用方法本身，如此强的语义性怎能让人不爱
2021-01-13鱼鱼
数据库的并发、锁机制与MVCC
数据库的并发、锁机制与MVCC在日常开发中，经常遇到数据库进行高并发操作的情况，但是我们处理并发一般都只在代码范畴而并不处理具体的数据库操作，这是因为数据库对基本的数据库操作做了锁处理，让我们可以忽略这一层的并发问题 详细可以参考Mysql的官方文档 注意：这一篇博客是针对MySQL数据库，且实用默认的 引擎InnoDb，使用其他数据库可能存在略微的差异 MySQL默认的数据库引擎InnoDB中Autocommit值为0（即自动提交事务）执行SQL语句的时候，每一条SQL语句都是一条单独的事务，所以并不存在并发的问题，数据库的锁机制已经做了很好的处理 但是当我们开启事务时，若不加处理，可能会产生一系列并发带来的问题
2021-01-24鱼鱼
对多线程的执行效率探究——合理的任务并发拆分
对多线程的执行效率探究——合理的任务并发拆分通常，我们选择多线程执行任务有两个理由，一是复杂任务采用多线程处理能够在发生并发时让用户减少等待也能防止阻塞，一是充分利用空闲时间，提高任务处理的效率，就后者而言，此处探讨不考虑客户端并发是否有必要把一个任务拆分成多线程来处理 为了探究多线程的效率问题，我做了一个实验，将不同种类的任务分别用单线程和多线程执行，同时也试验了不同种类的锁机制 测试基于Java 8的版本，希望看到总结可以直接点击到文末 开启五个线程执行任务，设定了足够次数的循环输出，输出的数字和当前线程，利用System.currentTimeMillis()统计任务用时 (代码略)以下是相同任务在不同环境下执行多次的平均执行时间
2019-12-09鱼鱼
浅谈代理-动态代理
浅谈代理-动态代理我们可以很轻松的实现一个简单的代理 实现静态代理是个很简单的事情，最基础的代理只需要定义一个接口(虽然不是必要，但这显然才是标准的设计)、一个被代理类和一个代理类，例如： 定义一个接口： 一个实现类： 和一个代理类： 实际使用时，我们是去调用HelloWorldProxy的方法，其将作为HelloWorld的代理实现 此种方式直接实现的代理太过于死板，因为每一种代理行为都要制定一个代理类，我们熟知的很多基于代理的实现（譬如AOP、事务）显然不可能用静态代理的方式针对每一处类切点都覆写一个代理类，这种时候就需要动态代理 我们所熟知的相当多的框架均基于动态代理开发，JDK本身基于反射(java.lang.reflect)提供了动态代理，我们只需定义代理的行为，而对于代理类的范围并不是固定值
![浅谈代理-动态代理]()
2020-10-13鱼鱼
ES快速入门(2)——Tokenizer、Reindex
ES快速入门(2)——Tokenizer、Reindex本篇介绍es提供的几种分词分析器和常用的开源分词分析器 es默认的分词器，中规中矩的按照 Unicode Standard Annex #29分词，一般的小写符号会忽略，对于中文等字符会逐字分割，参数max_token_length表示最大的字符长度，再切分后会继续按此切分 譬如： 会分词为： 一个无视语义，按照字符尽量收集全索引的分词方式，会前后叠加的按符号位分词，参数： 会分词为： nGram的分词很全面，但如此夸张的方式用不好会导致索引doc过大，同时使查询效率偏低 分词规则很简单，无其余规则的按空格分词： 会分词为： 在standard的基础上能够有效拆分出邮箱和url地址的格式，同样有max_token_length这一参数：
![ES快速入门(2)——Tokenizer、Reindex]()
2020-09-05鱼鱼
算法：广度优先搜索（BFS）（最短路径）
算法：广度优先搜索（BFS）（最短路径）我们先看一个案例： 遍历一个树结构，按层次输出树的节点内容，即：欲求 A B C D E F 实现方式便是从根节点（A）向下遍历，先获取A，其次是A的子节点B和C，其次是B的子节点D…… 这种遍历树结构或者图结构的方法被称作广度优先搜索（BFS），与之对应的先遍历到最下层子节点的是深度优先 BFS核心采用队列的数据结构，例如上面的树结构中，解法为： A进队列->A出队列 B、C进队列->B出队列 D进队列 ->C出队列 E、F进队列-> D、E、F出队列 如果想要区分层次边缘，使用count参数即可 解法步骤（蓝色部分为已经处理完的节点）：
2020-06-05鱼鱼
多线程应用提高(I) 多线程常见问题、常用方法和关键字
多线程应用提高(I) 多线程常见问题、常用方法和关键字我们一般熟识的创建多线程方式即为继承Thread类或是实现Runnable接口，重写run()方法，还有创建线程池实现 手动定义一个线程任务（作为内部类）的方法现在已经不被提倡，所以遇到可能存在并发的复杂任务时，一般采用线程池来实现 一些设计并发常用并且容易被混淆的方法们： static sleep() : Thread类的静态方法，阻塞当前正在线程，不释放锁； wait() : 当前线程暂停，并释放锁且暂时无法重新获得锁，必须绑定当前对象内容锁（如使用Synchronized的同步块），知道其他线程调用notify()/notifyAll()才有机会获得锁继续执行； yield() : 当前线程暂停，此时时间片分配给其他线程，但是不会分配给优先级更低的线程；
![多线程应用提高(I) 多线程常见问题、常用方法和关键字]()
2019-12-07鱼鱼
数据库的瓶颈问题解决（主从分离）与多数据源切换
数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼
过滤器、拦截器、监听器和AOP
过滤器、拦截器、监听器和AOP用这篇文章来梳理一下这些杂七杂八的Spring MVC中的基础概念，顺便讲一下在项目中的一些基本使用和常见应用（其实主要是针对AOP的），至于使用他们实现具体的功能，后续可能会独立写出来（谁知道呢） 执行的顺序： 项目初始化：filter:init()->filter:doFilter()->preHandle->Controller->postHandle->afterComplition ->destory() 过滤器（Filter），由servlet提供，拦截URL(其实是servlet)，经过代理，执行想要的方法，最基本的使用是集成Filter类并重写方法，因为是从url层面上直接拦截，可以有很多用途，比如用于用户身份校验，比如某些页面需要有用户权限才能访问，就可以利用过滤器进行拦截，一些安全框架的鉴权本身也是过滤器的实现
![过滤器、拦截器、监听器和AOP]()
2020-03-01鱼鱼
项目异常问题解决
项目异常问题解决这天 程序抛出了一个WARN日志： createSecureRandom Creation of SecureRandom instance for session ID generation using [SHA1PRNG] took [43,844] milliseconds. 这意味着SHA1PRNG算法导致项目启动多花费了43秒，这是基于SHA-1算法实现且保密性较强的伪随机数生成器 1.从tomcat层面上解决： 在catalina.sh中加入这么一行：-Djava.security.egd=file:/dev/./urandom 2.从java层面解决 打开$JAVA_PATH/jre/lib/security/java.security这个文件，将下面的内容：
2019-02-28鱼鱼
ES快速入门(I)——分析分词器
ES快速入门(I)——分析分词器本文旨在快速入门Elasticsearch的分词，包括分词分析器的创建和介绍对比等，请确保在阅读前已经搭建好完备的集群 文章基于es7.0+，与稍旧版本的主要区别是没有type 在讨论分词前，我们先看一下es整体创建倒排的分词过程： 我们常说的分词器指的其实是“分析器”analyzer，es将以上常用的逻辑封装起来成为analyzer，但是语义上的分词器是指上面的tokenizer 经过了三层处理后拿到了terms数组建立最终的倒排索引： character filter：一般不会用到这个filter，是在分词前对原有的文档字段内容做转换，例如去除html的标签提取出正文内容，按正则清除和替换某些内容，你可以指定及自定义0个到多个character filter，他们将共同存在，一个文本流在经过character filter处理后，依然是文本流；
![ES快速入门(I)——分析分词器]()
2020-09-01鱼鱼
