项目异常问题解决
项目异常问题解决这天 程序抛出了一个WARN日志： createSecureRandom Creation of SecureRandom instance for session ID generation using [SHA1PRNG] took [43,844] milliseconds. 这意味着SHA1PRNG算法导致项目启动多花费了43秒，这是基于SHA-1算法实现且保密性较强的伪随机数生成器 1.从tomcat层面上解决： 在catalina.sh中加入这么一行：-Djava.security.egd=file:/dev/./urandom 2.从java层面解决 打开$JAVA_PATH/jre/lib/security/java.security这个文件，将下面的内容：
2019-02-28鱼鱼
mysql orderby排序
mysql orderby排序where 字段和orderby字段组成一个联合索引，这个样一个普通业务的order只需要通过这个索引就能确定排序顺序，不需要额外的临时表来计算字段的排序 可以通过配置max_length_for_sort_data改变mysql判断采取方式 全字段排序 将命中的行的所有要查询的结果集都放到排序的临时表内，排序后将数据结果集返回 rowid 排序 将命中的行的排序字段和主键id放到临时表内排序，再根据排序后的主键id进行一次回表查询 虽然有联合索引，但是当where的条件不止一个时候，order by就会失效，可以采取多次查询结果，然后在服务中排序的方式来解决问题
2020-05-17yangwcn
分布式系统中的CAP原则与BASE原则
分布式系统中的CAP原则与BASE原则没有十全十美的分布式系统，分布式的痛点就在于各个节点状态的统一，CAP和BASE便是描述它的状态 本文中的分布式系统不仅指一套全是无状态的应用的服务系统，单纯依靠共享资源（如多个无状态的服务共用数据库或NoSQL而不在内存或是本身的服务容器中存储任何数据）运转的服务不是纯粹的分布式系统，分布式系统中一般需要包含有状态的服务（如主从同步的Mysql、多机哨兵模式的Redis、设置会话共享的分布式Tomcat服务） 图A 分布式架构雏形 （ 试想在上图中，若是网关通过A分区对数据做出了修改，此时还没有写入数据库但是A分区的缓存做出了调整，在分区容错的情况下A不能直接与B通信，那A与B分区就会失去一致性
2019-09-29鱼鱼
造轮子2 灵活运用反射
造轮子2 灵活运用反射//TODO
![造轮子2 灵活运用反射]()
2019-05-25鱼鱼
Netty
NettyNIO相比IO有诸多利处，但平常开发中若是直接使用原生NIO进行业务开发是很不可取的，否则将面临臃肿而晦涩难懂的代码 所以日常开发中我们会时常使用封装了NIO操作代码的Netty来实现NIO操作 Netty是一个异步事件驱动的网络应用框架，用于快速开发可维护的高性能服务器和客户端
![Netty]()
2019-05-11鱼鱼
PyCharm与python快速开发
PyCharm与python快速开发Python语言作为“胶水语言”，简单易学，开发周期快，功能和扩展性强大，类库丰富 只依赖一门Java并不适用于所有情况，譬如快速开发一次性脚本(修复数据)，通过使用Python效率更高，本篇文章旨在介绍本人快速入门Python的一些tips 注意，一些Python的基本语法在此不予介绍，推荐前往廖雪峰的博客查看，博客基于Python3.8版本 关于编译器等配置内容参考PyCharm帮助文档 从Python官网下载Python并安装，配置环境变量，安装PyCharm（这里 我们使用它作为IDE），这里略过 pip是python的包管理与安装工具，当你安装python后，pip也会随之被安装
2021-01-16鱼鱼
JVM与GC
JVM与GCJMM，长下面这个样子： 其中，堆和栈区自然不做介绍了，主要介绍： 程序计数器：线程私有的，记录正在执行的字节码地址，换言之，它告诉我们某线程执行到了那里，分支、循环等也会依赖这个来执行，这一区域不会发生OOM问题 栈：就是正常所指的栈，每个方法被执行的时候都会同时创建一个栈帧（Stack Frame ）用于存储局部变量表、操作栈、动态链接、方法出口等信息 每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程，这一区域会发生StackOverflow问题 堆：就是正常所指的堆，这里是GC的主要区域 方法区：线程私有的，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据，运行时常量池也包含在里面
2019-03-28鱼鱼
ELK全家桶基本使用（I）文件收集Filebeat
ELK全家桶基本使用（I）文件收集FilebeatFilebeat是Elastic中的轻量文件收集系统，相比于功能更强悍的Logstash，当我们需求很单一，读取文件内容且对文件内容没有过多复杂处理时，最好使用FileBeat取代Logstash，以免造成不必要的内存开销 文档链接 Filebeat负责收集文件并发送给下游服务 核心行为包含输入、处理过滤和输出 当然也有集成好配置的模块，通过模块与Es和Kibana链接可以直接在Kibana上看到组件的可视化 同时不难看出Filebeat其实对数据库的支持不是很健壮 截止7.6版本，开源的Filebeat可支持以下几种消息输入类型： log 用得最多的输入类型； stdin 标准的输入，从process或是piepline读取（可理解为脚本运行通道直接输入），一旦配置了这种input方式，其他 input将不再生效文档地址；
2020-03-16鱼鱼
Redis原理-源码解析：数据结构3 sorted set(zset))
Redis原理-源码解析：数据结构3 sorted set(zset))Redis的set数据结构在此不多讲，同Java中原理一样，set也可以理解为是hash剥离了value的数据结构，即同为dic 但是zset（有序集合）其实在底层原理上完全不同于set 所有原理实现基于Redis版本6.0.9 先看一下基本的指令实现，着重注意中文注解的地方 t_zset.c 可以看出zset的数据结构不是固定的，在其元素数或是元素的字符串过长时，其结构为zset；否则使用ziplist数据结构（像hash一样为了节省空间），二者的创建方法如下： ziplist的代码和原理可以参考我的博客Redis原理-源码解析：数据结构2 list-鱼鱼的Java小站，就是一个节省内存的压缩的链表结构
2021-02-28鱼鱼
网络时延、异步IO、Pipeline
网络时延、异步IO、Pipeline通过使用多线程是能提高网络延迟带来的负面效应的，也就是在IO密集型的应用中（尤其是网络IO密集应用中），通过异步操作或能显著提高性能，本篇讨论相关问题 并不是异步（多线程）定能提高性能，有这种讨论也是发现经常有人会滥用多线程 通常会有一种说法：如果想要采用多线程的来执行一段任务，为了提高性能，假设服务器中有N个核心，推荐在CPU密集型的应用中启用N个线程，而在IO密集型的任务中启用2*N个线程 本人不是很认同此种说法，他只能代表一个大致的度量，在实际应用中几乎可以说完全不准确，一般来说，权衡系统资源与性能后，前者可能需要更少的线程数，而后者根据实际情况也许适宜分配更多的线程数 这个概念大家一般都不是很陌生，在此再次科普下：所谓IO密集型任务，即是任务的资源消耗多集中在系统IO上，这里的IO本来包括磁盘IO和网络IO等，但是磁盘IO涉及文件句柄操作等系统限制不在本篇讨论，所以此篇文章所提主要指网络IO，高网络IO也是绝大多数web应用的特性
2021-04-21鱼鱼
盘点redis中特殊的数据类型 HyperLogLog Bitmap
盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
![盘点redis中特殊的数据类型 HyperLogLog Bitmap]()
2022-01-12鱼鱼
Java排坑指南(I)jmap jstack jstat等的使用
Java排坑指南(I)jmap jstack jstat等的使用运用一些Java自带的可执行jar可以从内存的角度更轻松的排除项目中的问题，我们可能会遇到一些不常见却相对很致命的问题，例如： 某些web项目CPU跑到了100%并且飙高不下（一般来说，web应用都为IO密集应用，不太可能出现cpu高占用的情况） 项目中线程出现阻滞、阻塞（网络请求响应速度明显变慢，甚至因为死锁彻底出现阻塞等） 极可能由内存泄漏引发的不明原因的 OOM（没有预兆的或是基础逻辑问题的内存溢出） 当以上问题发生时，通过代码或是日志其实很难定位到原因所在，因为这一般是基于环境或资源导致的全局性问题，通常很难定位，这时可以通过使用Java自带的性能调优jar包更便捷的定位问题（如果没有配置环境变量，可以在jdk的bin目录下找到他们的jar包）
2020-11-28鱼鱼
