Redis高级特性：事务和pipelined以及在RedisTemplate中的应用
Redis高级特性：事务和pipelined以及在RedisTemplate中的应用Redis Pipelined是由Client提供的(是防止client端 阻塞的操作)一种请求redis的方式 Redis本身具有很高的吞吐量，因此性能最大的考察便是网络状况，如果应用到redis的网络状况不好，每次请求都将会出现轻微的 阻塞和延迟，这种延迟对于批量请求是很可怕的，譬如要进行数千次数据插入，或是批量获取数据时，我们就需要用到Pipelined Pipelined可以将多个请求无 阻塞的发出并按顺序将请求结果“打包”返回，这有点类似于并发请求，可以有效地利用等待结果的 阻塞时间 注意，Pipelined并不能保证原子性，即pipelined执行的内容可能会被其他客户端或是线程的指令"插队"，若想要原子性操作，需要使用事务
![Redis高级特性：事务和pipelined以及在RedisTemplate中的应用]()
2020-06-21鱼鱼
算法：动态规划解法及例题
算法：动态规划解法及例题经历过很多算法题，其中最常见的解题方法便是动态规划 动态规划（dynamic programming,即DP)，是一种常见的求解最优解的方案，他通过将复杂的问题拆分为单阶段的小问题求解，核心思想是递推，通过简单基础的解一步步接近最优解 对于一个算法问题，总有一个相对令人满意的解，但却不一定是我们想要的最优解，譬如在解决动态规划中最经典的背包问题时，有些人首先想到简单省心的贪心算法，取价值最高或是性价比最高的物品组合，这种方案得到的很有可能是最优解，但贪心的算法并不适用于动态规划领域，若是物品中恰好有能将背包塞得很满的组合，而采用贪心策略却浪费了很多背包空间 其实贪心策略本身更多也是一种“相对最优”的解决方案，而很少是真正的最优，这一点请务必斟酌
2020-03-11鱼鱼
使用Shiro和token进行无状态登录
使用Shiro和token进行无状态登录我们之前可以使用shiro实现登录，但这些都是基于session或是cookie实现的，这些只能用于单机部署的服务，或是分布式服务共享会话，显然后者开销极大，所以JWT(JSON Web Token)应运而生，JWT是一套约定好的认证协议，通过请求携带令牌来访问那些需鉴权的接口 我们在这里使用token，原理类似，但是规则更为简单，没有形式上的约束，只是在请求Head或是body中添加token用于校验用户身份，token是可以和会话共存的，此处我们使用Shiro的会话登录结合JWT来实现无状态登录，从而实现扫码登录和一般的接口访问授权 项目中，需要实现无状态登录（单点登录，SSO），但是同时也要保持Shiro本身自带的会话登录
![使用Shiro和token进行无状态登录]()
2020-03-22鱼鱼
对多线程的执行效率探究——合理的任务并发拆分
对多线程的执行效率探究——合理的任务并发拆分通常，我们选择多线程执行任务有两个理由，一是复杂任务采用多线程处理能够在发生并发时让用户减少等待也能防止阻塞，一是充分利用空闲时间，提高任务处理的效率，就后者而言，此处探讨不考虑客户端并发是否有必要把一个任务拆分成多线程来处理 为了探究多线程的效率问题，我做了一个实验，将不同种类的任务分别用单线程和多线程执行，同时也试验了不同种类的锁机制 测试基于Java 8的版本，希望看到总结可以直接点击到文末 开启五个线程执行任务，设定了足够次数的循环输出，输出的数字和当前线程，利用System.currentTimeMillis()统计任务用时 (代码略)以下是相同任务在不同环境下执行多次的平均执行时间
2019-12-09鱼鱼
ES快速入门(2)——Tokenizer、Reindex
ES快速入门(2)——Tokenizer、Reindex本篇介绍es提供的几种分词分析器和常用的开源分词分析器 es默认的分词器，中规中矩的按照 Unicode Standard Annex #29分词，一般的小写符号会忽略，对于中文等字符会逐字分割，参数max_token_length表示最大的字符长度，再切分后会继续按此切分 譬如： 会分词为： 一个无视语义，按照字符尽量收集全索引的分词方式，会前后叠加的按符号位分词，参数： 会分词为： nGram的分词很全面，但如此夸张的方式用不好会导致索引doc过大，同时使查询效率偏低 分词规则很简单，无其余规则的按空格分词： 会分词为： 在standard的基础上能够有效拆分出邮箱和url地址的格式，同样有max_token_length这一参数：
![ES快速入门(2)——Tokenizer、Reindex]()
2020-09-05鱼鱼
盘点redis中特殊的数据类型 HyperLogLog Bitmap
盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
![盘点redis中特殊的数据类型 HyperLogLog Bitmap]()
2022-01-12鱼鱼
PyCharm与python快速开发
PyCharm与python快速开发Python语言作为“胶水语言”，简单易学，开发周期快，功能和扩展性强大，类库丰富 只依赖一门Java并不适用于所有情况，譬如快速开发一次性脚本(修复数据)，通过使用Python效率更高，本篇文章旨在介绍本人快速入门Python的一些tips 注意，一些Python的基本语法在此不予介绍，推荐前往廖雪峰的博客查看，博客基于Python3.8版本 关于编译器等配置内容参考PyCharm帮助文档 从Python官网下载Python并安装，配置环境变量，安装PyCharm（这里 我们使用它作为IDE），这里略过 pip是python的包管理与安装工具，当你安装python后，pip也会随之被安装
2021-01-16鱼鱼
Elasticsearch 入门
Elasticsearch 入门(注：本篇文章基于Elasticsearch7.7.0版本，由于版本的差异性造成的内容不一致我会尽量在文中标出，但是) Elasticsearch是基于Lucene扩展的全文搜索引擎，当我们有对大数据量的处理和搜索时，全文搜索引擎是最佳的选择，同时他提供了高扩展性、高可用性、RestFul风格的API和友好的分布式部署配置，在此我们不予详述 我们日常使用的数据库索引是数据库一种编排数据（逻辑上）从而加快查询的手段，我们暂且将这种索引方式称为正排索引，他通过对待搜索字符寻址从而找到对应的数据 但是这种索引方式对于模糊匹配会出现"断档"现象（模糊符号后的片段无法走索引查找），并且对于海量数据无论在存储上还是在查找上都略显吃力，于是在Elasticsearch中引入了倒排索引来加快查询速度
2020-03-06鱼鱼
MYSQL的索引、引擎的实现原理和应用
MYSQL的索引、引擎的实现原理和应用本篇主要介绍数据库MySQL的索引实现原理，包括B+ Tree的原理，顺带提到了数据库的常用引擎 我们常见的数据库引擎就是InnoDB，还有另外一个常见一个引擎叫做MyISAM，这里着重介绍着两个引擎，执行show engines，可见MySQL所有的引擎如下： InnoDB采用行级锁，不会记录表中的数据个数，支持外键，高并发下使用事务的首选引擎，也是5.5之后MySQL的默认引擎（之前采用MyISAM），可以通过bin-log日志回滚数据，所以它比较适合处理数据量大的数据 PS：InnoDB最初不支持全文索引，在MySQL 5.6版本后添加了支持 MyISAM跟InnoDB截然相反，它采用表锁，记录了表的条目数，SELECT COUNT可以直接查看表中数据个数，支持FULLTEXT索引，不支持外键和事务，不能进行数据恢复操作，他比较适合频繁插入的数据，或是读操作远大于写操作时
2019-09-15鱼鱼
多线程应用提高(II) 线程池
多线程应用提高(II) 线程池项目中，当发生并行操作时，一般都会用到线程池处理多线程任务，线程池的规则类似于数据库连接池，在此不予赘述 jdk自带线程池，此处主要讲述Spring框架自带的线程池ThreadPoolTaskExecutor 通过实现Runnable和Callable接口实现一个线程任务，从而能放入Executor进行线程管理 其中，Callable可以理解为带有返回值的Runnable，并且Callable需要实现的方法不是run()而是call()，该方法返回一个泛型对象 当我们把一个需要返回值的线程任务放进线程池后，线程池会返回一个Future对象，借助该对象，我们可以调用get()方法获取线程的状态，调用get()会阻塞当前线程直到返回结果
2020-02-25鱼鱼
阿里巴巴Java开发手册 华山版 v1.5
阿里巴巴Java开发手册 华山版 v1.5《Java 开发手册》是阿里巴巴集团技术团队的集体智慧结晶和经验总结，经历了多次大规模一线实战的检验及不断完善，公开到业界后，众多社区开发者踊跃参与，共同打磨完善，系统化地整理成册 现代软件行业的高速发展对开发者的综合素质要求越来越高，因为不仅是编程知识点，其它维度的知识点也会影响到软件的最终交付质量 比如：数据库的表结构和索引设计缺陷可能带来软件上的架构缺陷或性能风险；工程结构混乱导致后续维护艰难；没有鉴权的漏洞代码易被黑客攻击等等 所以本手册以 Java 开发者为中心视角，划分为编程规约、异常日志、单元测试、安全规约、MySQL 数据库、工程结构、设计规约七个维度，再根据内容特征，细分成若干二级子目录
2020-02-24鱼鱼
Linux常见指令集和使用技巧（持续更新）
Linux常见指令集和使用技巧（持续更新）目前是一步一步记录用到了的Linux指令 | 管道，将符号前的指令输出作为符号后的指令输入 > 将正常输出重定向(比如指令打印内容输出到文件) >> 将正常输出追加重定向（区别与上面的覆盖，这个指令对于已经存在的文件会追加内容） & 后台执行 && 前面的指令执行完毕才执行后面的指令 || 前面的指令执行出错才执行后面的指令 ls 显示目录下的文件目录或者列出文件信息 ll 属于ls，列出目录下的所有文件信息 cd 进入目录 pwd 显示当前目录的绝对路径 mkdir 创建目录 rm 删除目录（慎） mv 移动目录 即文件的打包安装，对于不同的Linux系统使用的工具有所不同，此处使用ubuntu系统，利用apt工具进行打包
2019-09-09鱼鱼
