盘点redis中特殊的数据类型 HyperLogLog Bitmap

盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
2022-01-12鱼鱼

Java中的数据结构

Java中的数据结构若不提到Jdk版本，本文中的源码都是基于jdk8版本分析的 注：有关同步集合（如Vector、ConcurrentHashMap、CopyOnWriteArrayList等）请移步博客 数组集合类，是Collection接口的子类，有序的Collection实现，包含ArrayList、LinkedList、Vector，其中Vector是线程安全的ArrayList，LinkedList是底层基于双向链表实现的List ArrayList的默认大小为10，扩容操作： 也就是1.5倍 不重复集合类，不能包含重复的元素，是Collection接口的子类，包含HashSet、LinkedHashSet、TreeSet，其实都是基于Map类的实现，所以详细了解请参阅Map类
2019-07-12鱼鱼

多线程应用提高(III) 并发编程的艺术

多线程应用提高(III) 并发编程的艺术《并发编程的艺术》p36：JMM不保证64位的long型和double型变量的写操作具有原子性 面试中可能经常会被问到HashMap和HashTable的区别，其中最重要的就是前者并不是线程安全的，但其实在高并发的情形下，后者的效率低的不像话甚至不可用，所以在jdk7之后出现了线程高效且安全的ConcurrentHashMap 当并发严重时，某线程若是调用了同步方法，另外的线程将进入阻塞/轮询状态，既不能put也不能get，但ConcurrentHashMap是不同的，它采用了锁的分段技术，将数据分段存储，不同的数据持有不同的锁，这样可用性会大大高于HashTable，所以在实际开发中我们都用ConcurrentHashMap取代HashTable
2019-06-18鱼鱼

kasper的算法（从0到1）

kasper的算法（从0到1）https://javaguide.cn/cs-basics/data-structure/linear-data-structure.html https://javaguide.cn/cs-basics/algorithms/linkedlist-algorithm-problems.html 项目地址：https://github.com/labuladong/fucking-algorithm 在线文档地址：https://labuladong.gitee.io/algo/home/ http://fishmaple.cn/blog/topicBlog?topicId=7
2023-10-23kasper

DDD领域下的架构模式——CQRS架构

DDD领域下的架构模式——CQRS架构//TODO
2021-06-24鱼鱼

数据库的瓶颈问题解决（主从分离）与多数据源切换

数据库的瓶颈问题解决（主从分离）与多数据源切换业务中，数据库的设计是极为重要的一环，在高并发的业务中，我们可以采用集群部署来缓解请求和逻辑处理的压力，但是在数据库的层面却不行，Oracle、Mysql等数据库的吞吐量很高，但是依旧有阈值，我们不能奢求单库能解决所有的问题，假设遇到了数据库的瓶颈问题，我们可以采用怎样的手段呢 想要数据库达到瓶颈（SQL执行效率明显变慢），其实是很困难的，我们在程序的设计中基本都会使用到数据库连接池控制数据连接，但当业务量提升之后，连接池若是经常达到饱和便容易产生阻塞，我们不得不开放更多的连接数，随之而来的便是数据库承载了更多的并发，解决问题的主要方式有三： 更细的划分业务逻辑，将高频业务表单独分离开来，并通过定期清理的方式减小查询的执行时间，将不同的数据库请求分发到不同服务器的不同库，可以一定程度下解决上文所述的问题，但是应以数据库的设计性为前提，绝对不能牺牲原有设计合理的数据结构将其进行拆分，得不偿失
2019-08-29鱼鱼

Elasticsearch 入门

Elasticsearch 入门(注：本篇文章基于Elasticsearch7.7.0版本，由于版本的差异性造成的内容不一致我会尽量在文中标出，但是) Elasticsearch是基于Lucene扩展的全文搜索引擎，当我们有对大数据量的处理和搜索时，全文搜索引擎是最佳的选择，同时他提供了高扩展性、高可用性、RestFul风格的API和友好的分布式部署配置，在此我们不予详述 我们日常使用的数据库索引是数据库一种编排数据（逻辑上）从而加快查询的手段，我们暂且将这种索引方式称为正排索引，他通过对待搜索字符寻址从而找到对应的数据 但是这种索引方式对于模糊匹配会出现"断档"现象（模糊符号后的片段无法走索引查找），并且对于海量数据无论在存储上还是在查找上都略显吃力，于是在Elasticsearch中引入了倒排索引来加快查询速度
2020-03-06鱼鱼

Redis高级特性：事务和pipelined以及在RedisTemplate中的应用

Redis高级特性：事务和pipelined以及在RedisTemplate中的应用Redis Pipelined是由Client提供的(是防止client端 阻塞的操作)一种请求redis的方式 Redis本身具有很高的吞吐量，因此性能最大的考察便是网络状况，如果应用到redis的网络状况不好，每次请求都将会出现轻微的 阻塞和延迟，这种延迟对于批量请求是很可怕的，譬如要进行数千次数据插入，或是批量获取数据时，我们就需要用到Pipelined Pipelined可以将多个请求无 阻塞的发出并按顺序将请求结果“打包”返回，这有点类似于并发请求，可以有效地利用等待结果的 阻塞时间 注意，Pipelined并不能保证原子性，即pipelined执行的内容可能会被其他客户端或是线程的指令"插队"，若想要原子性操作，需要使用事务
2020-06-21鱼鱼

Spring MVC源码和设计思想1 DispatcherServlet

Spring MVC源码和设计思想1 DispatcherServlet此篇文章是个人通过阅览Spring MVC源码的学习过程记录，包含Spring MVC的关键细节源码设计和一些设计上的tips，更近似于一种意识流的记录方式，锚点设置可能也有些乱，零零散散的点我日后有时间会统一总结起来 Restful风格的Http有八种请求方式，除了最常使用的Get与Post还有Head、Put、Delete、Options、Trace、Connect 在Restful接口的设计中，请求方方式的语义性很强，我们时常用他约束接口请求的行为，请求类型的语义： OPTIONS获取服务器支持的HTTP请求方法； HEAD跟get很像，但是不返回响应体信息，用于检查对象是否存在，并获取包含在响应消息头中的信息
2019-06-03鱼鱼

IO与NIO

IO与NIO我们都知道IO流传输，其实IO模型有很多，例如BIO、NIO、AIO等，传统的IO都是同步的 IO为各种流操作 IO操作分类 I IO操作分类 II 其中，输入流可以为InputStream和Reader，分别为字节流和字符流，对应地，输出流为OutputStream和Writer，具体的使用在此不详述 NIO是IO模型中后推出的新IO模型 NIO并不一定是多线程的，但是NIO是多管道的，利用缓冲作为中间介质进行数据传输，运用的其实是多路复用技术，它恰恰是通过减少线程数量从而减少上下文的频繁切换，提高性能 Channel：通道，相当于一个连接，不能直接输出数据，只能与Buffer交换数据
2019-05-11鱼鱼

tips

tips一些小tip： 向上转型，失去特征 定义相同对象，重写hash和（不是或）equal Vue.nextTick() 回调函数：在Vue（重新）渲染页面之后调用 vue绑定样式，我们会发现background-color 不能直接绑定 需写为backgroundColor 因为js中不允许出现‘-’ 存库之前，mysql会把换行符什么的过滤掉，使得出入不一致（应用场景：textarea存）解决：this.value.replace(/\n|\r\n/g,"
") linux下的mysql的表名是区分大小写的！ 实现线程接口 Runnable 注解注入失败 注解注入失败 Linux下缺少部分字体，使用drawString会出问题(二维码模块)，解决手段：从windows引入字体，因为不是什么主流问题所以就简单写一下，如果再碰到相关问题在详细的讲述一下
2019-05-08鱼鱼

PyCharm与python快速开发

PyCharm与python快速开发Python语言作为“胶水语言”，简单易学，开发周期快，功能和扩展性强大，类库丰富 只依赖一门Java并不适用于所有情况，譬如快速开发一次性脚本(修复数据)，通过使用Python效率更高，本篇文章旨在介绍本人快速入门Python的一些tips 注意，一些Python的基本语法在此不予介绍，推荐前往廖雪峰的博客查看，博客基于Python3.8版本 关于编译器等配置内容参考PyCharm帮助文档 从Python官网下载Python并安装，配置环境变量，安装PyCharm（这里 我们使用它作为IDE），这里略过 pip是python的包管理与安装工具，当你安装python后，pip也会随之被安装
2021-01-16鱼鱼

网站地图

首页 博客 {{screen}} 第 {{page}} 页

{{blog.title}}

{{blog.content}}

{{blog.createDate}} ◔ {{blog.timeline}} {{blog.author}} {{tag}}

{{blog.likeCount}}{{blog.commentCount}}

分类下暂时没有文章哦！

主题分类

源码解析

造个轮子吧

多线程应用提高

问题探究

来做几道算法题

微服务架构实战

QuickStart

电子出版物

Java排坑指南

做点有趣的！

瞧瞧看看MySQL

{{taggroup.label}} 

{{tag.value}}