ES快速入门(I)——分析分词器
ES快速入门(I)——分析分词器本文旨在快速入门Elasticsearch的分词，包括分词分析器的创建和介绍对比等，请确保在阅读前已经搭建好完备的集群 文章基于es7.0+，与稍旧版本的主要区别是没有type 在讨论分词前，我们先看一下es整体创建倒排的分词过程： 我们常说的分词器指的其实是“分析器”analyzer，es将以上常用的逻辑封装起来成为analyzer，但是语义上的分词器是指上面的tokenizer 经过了三层处理后拿到了terms数组建立最终的倒排索引： character filter：一般不会用到这个filter，是在分词前对原有的文档字段内容做转换，例如去除html的标签提取出正文内容，按正则清除和替换某些内容，你可以指定及自定义0个到多个character filter，他们将共同存在，一个文本流在经过character filter处理后，依然是文本流；
![ES快速入门(I)——分析分词器]()
2020-09-01鱼鱼
Java的socket通信
Java的socket通信网络编程中，会使用socket通信 TCP/IP协议，即Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议，他使用TCP/IP四层模型（实际开发中只涉及到四层模型，软件范畴涉及不到OSI七层参考模型）： TCP是面向连接的通信协议，通过三次握手建立连接，通讯完成时要拆除连接，由于TCP是面向连接的所以只能用于端到端的通讯 具有高度的可靠性 三次握手，即通信时，客户端和服务端共计要传输三次包，三次握手建立连接： 1.主机（客户端）发送 SYN=1（建立连接标识）和seq=x（序号），客户端进入SYN_SEND状态，等待服务端确认
2019-03-27鱼鱼
多线程应用提高(I) 多线程常见问题、常用方法和关键字
多线程应用提高(I) 多线程常见问题、常用方法和关键字我们一般熟识的创建多线程方式即为继承Thread类或是实现Runnable接口，重写run()方法，还有创建线程池实现 手动定义一个线程任务（作为内部类）的方法现在已经不被提倡，所以遇到可能存在并发的复杂任务时，一般采用线程池来实现 一些设计并发常用并且容易被混淆的方法们： static sleep() : Thread类的静态方法，阻塞当前正在线程，不释放锁； wait() : 当前线程暂停，并释放锁且暂时无法重新获得锁，必须绑定当前对象内容锁（如使用Synchronized的同步块），知道其他线程调用notify()/notifyAll()才有机会获得锁继续执行； yield() : 当前线程暂停，此时时间片分配给其他线程，但是不会分配给优先级更低的线程；
![多线程应用提高(I) 多线程常见问题、常用方法和关键字]()
2019-12-07鱼鱼
mysql前缀索引
mysql前缀索引有时候需要索引很长的字符列，这会让索引变得大且慢 通常可以索引开始的部分字符，这样可以大大节约索引空间，从而提高索引效率 但这样也会降低索引的选择性 前面已经说过，使用前缀索引，定义好长度，就可以做到既节省空间，又不用额外增加太多的查询成本 2.1因为前缀索引无法完全等于判断，只是前缀匹配，所以可能需要扫描的所以数会增加 2.2在特殊的查询里面 select id,email from SUser where email='zhangssxyz@xxx.com'; 前缀索引需要回到 id 索引再查一下，因为系统并不确定前缀索引的定义是否截断了完整信息 select count(distinct left(email,4)）as L4,
2020-05-15yangwcn
盘点redis中特殊的数据类型 HyperLogLog Bitmap
盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
![盘点redis中特殊的数据类型 HyperLogLog Bitmap]()
2022-01-12鱼鱼
对多线程的执行效率探究——合理的任务并发拆分
对多线程的执行效率探究——合理的任务并发拆分通常，我们选择多线程执行任务有两个理由，一是复杂任务采用多线程处理能够在发生并发时让用户减少等待也能防止阻塞，一是充分利用空闲时间，提高任务处理的效率，就后者而言，此处探讨不考虑客户端并发是否有必要把一个任务拆分成多线程来处理 为了探究多线程的效率问题，我做了一个实验，将不同种类的任务分别用单线程和多线程执行，同时也试验了不同种类的锁机制 测试基于Java 8的版本，希望看到总结可以直接点击到文末 开启五个线程执行任务，设定了足够次数的循环输出，输出的数字和当前线程，利用System.currentTimeMillis()统计任务用时 (代码略)以下是相同任务在不同环境下执行多次的平均执行时间
2019-12-09鱼鱼
PyCharm与python快速开发
PyCharm与python快速开发Python语言作为“胶水语言”，简单易学，开发周期快，功能和扩展性强大，类库丰富 只依赖一门Java并不适用于所有情况，譬如快速开发一次性脚本(修复数据)，通过使用Python效率更高，本篇文章旨在介绍本人快速入门Python的一些tips 注意，一些Python的基本语法在此不予介绍，推荐前往廖雪峰的博客查看，博客基于Python3.8版本 关于编译器等配置内容参考PyCharm帮助文档 从Python官网下载Python并安装，配置环境变量，安装PyCharm（这里 我们使用它作为IDE），这里略过 pip是python的包管理与安装工具，当你安装python后，pip也会随之被安装
2021-01-16鱼鱼
MySQL杂记
MySQL杂记Explain 可以分析一个SELECT语句的性能，只要加在查询语句之前即可，会输出关于查询语句的分析，分析这个例子： id: SELECT 查询的标识符. 每个 SELECT 都会自动分配一个唯一的标识符. select_type: SELECT 查询的类型. table: 所查询的表 partitions: 匹配的分区 type: join 类型 possible_keys: 此次查询中可能选用的索引 key: 此次查询中确切使用到的索引. key_len: 索引长度占字节数 ref: 哪个字段或常数与 key 一起被使用 rows: 显示此查询一共扫描了多少行. 这个是一个估计值.
2019-02-25鱼鱼
Rocket MQ的基本应用
Rocket MQ的基本应用消息队列，常用于应用间通信 本篇文章基于RocketMQ官方文档 Topic：消息分类，依靠topic来定义消息类型 Tag：消息二级分类，可选，同个topic用不同的tag区分消息类别 Message : 泛指MQ所传送的消息体 Producer：消息生产者 Consumer：消息消费者 Name Server：有点类似于zookeeper，负责服务的注册与发现，维护Broker与Topic的映射关系 Broker：负责消息的存储与生产者消费者消息接收与分发，与Name Server建立长连接，保持心跳上传负责的topic信息 Producer：消息生产者，从Name Server获取Broker对应Topic映射关系，然后与Broker建立连接发送消息
2019-06-28鱼鱼
什么是web服务器？什么是web应用服务器？容器、以及服务器概念的区分（萌新向）
什么是web服务器？什么是web应用服务器？容器、以及服务器概念的区分（萌新向）本文主要是为了帮助萌新理解在web开发时遇到的关于web工作原理的疑问，由于本人水平十分有限，所以本文仅作为一般性参考，如有错误，欢迎批评指正OVO 首先说明的是，我们所谓的web服务器并不是物理上的服务器，而是建立在物理服务器上的一个web应用的运行环境，是一个软件服务器 这就好比前后端分离开发时，后端模块在物理服务器上的JVM，前端也需要一个“运行环境”进行工作，那么web服务器端概念就应运而生了，大概就好比下图 上图中拥有VUE经典的原谅色的web服务器就是我们前端运行的地方，可见web服务器的主要作用是给前端一个合理的运行环境，其实不只是看起来那么简单，web服务器还要处理代理、反向代理、跨域、并支持并发等等
2019-06-16Agostino
JVM与GC
JVM与GCJMM，长下面这个样子： 其中，堆和栈区自然不做介绍了，主要介绍： 程序计数器：线程私有的，记录正在执行的字节码地址，换言之，它告诉我们某线程执行到了那里，分支、循环等也会依赖这个来执行，这一区域不会发生OOM问题 栈：就是正常所指的栈，每个方法被执行的时候都会同时创建一个栈帧（Stack Frame ）用于存储局部变量表、操作栈、动态链接、方法出口等信息 每一个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程，这一区域会发生StackOverflow问题 堆：就是正常所指的堆，这里是GC的主要区域 方法区：线程私有的，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据，运行时常量池也包含在里面
2019-03-28鱼鱼
使用Shiro和token进行无状态登录
使用Shiro和token进行无状态登录我们之前可以使用shiro实现登录，但这些都是基于session或是cookie实现的，这些只能用于单机部署的服务，或是分布式服务共享会话，显然后者开销极大，所以JWT(JSON Web Token)应运而生，JWT是一套约定好的认证协议，通过请求携带令牌来访问那些需鉴权的接口 我们在这里使用token，原理类似，但是规则更为简单，没有形式上的约束，只是在请求Head或是body中添加token用于校验用户身份，token是可以和会话共存的，此处我们使用Shiro的会话登录结合JWT来实现无状态登录，从而实现扫码登录和一般的接口访问授权 项目中，需要实现无状态登录（单点登录，SSO），但是同时也要保持Shiro本身自带的会话登录
![使用Shiro和token进行无状态登录]()
2020-03-22鱼鱼
