Linux常见指令集和使用技巧（持续更新）
Linux常见指令集和使用技巧（持续更新）目前是一步一步记录用到了的Linux指令 | 管道，将符号前的指令输出作为符号后的指令输入 > 将正常输出重定向(比如指令打印内容输出到文件) >> 将正常输出追加重定向（区别与上面的覆盖，这个指令对于已经存在的文件会追加内容） & 后台执行 && 前面的指令执行完毕才执行后面的指令 || 前面的指令执行出错才执行后面的指令 ls 显示目录下的文件目录或者列出文件信息 ll 属于ls，列出目录下的所有文件信息 cd 进入目录 pwd 显示当前目录的绝对路径 mkdir 创建目录 rm 删除目录（慎） mv 移动目录 即文件的打包安装，对于不同的Linux系统使用的工具有所不同，此处使用ubuntu系统，利用apt工具进行打包
2019-09-09鱼鱼
AI大模型定价对比
AI大模型定价对比https://open.bigmodel.cn/pricing 火山方舟也提供端点（GLM3 0.001） https://openai.com/ja-JP/api/pricing/ 出入价格不一样 官网和火山都有 另外有免费版本的
2024-12-18鱼鱼
IO与NIO
IO与NIO我们都知道IO流传输，其实IO模型有很多，例如BIO、NIO、AIO等，传统的IO都是同步的 IO为各种流操作 IO操作分类 I IO操作分类 II 其中，输入流可以为InputStream和Reader，分别为字节流和字符流，对应地，输出流为OutputStream和Writer，具体的使用在此不详述 NIO是IO模型中后推出的新IO模型 NIO并不一定是多线程的，但是NIO是多管道的，利用缓冲作为中间介质进行数据传输，运用的其实是多路复用技术，它恰恰是通过减少线程数量从而减少上下文的频繁切换，提高性能 Channel：通道，相当于一个连接，不能直接输出数据，只能与Buffer交换数据
2019-05-11鱼鱼
Kafka服务端集群原理
Kafka服务端集群原理kafka是家喻户晓的消息队列，也因“纯粹”而闻名（高性能高吞吐、扩展较少较为简单），此篇文章整理Kafka的基本架构，将按照Kafka的版本迭代分别展示架构的演进（截至版本3.0） 我们在这里暂且只讨论Kafka服务端，对于生产者和消费者的逻辑简单带过 扫盲一下Kafka的部分概念： Producer mq生产者通用叫法 作为消息的生产者，在生产完消息后需要将消息投送到指定的目的地（某个topic的某个partition） Producer可以根据指定选择partition的算法或者是随机方式来选择发布消息到哪个partition； Consumer mq生产者通用叫法 消息消费者，向Kafka broker读取消息的客户端;，负责订阅和消费消息
2022-03-10鱼鱼
盘点redis中特殊的数据类型 HyperLogLog Bitmap
盘点redis中特殊的数据类型 HyperLogLog Bitmap 基数计数(cardinality counting)通常用来统计一个集合中不重复的元素个数，例如统计某个网站的UV，或者用户搜索网站的关键词数量 数据分析、网络监控及数据库优化等领域都会涉及到基数计数的需求 要实现基数计数，最简单的做法是记录集合中所有不重复的元素集合S_uSu，当新来一个元素x_ixi，若S_uSu中不包含元素x_ixi，则将x_ixi加入S_uSu，否则不加入，计数值就是S_uSu的元素数量 这种做法存在两个问题： 当统计的数据量变大时，相应的存储内存也会线性增长 当集合S_uSu变大，判断其是否包含新加入元素x_ixi的成本变大 大数据量背景下，要实现基数计数，首先需要确定存储统计数据的方案，以及如何根据存储的数据计算基数值；另外还有一些场景下需要融合多个独立统计的基数值，例如对一个网站分别统计了三天的UV，现在需要知道这三天的UV总量是多少，怎么融合多个统计值
![盘点redis中特殊的数据类型 HyperLogLog Bitmap]()
2022-01-12鱼鱼
MYSQL的索引、引擎的实现原理和应用
MYSQL的索引、引擎的实现原理和应用本篇主要介绍数据库MySQL的索引实现原理，包括B+ Tree的原理，顺带提到了数据库的常用引擎 我们常见的数据库引擎就是InnoDB，还有另外一个常见一个引擎叫做MyISAM，这里着重介绍着两个引擎，执行show engines，可见MySQL所有的引擎如下： InnoDB采用行级锁，不会记录表中的数据个数，支持外键，高并发下使用事务的首选引擎，也是5.5之后MySQL的默认引擎（之前采用MyISAM），可以通过bin-log日志回滚数据，所以它比较适合处理数据量大的数据 PS：InnoDB最初不支持全文索引，在MySQL 5.6版本后添加了支持 MyISAM跟InnoDB截然相反，它采用表锁，记录了表的条目数，SELECT COUNT可以直接查看表中数据个数，支持FULLTEXT索引，不支持外键和事务，不能进行数据恢复操作，他比较适合频繁插入的数据，或是读操作远大于写操作时
2019-09-15鱼鱼
阿里巴巴Java开发手册 华山版 v1.5
阿里巴巴Java开发手册 华山版 v1.5《Java 开发手册》是阿里巴巴集团技术团队的集体智慧结晶和经验总结，经历了多次大规模一线实战的检验及不断完善，公开到业界后，众多社区开发者踊跃参与，共同打磨完善，系统化地整理成册 现代软件行业的高速发展对开发者的综合素质要求越来越高，因为不仅是编程知识点，其它维度的知识点也会影响到软件的最终交付质量 比如：数据库的表结构和索引设计缺陷可能带来软件上的架构缺陷或性能风险；工程结构混乱导致后续维护艰难；没有鉴权的漏洞代码易被黑客攻击等等 所以本手册以 Java 开发者为中心视角，划分为编程规约、异常日志、单元测试、安全规约、MySQL 数据库、工程结构、设计规约七个维度，再根据内容特征，细分成若干二级子目录
2020-02-24鱼鱼
mysql orderby排序
mysql orderby排序where 字段和orderby字段组成一个联合索引，这个样一个普通业务的order只需要通过这个索引就能确定排序顺序，不需要额外的临时表来计算字段的排序 可以通过配置max_length_for_sort_data改变mysql判断采取方式 全字段排序 将命中的行的所有要查询的结果集都放到排序的临时表内，排序后将数据结果集返回 rowid 排序 将命中的行的排序字段和主键id放到临时表内排序，再根据排序后的主键id进行一次回表查询 虽然有联合索引，但是当where的条件不止一个时候，order by就会失效，可以采取多次查询结果，然后在服务中排序的方式来解决问题
2020-05-17yangwcn
阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解
阻塞队列与Protobuf的Udp通信 - 基于Cat的代理(Agent)项目拆解CAT是美团点评的一个基于Java开发的异常和性能监控项目，github地址：https://github.com/dianping/cat 本篇文章不是对CAT本身的源码拆解，而是基于本人依赖CAT client开发的代理项目进行拆解，但是并不会纰漏任何技术细节 CAT当前已有很多不同语言的Client，当然暂且是不 CAT本身是通过CAT client收集数据并上报至CAT server，server会进行并，共有六种常见数据格式：Transaction、Event、Problem、Metric、HeartBeat、调用链标记，其实如果不考虑复杂的处理（譬如Metric是可以基于指标生成折线图，Problem可以根据具体的异常类型追溯到相应的会话Track）除去Transaction剩余的数据格式都可以理解为特殊的Event
2020-07-19鱼鱼
代理与nginx
代理与nginx代理指接受请求但是不由代理服务器自己处理请求而是直接转发给指定服务器（或是根据负载均衡算法转发给集群部署中的某一台服务器），然后由代理服务器接收请求结果并返回给客户端 指客户端的代理处理方式，指用户通过代理服务器访问指定的网站、服务，最常见的应用是翻墙，并且使用这种方式可以使客户端匿名访问 指服务端的代理处理方式，多个用户在访问网站服务时，实际访问的是反向代理服务器(如nginx)，反向代理服务器将请求内容转发给服务集群，最常用于服务器集群负载均衡和避免内网信息暴露 总之，正向代理是对服务端隐藏了客户端信息，反向代理则正相反，有一张图可以很好地概括这两个代理概念(图源知乎，侵删)
2019-05-11鱼鱼
网络协议面面观：TCP/IP协议组，TCP与UDP
网络协议面面观：TCP/IP协议组，TCP与UDP日常中的网站应用交互绝大部分都是基于TCP/IP协议栈构建的，而TCP/IP就是通信常见的protocol(协议)组，是一类协议的简称，利用这篇文章总结一些常见的TCP/IP网络协议簇以及着重一下两个常见的传输层协议TCP和UDP，扫一下盲 OSI参考模型是ISO(国际标准化组织)指定的网络互联七层模型，与此对比的还有互联网界针对TCP/IP协议簇提出的四层模型 相比之下，OSI七层模型的应用面很窄，且是一种理论模型，TCP/IP则是一种实施标准 一般使用四层模型来表达协议归属，所以此处不详细介绍七层模型的内容，只是简单的与四层协议做对比，两者对比： 应用层 通过这个TCP/IP模型，整体的数据流向是发送方自顶向下然后在接收方自底向上的，即：
2020-03-03鱼鱼
扫盲——加密那些事
扫盲——加密那些事扫盲加密解密算法 日常开发中我们经常接触MD5算法，以此进行简单的文件完整性校验或者是后台密码验证，MD5是最常见也是最简单快捷的散列算法，常用于参数或文件完整性校验，譬如网络请求发起方与接收方分别对参数做MD5编码，一旦不一致便判断请求被篡改从而拒绝该请求，从而保证信息安全，编码后的字符串是编码前文本的一个简要梗概，因此它也被称作是信息摘要算法 这个算法的特点就是不可逆，只用于信息准确性和防篡改的校验，当然，MD5作为老牌的散列算法，很多经典的编码已经可以被反向解码出来（依靠正向的暴力穷举）以及被碰撞模仿（王小云院士团队的"破解"能够根据MD5编码后串码模拟原始消息，即使它可能与原信息不同），类似的还有SHA1，因此衍生了SHA224、SHA256、SHA512等更多安全的散列算法
2021-05-14鱼鱼
