Home

常见性能优化策略的总结

2023-10-3·2024-11-19·学习·#工具 / #开发
💡
每种策略提供了具体的原因和实施方法，如合理分配内存、使用Redis和RabbitMQ、选择合适的垃圾回收器、采用HTTP/2和CDN技术、使用Docker容器、以及通过代码审查和性能分析进行优化。通过这些策略，可以提高系统的响应速度、稳定性和可扩展性。
数据库调优
三个层次：SQL调优 > 数据结构优化 > 硬件优化
SQL调优
  • 定位问题SQL
      1. 分析SQL执行计划：通过观察SQL执行计划，了解查询的性能瓶颈，从而定位问题SQL
      1. 使用EXPLAIN命令：在SQL语句前加上EXPLAIN关键字，可以查看查询的执行过程和优化建议,帮助定位问题SQL
      1. 监控数据库性能指标：关注数据库的CPU、内存、磁盘和网络等资源使用情况，通过对比阈值发现异常SQL,从而定位问题SQL
  • 使用explain、profile等工具逐步调优
      1. 分析查询执行计划：通过explain工具，了解查询的执行过程和性能瓶颈，从而针对性地进行优化。
      1. 逐步调整索引：根据explain结果，合理创建或调整索引，提高查询效率。
      1. 优化SQL语句：避免使用子查询、临时表等影响性能的操作，简化SQL语句结构。
      1. 数据库参数调优：根据系统实际情况，调整数据库配置参数，如缓冲区大小、连接数等，提高数据库性能。
      1. 定期维护数据库：清理无用数据、重建索引等，保持数据库良好运行状态。
  • 经过测试达到效果后上线
数据库结构优化
  • 合理设计数据库表结构
      1. 选择合适的数据类型：根据实际需求选择合适的数据类型，以减少存储空间和提高查询效率。
      1. 使用索引：为经常用于查询条件的列创建索引，加速查询速度。
      1. 限制列长度：合理设置列的最大长度,避免不必要的存储空间浪费。
      1. 避免使用NULL值：尽量减少表中的NULL值，以提高查询效率。
      1. 定期分析和优化表结构：根据业务变化和性能指标调整表结构，保持数据库高效运行。
  • 优化索引
      1. 选择合适的索引类型;B树、哈希、位图等，根据数据特性和查询需求进行选择。
      1. 创建覆盖索引：尽量让索引包含所有需要查询的字段，减少回表操作。
      1. 限制索引列的长度：避免索引过长，影响查询性能。
      1. 使用前缀索引：如果某些列具有相同的前缀，可以创建前缀索引，提高查询效果
      1. 合并索引：将多个相关字段合并为一个索引，减少索引碎片，提高查询速度。
      1. 删除不必要的索引：定期检查索引的使用情况，删除不再使用的索引，节省存储空间。
      1. 优化索引结构：合理设置索引的排序顺序，降低维护成本。
  • 分表分库
      1. 分表分库：根据业务需求，将大表拆分为小表，提高查询效率。
      1. 垂直拆分：按功能模块将数据分布到不同的数据库中，降低单个数据库的压力。
      1. 水平拆分：将数据按照某种规则分布到多个数据库服务器上，实现负载均衡。
      1. 读写分离：将读操作和写操作分别在不同的数据库服务器上执行，提高性能。
      1. 数据库索引优化：合理创建索引，提高查询速度。
      1. SQL优化：避免使用低效的SQL语句，提高查询性能。
      1. 缓存策略：利用缓存技术减少对数据库的访问，提高系统性能。
硬件优化
  • 升级硬件配置
      1. 升级内存：提高系统运行速度，减少缓存和交换空间的需求。
      1. 更换更快的固态硬盘：提高数据读写速度,缩短系统启动时间。
      1. 增加CPU核心数：提高多任务处理能力，提升整体性能。4.优化网络配置∶提高网络传输速度,降低延迟。
  • 优化磁盘I/O
      1. 使用缓存：将常用数据和查询结果存储在内存中，减少磁盘I/O。
      1. 读写分离：将读操作和写操作分别分配给不同的磁盘，提高性能。
      1. 调整文件系统参数：根据应用需求调整文件系统的参数，如IOPS、缓存大小等。
      1. 使用RAID：通过组合多个磁盘,提高数据读写速度和可靠性。
      1. 优化磁盘布局：将热数据存储在高速磁盘上，冷数据存储在低速磁盘上。
      1. 压缩和归档：对数据进行压缩和归档，减少磁盘空间占用，提高读写速度。
      1. 使用SSD：固态硬盘具有更高的读写速度和更低的延迟，可以显著提高性能。
      1. 监控和分析：定期监控磁盘I/O性能，找出瓶颈并进行优化。
  • 优化内存使用
      1. 合理分配内存：根据应用程序的实际需求，为不同类型的数据分配合适的内存空间，避免内存浪费。
      1. 使用缓存技术：将经常访问的数据存储在缓存中，减少对磁盘的读写次数，提高系统性能。
缓存优化
原因：缓存可以有效减少数据库访问次数,提高系统性能
  1. 减少数据库查询次数：通过缓存，将经常访问的数据存储在内存中，从而减少对数据库的查询次数,提高系统性能。
  1. 减轻数据库压力：缓存可以降低数据库的负载，避免因大量请求导致的数据库过载,保证系统的稳定运行。
  1. 提高响应速度：缓存可以加快数据加载速度，减少网络传输时间，提高用户体验和系统性能。
策略：选择合适的缓存类型(内存缓存、磁盘缓存、分布式缓存等)
  1. 选择合适的缓存类型：根据应用场景和数据访问特点，合理选择内存缓存、磁盘缓存或分布式缓存。
  1. 缓存更新策略：定期更新缓存数据，避免过期数据影响性能;采用异步更新策略，降低对主线程的影响。
  1. 缓存失效策略：设置合适的过期时间，自动淘汰过期数据;采用随机替换、最近最少使用等策略，防止热点数据集中失效。
  1. 缓存穿透问题：使用布隆过滤器进行预处理，减少查询数据库次数;设置空对象值，避免空指针异常。
  1. 缓存雪崩问题：采用多级缓存、熔断降级等策略，提高系统的容错能力。
  1. 缓存并发问题：使用互斥锁、读写锁等机制，保证缓存的线程安全;采用分布式锁,解决跨节点的并发问题。
  1. 缓存一致性问题：采用双重检查锁定(DCL)、乐观锁等策略，保证缓存与数据库数据的一致性。
  1. 缓存压缩优化：对缓存数据进行压缩，减少存储空间和传输开销;采用LRU算法，淘汰不常用的数据。
  1. 监控与分析：实时监控缓存使用情况，分析性能瓶颈，及时调整优化策略。
示例：使用Redis作为缓存服务器
  1. 合适的数据结构：Redis支持多种数据结构，如字符串、哈希、列表、集合和有序集合。根据应用场景选择合适的数据结构可以提高性能。
  1. 设置过期时间：合理设置缓存数据的过期时间，可以避免内存浪费和长时间占用资源。同时，可以通过定时任务清理过期数据。
  1. 分布式缓存： Redis作为单机版缓存服务器性能有限，通过部署多个Redis实例形成集群，可以提高缓存吞吐量和可扩展性。
  1. 读写分离：将热点数据存储在Redis主节点，将冷数据存储在从节点，实现读写分离，降低单个节点的压力，提高整体性能。
异步处理
原因：异步处理可以减少请求等待时间,提高系统性能
  1. 异步处理提高响应速度,减少用户等待时间。
  1. 异步处理并发执行，充分利用系统资源。
  1. 异步处理减轻数据库压力，提高数据读写性能。
  1. 异步处理降低服务器负载，提高系统稳定性。
  1. 异步处理实现非阻塞通信，提高用户体验。
  1. 异步处理简化逻辑结构，降低开发难度。
  1. 异步处理有利于分布式系统架构，提高可扩展性。
策略：使用消息队列进行异步处理
  1. 提高系统吞吐量：通过将耗时操作放入消息队列中，允许其他任务在等待期间继续执行，从而提高整个系统的处理能力。
  1. 解耦和负载均衡：异步处理可以降低系统之间的依赖关系，使各个组件更易于维护和扩展。同时，消息队列可以在多个处理器或服务器之间分配任务，实现负载均衡。
  1. 故障隔离和弹性扩展：使用消息队列进行异步处理，可以在某个任务出现故障时，不影响整个系统的运行。此外，通过添加更多的消息队列节点，可以实现系统的弹性扩展，以应对更高的负载。
示例：使用RabbitMQ作为消息队列服务器
  1. 降低延迟：使用RabbitMQ的持久化消息队列，确保消息在服务器重启后仍然存在。
  1. 提高吞吐量：通过设置合适的并发数和消息缓冲区，提高消息处理速度。
  1. 解耦：将生产者和消费者解耦，实现模块化开发。
  1. 可靠性：利用RabbitMQ的高可用性和故障转移机制，保证系统稳定运行。
  1. 扩展性：支持多种消息模型和协议，满足不同场景的需求。
  1. 监控与管理：通过监控工具实时了解消息队列的状态，方便进行性能优化和故障排查。
JVM优化
原因：JVM优化可以提高Java应用程序的性能
  1. 减少对象创建：通过重用对象、使用对象池等方式，避免不必要的对象创建,提高性能。
  1. 优化垃圾回收：合理设置堆内存大小、选择合适的垃圾回收器等，提高垃圾回收效率。
  1. 调整线程栈大小：根据应用程序特点，合理设置线程栈大小，降低线程栈溢出风险
  1. 使用缓存：利用缓存技术，减少对数据库或外部资源的访问，提高响应速度。
  1. 代码优化：消除重复计算、减少同步锁竞争等，提高代码执行效率。
  1. 使用并行计算：利用多核处理器，将任务分解为多个子任务并行执行，提高计算速度。
  1. 分析性能瓶颈：通过监控工具找出应用程序的性能瓶颈，针对性地进行优化。
策略：选择合适的垃圾回收器、优化堆内存设置、优化JIT编译器参数等
  1. 选择合适的垃圾回收器：根据应用特点和性能需求，选择并配置合适的垃圾回收器，如CMS、G1等。
  1. 优化堆内存设置：调整堆内存大小、新生代与老年代比例等参数，以提高垃圾回收效率。
  1. 优化JIT编译器参数：调整JIT编译器的编译目标、堆栈大小等参数，以提高代码执行速度。
  1. 避免对象创建过多∶减少不必要的对象创建，提高垃圾回收效
  1. 使用类加载器缓存：合理利用类加载器缓存，避免重复加载类导致的性能损失
  1. 使用线程池：合理配置线程池，避免线程过多导致的性能瓶颈。
  1. 监控和调优：定期监控系统性能，根据监控数据进行调优，持续提升系统性能。
示例：使用G1垃圾回收器、设置合理的堆内存大小和JIT编译器参数
  1. G1垃圾回收器简介：G1(Garbage-First)垃圾回收器是一种面向服务的堆内存回收器，通过将堆内存划分为多个大小相等的区域来提高垃圾回收效率。
  1. 设置合理的堆内存大小：根据应用程序的实际需求和系统资源情况，合理分配堆内存大小,以保证应用程序运行顺畅。
  1. JIT编译器参数调整：通过调整JIT编译器的参数，如`-XX：+UseG1Gc".Xmx`和~-Xms`,优化Java程序的性能。
  1. G1垃圾回收器的优势：相比传统垃圾回收器，G1具有更高的垃圾回收效率、更低的停顿时间和更短的回收时间。
  1. 堆内存分区策略：G1垃圾回收器将堆内存划分为多个大小相等的区域(Region),每个区域可以并行地进行垃圾回收。
  1. 动态内存分配策略：G1垃圾回收器支持全局和局部引用计数，以及可调整的复制因子，以适应不同场景的需求。
  1. 适用于场景：G1垃圾回收器适用于大内存、多核处理器的Java应用程序, 尤其是高并发、高吞吐量的场景。
网络优化
原因：网络优化可以提高系统之间的通信效率
  1. 减少延迟：网络优化通过调整数据传输路径和协议，降低数据在传输过程中的延迟，从而提高系统之间的通信效率。
  1. 提高带宽利用率：通过对网络进行优化，可以有效提高网络带宽的利用率，使得更多的数据能够在短时间内传输完成，提高通信效率。
  1. 降低丢包率：网络优化可以通过改进信道质量、增加缓存等方法，降低数据在传输过程中的丢包率，保证数据的完整性和准确性，提高通信效率。
  1. 优化路由选择：网络优化可以根据数据传输的距离、优先级等因素，智能地选择最佳的路由路径，避免因路由选择不当导致的通信拥堵和延迟，提高通信效率。
策略：使用HTTP/2、CDN等优化技术
  1. 使用HTTP/2：采用多路复用技术，减少请求次数，提高传输效率。
  1. 应用CDN：分布式节点部署，加速静态资源访问，降低延迟。
  1. 压缩优化：对网页、图片等资源进行压缩，减小文件体积，提高加载速度
  1. 缓存策略：合理设置缓存时间，利用浏览器缓存减少重复请求。
  1. 服务器端优化：优化代码逻辑，减少数据库查询，提高服务器处理能力。
  • 示例：使用Nginx作为反向代理服务器，提高系统之间的通信效率
系统架构优化
原因：系统架构优化可以提高系统的可扩展性、可用性和性能
  1. 系统架构优化有助于提高资源利用率，降低成本。
  1. 通过优化系统架构，可以实现模块化设计，便于维护和升级。
  1. 系统架构优化可以提高系统的可扩展性，支持更多的用户和数据。
  1. 优化系统架构可以提高系统的可用性，确保业务稳定运行。
  1. 系统架构优化可以提高性能，缩短响应时间，提升用户体验
  1. 系统架构优化有助于实现分布式处理，提高系统的容错能力。
策略：使用分布式系统、微服务架构、容器技术等优化技术
  1. 采用分布式系统：通过将任务分解为多个子任务，分布在多台计算机上运行，提高系统的处理能力、可扩展性和容错性。
  1. 运用微服务架构：将一个大型的、复杂的应用程序拆分成多个独立的、可独立部署和扩展的小型服务，提高开发效率和维护便捷性。
  1. 使用容器技术：如Docker,将应用程序及其依赖项打包到一个轻量级、可移植的容器中，简化部署过程，提高资源利用率。
示例：使用Docker作为容器技术，提高系统的可扩展性和可用性
  1. 使用Docker隔离应用：通过容器技术，确保每个应用运行在独立的环境中，降低相互影响。
  1. 简化部署与扩展：Docker容器可快速部署和扩展，提高运维效率。
  1. 实现资源共享：Docker容器共享底层硬件资源降低系统成本。
  1. 提供一致性环境：Docker确保各容器运行在相同的操作系统、依赖库和配置下，保证应用一致性。
  1. 易于管理和监控：Docker提供了丰富的管理工具，方便对容器进行监控和管理。
  1. 支持自动伸缩：基于Docker的自动伸缩功能，可根据业务需求自动调整容器数量。
  1. 提高容错能力：Docker容器之间相互隔离，一个容器故障不会影响其他容器。
  1. 实现快速回滚：Docker支持镜像回滚，可在发生问题时快速恢复到之前的状态。
  1. 促进团队协作：Docker使得开发、测试和运维团队能够更高效地协作，提高项目整体质量。
代码优化
原因：技术人员容易忽视代码优化，导致性能问题
  1. 代码重复：避免不必要的代码重复，提高代码复用性。
  1. 减少计算量：合理使用算法和数据结构，降低计算复杂度。
  1. 避免全局变量：局部变量访问速度更快，减少内存占用。
  1. 减少函数调用：尽量减少函数调用次数，提高执行效率。
  1. 使用缓存：利用缓存机制，避免重复计算或查询。
  1. 优化数据库操作：合理设计数据库表结构，减少查询次数。
  1. 并行处理：利用多核处理器，实现并行计算提高性能。
  1. 代码压缩：对代码进行压缩，减小文件体积，提高加载速度。
  1. 异步处理：采用异步编程模型，提高程序响应速度。
策略：分析代码、找出瓶颈、考虑优化策略
  1. 代码审查：检查代码结构，确保逻辑正确且无冗余。
  1. 性能分析：使用工具检测性能瓶颈，如CPU、内存、I/O等。
  1. 优化瓶颈：针对检测到的瓶颈进行针对性优化。
  1. 算法优化：选择更高效的算法替换现有算法。
  1. 数据结构优化：调整数据结构以提高查找、插入和删除操作的效率。
  1. 并发优化：利用多线程或异步处理提高程序并发性能。
  1. 缓存策略：合理设置缓存，减少不必要的计算和I/O操作。
示例： for循环次数过多、条件判断不合理、重复逻辑等
  1. 避免过多的for循环次数，尽量减少循环内部的操作。
  1. 优化条件判断，避免不必要的计算和逻辑判断。
  1. 消除重复逻辑，将相似的代码片段提取为函数或变量。
  1. 使用局部变量代替全局变量，提高访问速度。
  1. 避免在循环中创建对象，以减少内存消耗。
  1. 使用适当的数据结构和算法，提高程序运行效率。
链接:/article/11e6de25-662f-801f-99b2-f1471ac7bd05
声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。

Previous

Netty学习路线

Next

常见的流包装格式