硬件资源问题:如果数据库服务器硬件资源不足,例如 CPU、内存、磁盘 IO 等,会导致系统性能下降,响应时间变慢。
操作系统配置不合理:如果操作系统没有针对PG数据库进行优化,那么PG数据库也无法发挥最佳的效能,因此针对PG数据库的优化,从操作系统参数调整入手永远是不会错的。
文件系统配置不合理:对于一些负载较高的大型数据库来说,如果无法发挥后端存储的IO能力,或者说让后端磁盘出现了性能问题,那么就会严重影响PG数据库的性能甚至稳定性。对于大型数据库来说,文件系统设计与配置一定要十分用心。
SQL不够优化:如果应用没有经过优化,可能会导致查询效率低下,索引设计不合理,缺少必要的索引,过多的单列索引以及索引类型使用不合理等都会带来性能问题。最后不合理多表的 JOIN、WHERE 子句和大表并行扫码都可能成为性能杀手。
数据库结构设计不合理:如果数据库结构设计不合理,可能会导致查询效率低下,例如表过度归一化、大表未分区或者分区设置不合理,表或者索引的的FILL FACTOR参数设置不合理导致的热块冲突。索引设计不合理产生的不必要的写成本过高。应该存储到对象存储中的非结构化数据存储到PG数据库中等。表分区设计不合理,时序数据没有使用timescaledb的自动分区与自动压缩特性也会导致时序数据访问的性能不佳。
数据库参数设置不合理:如果 PostgreSQL 数据库参数设置不合理,可能会导致数据库性能低下,例如 shared_buffers、work_mem、WAL/Checkpoint 等参数的设置等。
并发控制不合理:如果数据库并发控制不合理,可能会导致性能下降,这方面包含事务隔离级别设置不合理,并发度相关参数设置不合理等。
缓存命中率低:如果缓存命中率低,会导致频繁的磁盘 IO 操作,从而降低数据库性能。
访问冷数据的性能不足:PG数据库是采用DOUBLE CACHE机制的,冷数据是指在SHARED BUFFERS和OS CACHE中都不存在的数据,这些数据一旦要访问,要产生大量的物理IO,访问性能较差。
自动化任务冲突:如果数据库中存在大量的自动化任务,例如备份、VACUUM、定时任务等,可能会导致任务之间的冲突,从而影响系统性能。
[sysctl]
vm.swappiness = 1
vm.dirty_background_ratio = 10
vm.dirty_ratio = 40
vm.dirty_expire_centisecs = 3000
vm.dirty_writeback_centisecs = 500
kernel.shmmax = 18446744073692700000
kernel.shmall = 18446744073692700000
kernel.shmmni = 4096
kernel.sem = 250 512000 100 2048
fs.file-max = 312139770
fs.aio-max-nr = 1048576
net.ipv4.ip_local_port_range = 2048 65499
# Permits sockets in the time-wait state to be reused for new connections:
net.ipv4.tcp_tw_reuse = 1
net.core.netdev_budget = 1024
net.core.netdev_max_backlog = 2048
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
kernel.panic_on_oops = 1
# We don't need NUMA balancing in this box:
kernel.numa_balancing = 0
# Used if not defined by the service:
net.core.somaxconn = 4096
# Other parameters to override throughput-performance template
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_window_scaling = 1
net.netfilter.nf_conntrack_max = 250000
net.ipv4.tcp_max_syn_backlog=4096
[vm]
transparent_hugepages=never