之前做过一个每天访问量达到800w的系统,简单说下自己的见解!
从整个应用系统来看,想要支持超高并发量,负载均衡,缓存,消息中间件,数据库读写分离,分库分表等必不可少,既然文章只问了数据库系统,那就只谈数据库!
数据库层面,一般无外乎是主从复制,读写分离,分库分表这些东西!
1,从单台数据库性能来看,单个mysql实例最大连接数为16384,就是说在同一时间最多能容纳那么多的访问量,同时受服务器CPU,内存,硬盘等的影响,但是在实际应用中能达到2000就不错了!
需要使用druid等数据库监控中间件,实时的监控数据库连接,sql效率等各种指标,在达到瓶颈之前找到办法,show status;这个指令也可以方便的查看数据库实例的各项指标
单台数据库实例配置最优化是保证整个数据库集群最优化的基本保证!
2,数据库集群:以分库分表为例,分库分表的方式有很多,比如mycat,Sharding-jdbc等。
分库分表的思想很简单,比如单表1亿的数据量,查询效率很低,如果使用8库1024表拆分,每张表中的数据不会超过10万,对数据库来说不存在任何瓶颈,就算总数据量达到100亿,单表的查询也不会慢!
拆分的策略通常以某个全局唯一的业务主键使用某种方式(比如hash取模,按月份等等)进行分库分表的计算!
那么问题来了,全局唯一的字段怎么获取?普通的数据库主键自增,uuid等不再合适,可以使用redis,zookeeper等获取全局唯一的id,具体可参见之前的其他回答!
问题:分库分表之后存在跨库join的问题,通常的解决方式为1,尽量使用分库分表主键能保证在同一库,同一类型的表中进行连接查询,2,增加专门的查询库:将常用的数据字段冗余到查询库中,方便连接查询和常用字段的快速查询;
4,sql优化:最基本的条件查询,count,分组等使用索引字段等避免全局查询,避免null值判断,避免使用not in,避免无效的like语句,避免查询的时候使用函数操作等等!
5,像秒杀系统等这种瞬时高并发,最好借助缓存系统来完成!
总而言之,数据库是整个应用系统当中最核心,也是最容易出问题的地方,做好监控,提前预防才能保证系统访问量的增长!
Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有 粤ICP备16019765号
广州京杭网络科技有限公司 版权所有