专业网站建设品牌,十四年专业建站经验,服务6000+客户--广州京杭网络
免费热线:400-683-0016      微信咨询  |  联系我们

mysql 分配查询用户,mysql先分了10张表_数据库

当前位置:网站建设 > 技术支持
资料来源:网络整理       时间:2023/3/5 14:47:01       共计:3577 浏览
mysql 分配查询用户,mysql先分了10张表?

MySQL分库分表(其他关系型数据库也相似),通常的方案都用主键mod分表的数量,来把数据路由到某一个数据库分片上。例如分了10张表,那么就是ID%10,得到结果0-9,代表不同的表。

但是当数据量进一步增多的时候,单库的数据量达到了一定的级别之后,那么就需要分更多的表,那么这时候有哪些处理方案呢?

做数据迁移

最简单暴力,也是最麻烦的一个方案。

因为当分表(分库)数量增多的时候,因为分片规则的变化,每个表的数据都要被重新分配到多个新的表;这种方法虽然最直接,但是带来的问题也非常大:

数据迁移时间会比较长,需要迁移时间;

如果业务不能停的话(在线迁移),还要解决增量数据和历史数据一致性的问题;

不做数据迁移

那么有没有方法,当数据增长到现有分表极限的时候,加表或者加库的时候,可以避免数据的迁移呢?说白了,我们需要增加分表算法的复杂性,让算法可以兼容增加分表前后的数据路由:

先说一个简单的办法,(为了方便讲述,下面就把id当做分表字段),如果id是一个增长的全局序列,每个表存500万的数据,那么可以id=1-500万存到table_1,id=500万零1-1000万存到table_2,理论上这种方法是可以无限扩容的,但是问题也显而易见,就是每个阶段的数据insert会集中在一个表/库上,虽然能避免数据迁移的问题,但是数据热点的问题没有解决。

如果id是一个增长的全局序列,当前有十张表,那么分表的算法为:id%10,根据0-9路由到10个表中;当表扩到20张的时候,扩容那一刻取max_id,那么未来分库的算法也就变成了:if(id<max_id){id%10} else {id%20};

有些分表的算法本身就带时间戳,可以基于id中的时间戳来实现,比如Twitter-Snowflake算法,这个算法是一个64位的Long值,前42位就是一个精确到毫秒的时间戳,那么我们的分库算法也就可以以某个时间点来判断:

if(id中的时间<增加分表那一刻的时间){id%10} else {id%20};我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注。

版权说明:
本网站凡注明“广州京杭 原创”的皆为本站原创文章,如需转载请注明出处!
本网转载皆注明出处,遵循行业规范,如发现作品内容版权或其它问题的,请与我们联系处理!
欢迎扫描右侧微信二维码与我们联系。
·上一条:mysql比例查询,详解mysql获取某个时间段每一天每一个小时的统计数据_数据库 | ·下一条:mysql 查询 排行,mysqlshow的count查询数据准确么_数据库

Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有    粤ICP备16019765号 

广州京杭网络科技有限公司 版权所有