• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    MySQL 分表分库怎么进行数据切分

    关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。此时就要考虑对其进行切分了,切分的目的就在于减少数据库的负担,缩短查询时间。

    数据库分布式核心内容无非就是数据切分(Sharding)以及切分后对数据的定位、整合。数据切分就是将数据分散存储到多个数据库中,使得单一数据库中的数据量变小,通过扩充主机的数量缓解单一数据库的性能问题,从而达到提升数据库操作性能的目的。

    数据切分根据其切分类型,可以分为两种方式:垂直(纵向)切分和水平(横向)切分。

    1.垂直(纵向)切分

    垂直切分常见有垂直分库和垂直分表两种。

    1.1 垂直分库 

    就是根据业务耦合性,将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似,按业务

    分类进行独立划分。与"微服务治理"的做法相似,每个微服务使用单独的一个数据库。如图:

    将不同模块的数据表分库存储。模块间不相互关联查询

    如果有,就需要通过数据冗余或者应层二次加工来解决。这种业务方法和数据结构最清晰。但若不能杜绝跨库关联查询,宣告此路不同

    1.2 垂直分表 

    是基于数据库中的"列"进行,某个表字段较多,可以新建一张扩展表,将不经常用或字段长度较大的字段拆分出去到扩展表中。在字段很多的情况下(例如一个大表有100多个字段),通过"大表拆小表",更便于开发与维护,也能避免跨页问题,MySQL底层是通过数据页存储的,一条记录占用空间过大会导致跨页,造成额外的性能开销。另外数据库以行为单位将数据加载到内存中,这样表中字段长度较短且访问频率较高,内存能加载更多的数据,命中率更高,减少了磁盘IO,从而提升了数据库性能。

    垂直切分的优点:

    缺点:

    2. 水平(横向)切分

    当一个应用难以再细粒度的垂直切分,或切分后数据量行数巨大,存在单库读写、存储性能瓶颈,这时候就需要进行水平切分了。

    水平切分分为库内分表和分库分表,是根据表内数据内在的逻辑关系,将同一个表按不同的条件分散到多个数据库或多个表中,每个表中只包含一部分数据,从而使得单个表的数据量变小,达到分布式的效果。如图所示: 

    相对纵向切分这一将表分类的做法,此法是按表内每个字段的某个规则来将数据分散存储于不同的数据库(或不同的表),也就是按照数行来进行切分数据。

    库内分表只解决了单一表数据量过大的问题,但没有将表分布到不同机器的库上,因此对于减轻MySQL数据库的压力来说,帮助不是很大,大家还是竞争同一个物理机的CPU、内存、网络IO,最好通过分库分表来解决。

    水平切分的优点:

    缺点:

    水平切分后同一张表会出现在多个数据库/表中,每个库/表的内容不同。几种典型的数据分片规则为:

    2.1 根据数值范围

    按照时间区间或ID区间来切分。例如:按日期将不同月甚至是日的数据分散到不同的库中;将userId为1~9999的记录分到第一个库,10000~20000的分到第二个库,以此类推。某种意义上,某些系统中使用的"冷热数据分离",将一些使用较少的历史数据迁移到其他库中,业务功能上只提供热点数据的查询,也是类似的实践。

    这样的优点在于:

    缺点:

    2.2 根据数值取模

    一般采用hash取模mod的切分方式,例如:将 Customer 表根据 cusno 字段切分到4个库中,余数为0的放到第一个库,余数为1的放到第二个库,以此类推。这样同一个用户的数据会分散到同一个库中,如果查询条件带有cusno字段,则可明确定位到相应库去查询。

    优点:

    缺点:

    以上就是MySQL 分表分库怎么进行数据切分的详细内容,更多关于MySQL 分表分库进行数据切分的资料请关注脚本之家其它相关文章!

    您可能感兴趣的文章:
    • 浅谈订单重构之 MySQL 分库分表实战篇
    • MySQL分库分表与分区的入门指南
    • mysql死锁和分库分表问题详解
    • MySql分表、分库、分片和分区知识深入详解
    • MySql分表、分库、分片和分区知识点介绍
    • MySQL分库分表总结讲解
    • mysql分表分库的应用场景和设计方式
    • mysql数据库分表分库的策略
    • MyBatis实现Mysql数据库分库分表操作和总结(推荐)
    • MYSQL数据库数据拆分之分库分表总结
    • Mysql数据库分库和分表方式(常用)
    • MYSQL性能优化分享(分库分表)
    • MySQL分库分表详情
    上一篇:MySQL使用B+Tree当索引的优势有哪些
    下一篇:MySQL数据备份方法的选择与思考
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    MySQL 分表分库怎么进行数据切分 MySQL,分表,分库,怎么,进行,