MyCat学习笔记

kn
2022-03-30 17:03:25
mysql

一、MyCat简介

1.什么是MyCat

MyCat是目前最流行的基于Java语言编写的数据库中间件，是一个实现了MySql协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

MyCat官网：http://www.mycat.io/

2.使用MyCat后的架构图

企业微信截图_20220330170719.png

3.使用MyCat的优势

3.1数据量级

单一的MySql数据存储量和操作量级有限，
MyCat可以管理若干MySql数据库，可以实现数据库的存储和操作。

3.2 开源性质

Mycat 是 java 编写的中间件，开源，免费
有非常多的人和组织对 Mycat 实行开发、维护、管理、更新
Mycat 是阿里原应用 corba 转型而来的

二、MyCat中的概念

1.切分

逻辑上的切分，在物理层面使用多库（database）、多表（table）实现切分。

1.1 纵向切分/垂直切分

就是把原来存储在一个库的数据存储在多个库上
由于数据库的读写都是对同一个库进行操作，所以单库并不能解决大规模并发写入的问题。
例如：我们会建立定义数据库 workDB、商品数据库 payDB、用户数据库 userDB、日志数据库 logDB 等。

优点：

减少增量数据写入时的锁对查询的影响。
由于单表数量下降，常见的查询操作由于减少了需要扫描的记录，使得单表单次查询所需检索的行数变少，减少了磁盘IO、时延变短。

缺点：

无法解决单表数据量太大的问题。

1.2 横向切分/水平切分

把原本存储于一个表的数据分块存储到多个表上
当一个表中的数据量过大时，我们可以把该表的数据按照某种规则，进行划分，然后存储到多个结构相同的表上。
例如：我们 userDB 中的 userTable 中数据量很大，那么可以把 userDB 切分为结构相同的多个 userDB：part0DB、part1DB 等，再将 userDB 上的 userTable，切分为很多 userTable：userTable0、userTable1 等，然后将这些表按照一定的规则存储到多个 userDB 上。

优点：

单表的并发能力提高了，磁盘的I/O性能也提高了
如果出现高并发的话，总表可以根据不同的查询，将并发压力发到不同的小表里。

缺点：

无法实现表连接查询

2.逻辑库-Schema

MyCat中定义的database是逻辑上存在的，但物理上是不存在的。
主要是针对纵向切分提供的概念。

3.逻辑表-Table

MyCat中定义的table，是逻辑上存在，物理上不存在的
主要是针对横向切分提供的概念

4.默认端口

MySql：3306
MyCat：8066
Tomcat：8080
Oracle：1521
nginx：80
http：协议默认端口80
redis：6379

5.数据主机-DataHost

物理MySql存放的主机地址，可以使用主机名，IP，域名定义。

6.数据节点-DataNode

配置物理的database。数据保存的物理节点就是database

7.分片规则

当控制数据的时候，如何访问物理database和table？
就是访问dataHost和dataNode的算法
在Mysql处理CRUD时，如何访问datahost和datanode的算法？如：哈希算法，crc32算法等。

三、MyCat的使用

1.读写分离

原理：需要搭建主从模式，让主数据库（master）处理增（insert）、删（delete）、改（update），而从数据库（slave）处理查（select）操作。
MyCat配合数据库本身的复制功能，可以解决读写分离的问题。

2.主从备份概念

主从备份：就是一种主备模式的数据库应用
主库（master）数据与备库（slave）数据完全一致
实现数据的多重备份，保证数据的安全。
可以在Master[InnoDB]和Slave[MyISAM]中使用不同的数据库引擎，实现读写分离。

2.1 MySql5.5、5.6版本后本身支持主从备份

在旧版本的MySql数据库系统中，不支持主从备份，需要安装额外的RPM包，如果需要安装RPM，只能在一个位置节点安装。

2.2 主从备份目的

实现主备模式
保证数据安全，尽量避免数据丢失
实现读写分离
使用不同的数据库引擎，实现读写分离，提高所有的操作效率。
InnoDB使用DML语法操作、MyISAM使用DQL语法操作。

2.3 主从备份效果

主库操作同步到备库
所有对Master的操作，都会同步到Slave中
注意：如果 Master 和 Salve 天生上环境不同,那么对 Master 的操作,可能会在 Slave 中出现错误
如：在创建主从模式之前,Master 有 database : db1、db2、db3。Slave 有 database: db1、db2
创建主从模式.现在的情况 Master 和 Slave 天生不同
主从模式创建成功后,在 Master 中 drop database db3. Slave 中抛出数据库 SQL 异常，后续所有的命令不能同步.
一旦出现错误，只能重新实现主从模式

2.4 主从模式下的逻辑图

3.MySql的主从模式搭建

3.1 安装MySql

主库：192.168.254.128
从库：192.168.254.140

3.2 主从备份配置

3.2.1 Master[主库]配置

修改Master配置文件
路径：/etc/my.cnf
命令：vim /etc/my.cnf
server_id
本环境中server_id是1
MySql服务唯一标识
配置要求
server_id 任意配置，只要是数字即可
server_id Master唯一标识数字必须小于Slave唯一标识数字
log_bin
本环境中log_bin的值：master_log
开启日志功能以及日志文件命名，log_bin=master_log
变量的值就是日志文件名称，是日志文件名称的主体
MySql数据库自动增加文件后缀和文件类型
重启MySql

service mysqld restart

配置Master

访问MySql

mysql -uusername -ppassword

创建用户
在MySql数据库中，为不存在的用户授权，就是同步创建用户并授权。
此用户是从库访问主库使用的用户
ip地址不能写%，因为主从备份中，当前创建的用户，是给从库（Slave）访问主库（Master）使用的。用户必须有指定的访问地址，不能是通用地址。

grant all privileges on *.* to 'username'@'ip' identified by 'password' with grant option;flush privileges;

grant all privileges on *.* to 'myslave'@'192.168.254.140' identified by 'myslave' with grant option;flush privileges;

查看用户

use mysqlselect host,name from user

查看Master的信息

show master status;

企业微信截图_20220330170930.png

关闭防火墙或在防火墙中开放3306端口

3.2.2 Slave[从库]配置

修改Slave配置文件

vim /etc/my.cnf

server_id
唯一标识，本环境中配置为2
重启MySql服务

service mysqld restart

配置Slave

访问MySql

mysql -uusername -ppassword

停止Slave功能

stop slave

配置主从信息
需要修改的数据是依据Master信息修改的，ip是Master所在物理机IP，用户名和密码是Master提供的Slave访问用户名和密码，日志文件是在Master中查看的主库信息提供的，在Master中使用命令show master status查看日志文件名称。

change master to master_host='ip', master_user='username', master_password='password',
master_log_file='log_file_name';

change master to
master_host='192.168.254.128',master_user='myslave',master_password='myslave',master_log_fil
e='master_log.000002';

启动Slave功能

start slave;

查看Slave配置

show slave status \G;

mysql> show slave status \G;
*************************** 1. row ***************************
         Slave_IO_State: Waiting for master to send event
           Master_Host: 192.168.254.128
           Master_User: myslave
           Master_Port: 3306
          Connect_Retry: 60
         Master_Log_File: master_log.000002
       Read_Master_Log_Pos: 635
         R elay_Log_File: mysqld-relay-bin.000002
          Relay_Log_Pos: 799
      Relay_Master_Log_File: master_log.000002
        Slave_IO_Running: Yes
        Slave_SQL_Running: Yes
         Replicate_Do_DB: 
       Replicate_Ignore_DB: 
       Replicate_Do_Table: 
     Replicate_Ignore_Table: 
     Replicate_Wild_Do_Table: 
   Replicate_Wild_Ignore_Table: 
            Last_Errno: 0
           Last_Error: 
          Skip_Counter: 0
       Exec_Master_Log_Pos: 635
         Relay_Log_Space: 973
         Until_Condition: None
         Until_Log_File: 
          Until_Log_Pos: 0
        Master_SSL_Allowed: No
       Master_SSL_CA_File: 
       Master_SSL_CA_Path: 
         Master_SSL_Cert: 
        Master_SSL_Cipher: 
         Master_SSL_Key: 
      Seconds_Behind_Master: 0
   Master_SSL_Verify_Server_Cert: No
          Last_IO_Errno: 0
          Last_IO_Error: 
         Last_SQL_Errno: 0
         Last_SQL_Error: 
   Replicate_Ignore_Server_Ids: 
         Master_Server_Id: 1
           Master_UUID: 36cebd9f-7c98-11e9-8f51-000c29a9c235
        Master_Info_File: /var/lib/mysql/master.info
            SQL_Delay: 0
       SQL_Remaining_Delay: NULL
     Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
       Master_Retry_Count: 86400
           Master_Bind: 
     Last_IO_Error_Timestamp: 
    Last_SQL_Error_Timestamp: 
         Master_SSL_Crl: 
       Master_SSL_Crlpath: 
       Retrieved_Gtid_Set: 
        Executed_Gtid_Set: 
          Auto_Position: 0
1 row in set (0.00 sec)

3.3 测试从库

新建库：

create database demo1 default character set utf8;

新建表：

CREATE TABLE `user` (
 `id` int(11) NOT NULL,
 `name` varchar(30) DEFAULT NULL,
 PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

添加数据：

insert into user values(1,‘admin’)

4.安装MyCat

4.1 安装环境

192.168.254.141

4.2 配置jdk

4.3 在主数据库和从数据库都需要完成

放开 3306 端口
保证 root 用户可以被 mycat 访问

在 Mycat 中通过 Master 数据库的 root 用户访问 Master 数据库

grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
flush privileges;

4.4 解压上传的MyCat压缩包

4.5 将解压的文件夹复制到/usr/local/mycat

4.6 MyCat目录介绍

bin 目录里是启动脚本
conf 目录里是配置文件
catlet 为 Mycat 的一个扩展功能
lib 目录里是 Mycat 和它的依赖 jar
logs 目录里是 console.log 用来保存控制台日志，和 mycat.log 用来保存 mycat 的 log4j日志

5.MyCat配置文件

MyCat是代理，MyCat后面是物理数据库。和Web服务器的Nginx类似。对于使用者来说，访问的都是MyCat，不会接触到后面的数据库

Mycat 的配置文件都在 conf 目录里面，这里介绍几个常用的文件

企业微信截图_20220330171233.png

5.1 server.xml

<property name="serverPort">8066</property> <!-- Mycat 服务端口号 -->
<property name="managerPort">9066</property><!-- Mycat 管理端口号 -->
<user name="root"><!-- mycat 用户名 -->
  <property name="password">密码</property>
  <property name="schemas">用户可访问逻辑库名</property>
  <!-- 表级 DML 权限设置 -->
  <!-- 不检查 SQL 语法结果
  <privileges check="false">
  <schema name="逻辑库名" dml="0110" >
  <table name="逻辑表名" dml="0000"></table>
  <table name="tb02" dml="1111"></table>
   </schema>
   </privileges>
   -->
 </user>
 <user name="user"><!-- 其他用户名 -->
 <property name="password">密码</property>
 <property name="schemas">可访问逻辑库名</property>
 <property name="readOnly">是否只读</property>
 </user>

配置MyCat服务信息
如：MyCat中的用户，用户可以访问的逻辑库，可以访问的逻辑表，服务的端口号

企业微信截图_20220330171358.png

注意：默认配置了一个账号root 密码是123456，针对数据库TESTDB，读写权限都有，没有针对表做任何特殊的权限

配置权限

dml 权限顺序为：insert(新增),update(修改),select(查询),delete(删除),0000--> 1111,0 为禁止权限，1 为开启权限。

5.2 schema.xml

schema.xml 是最主要的配置文件，首先看默认的配置文件

<?xml version="1.0"?>
 <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
   <mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
      <table name="t_user" dataNode="dn1,dn2,dn3" rule="crc32slot" />
    </schema>
    <dataNode name="dn1" dataHost="localhost1" database="db1" />
    <dataNode name="dn2" dataHost="localhost1" database="db2" />
    <dataNode name="dn3" dataHost="localhost1" database="db3" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native"
              switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="localhost:3306" user="root"
                   password="root">
            <readHost host="hostS2" url="192.168.1.200:3306" user="root"
                      password="root" />
        </writeHost>
    </dataHost>
   </mycat:schema>

用于定义逻辑库和逻辑表的配置文件
在配置文件中可以定义读写分离,逻辑库,逻辑表,dataHost,dataNode 等信息
节点与属性介绍

属性 host
数据库命名
属性 url
数据库访问用户名
属性 password
属性 host
数据库命名
属性 url
数据库访问路径
属性 user
数据库访问用户名
属性 password
访问用户密码
属性 name
定义逻辑上的数据主机名称
属性 maxCon/minCon
最大连接数, max connections
最小连接数, min connections
属性 dbType
数据库类型 : mysql 数据库
属性 dbDriver
数据库驱动类型, native,使用 mycat 提供的本地驱动
属性 name
数据节点名称, 是定义的逻辑名称,对应具体的物理数据库 database
属性 dataHost
引用 dataHost 标签的 name 值,代表使用的物理数据库所在位置和配置信息.
属性 database
在 dataHost 物理机中,具体的物理数据库 database 名称
属性name
逻辑表名
属性 dataNode
数据节点名称. 即物理数据库中的 database 名称.多个名称使用逗号分隔
属性 rule
分片规则名称.具体的规则名称参考 rule.xml 配置文件.
属性name
逻辑库名称
属性checkSQLschema
是否检查sql语法中的schema信息
如: Mycat 逻辑库名称 A, dataNode 名称 B
SQL :select * from A.table;
checkSQLschema 值是 true, Mycat 发送到数据库的 SQL 是 select * from table;
checkSQLschema 值是 false,Mycat 发送的数据库的 SQL 是 select * from A.table;
sqlMaxLimit
Mycat 在执行 SQL 的时候,如果 SQL 语句中没有 limit 子句.自动增加 limit 子句. 避免一次性得到过多的数据,影响效率. limit子句的限制数量默认配置为100.如果 SQL中有具体的 limit子句,当前属性失效.
SQL : select * from table; mycat 解析后: select * from table limit 100;
SQL : select * from table limit 10;mycat 不做任何操作修改.
标签schema
配置逻辑库标签
标签table
定义逻辑表的标签
标签 dataNode
定义数据节点的标签
dataHost 标签
定义数据主机的标签
dataHost 子标签 writeHost
写数据的数据库定义标签. 实现读写分离操作.
writeHost 子标签 readHost

5.3 rule.xml

用于定义分片规则的配置文件
mycat 默认的分片规则: 以 500 万为单位,实现分片规则

逻辑库 A 对应 dataNode - db1 和 db2. 1-500 万保存在 db1 中, 500 万零 1 到 1000 万保存在 db2 中,1000 万零 1 到 1500 万保存在 db1 中.依次类推.

<tableRule name="rule1">
  <rule>
  <columns>id</columns>
  <algorithm>func1</algorithm>
  </rule></tableRule>

tableRule

function

<function name="func1" class="io.mycat.route.function.PartitionByLong">
  <property name="partitionCount">8</property>
  <property name="partitionLength">128</property></function>

6.实现读写分离

6.1 配置读写分离

Schema.xml

<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="suibian" checkSQLschema="false" sqlMaxLimit="100">
                <!--name为表名，dataNode与dataNode的name关联-->
        <table name="user" dataNode="dn1" />
    </schema>
        <!--dataHost与dataHost的name对应-->
    <dataNode name="dn1" dataHost="localhost1" database="demo1" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- 主库地址及密码 -->
        <writeHost host="hostM1" url="192.168.254.128:3306" user="root"
                   password="root">
            <!-- 从库地址及密码 -->
            <readHost host="hostS2" url="192.168.254.140:3306" user="root" password="root" />
        </writeHost>
    </dataHost></mycat:schema>

Server.xml

    <user name="root">
        <property name="password">123456</property>
        <property name="schemas">suibian</property>
        
        <!-- 表级 DML 权限设置 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>

    <user name="user">
        <property name="password">user</property>
        <property name="schemas">suibian</property>
        <property name="readOnly">true</property>
    </user>

测试读写分离

启动mycat命令

bin/mycat start

停止命令

bin/mycat stop

重启命令

bin/mycat restart

查看 MyCat 状态

bin/mycat status

访问方式
可以使用命令行访问或客户端软件访问
命令行访问方式

mysql -u 用户名 -p 密码 -hmycat 主机 IP -P8066

连接成功后,可以当做 MySQL 数据库使用，访问约束

查看 Mycat 日志

logs/wrapper.log

日志中记录的是所有的 mycat 操作. 查看的时候主要看异常信息 caused by 信息

balance
balance=”0”, 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上
balance=”1”，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡
balance=”2”，所有读操作都随机的在 writeHost、 readhost 上分发。
balance=”3”，所有读请求随机的分发到 writeHost 对应的 readhost 执行,writerHost不负担读压力

7.MyCat分库

7.1 分片规则

auto-sharding-long 范围约定
以 500 万为单位,实现分片规则.
逻辑库 A 对应 dataNode - db1 和 db2. 1-500 万保存在 db1 中, 500 万零 1 到 1000 万保存在 db2 中,1000 万零 1 到 1500 万保存在 db1 中.依次类推.
crc32slot 规则
在 CRUD 操作时,根据具体数据的 crc32 算法计算,数据应该保存在哪一个dataNode 中

7.2 配置分片规则需要注意的地方

1）<columns>id</columns>中推荐配置主键列
2）所有的 tableRule 只能使用一次。如果需要为多个表配置相同的分片规则，那么需要在此重新定义该规则。
3）在 crc32Slot 算法中的分片数量一旦给定，MyCat 会将该分片数量和 slor 的取值范围保存到文件中。再次修改分片数量时是不会生效的，需要将该文件删除。文件位置位于 conf目录中的 ruledata 目录中。

7.3 配置分库

需求

在 master 中创建 3 个数据库
在 MyCat 中配置分库

创建数据库

create database demo1 default character set utf8;create database demo2 default character set utf8;create database demo3 default character set utf8;

创建t_user表

CREATE TABLE `users` (
 `id` int(11) NOT NULL,
 `name` varchar(30) DEFAULT NULL,
 PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;

修改 Schema.xml

注意dataNode与table

<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="suibian" checkSQLschema="false" sqlMaxLimit="100">
        <table name="users" dataNode="dn1,dn2,dn3" rule="crc32slot" />
    </schema>

    <dataNode name="dn1" dataHost="localhost1" database="demo1" />
    <dataNode name="dn2" dataHost="localhost1" database="demo2" />
    <dataNode name="dn3" dataHost="localhost1" database="demo3" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <writeHost host="hostM1" url="192.168.254.128:3306" user="root"
                   password="root">
            <!-- can have multi read hosts -->
            <readHost host="hostS2" url="192.168.254.140:3306" user="root" password="root" />
        </writeHost>
    </dataHost></mycat:schema>

7.4 注意

1）使用 MyCat 实现分库时，先在 MyCat 中定义逻辑库与逻辑表，然后在 MyCat 的链接中执行创建表的命令必须要在 MyCat 中运行。因为 MyCat 在创建表时，会在表中添加一个新的列，列名为_slot。
2）使用 MyCat 插入数据时，语句中必须要指定所有的列。即便是一个完全项插入也不允许省略列名。

https://www.jianshu.com/p/c8973edc550a

本文为看恩吧原创文章,转载无需和我联系,但请注明来自knsay.com

打赏

上一篇：【九】从零搭建react-新自定义函数组件+传参
下一篇： php7.0.9 nts windows下配置xdebug2.6.1

网站不承担任何有关评论的责任

最新评论
总共条评论

友情链接

一、欢迎加群交流：

群号：374193829