hi,你好!欢迎访问本站!登录
本站由网站地图腾讯云宝塔系统阿里云强势驱动
当前位置:首页 - 教程 - 杂谈 - 正文 君子好学,自强不息!

mysql数据迁移详解

2019-11-18杂谈搜奇网19°c
A+ A-

数据迁移是每一个后端都邑碰到的事情之一,本文引见了一些罕见的数据迁移要领与东西

mysqldump:数据结构稳定的数据迁移

  1. 导出数据

    mysqldump -u root -p DATABASE_NAME table_name > dump.sql
  2. 恢复数据

    mysql -u root -p DATABESE_NAME < dump.sql

    或许衔接mysql客户端

    mysql> source dump.sql

运用pymysql衔接数据库

  1. 可以直接用用户名暗码衔接的数据库

    class GeneralConnector:
        def __init__(self, config, return_dic=False):
            self.return_dic = return_dic
            self.config = config
    
        def __enter__(self):
            self.conn = pymysql.connect(**self.config, port=3306)
            if self.return_dic:
                # 一行数据会变成一个字典
                self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
            else:
                self.cursor = self.conn.cursor()
            return self.cursor
    
        def __exit__(self, *args):
            self.cursor.close()
            self.conn.commit()
            self.conn.close()

    运用:

    # local_db = {
    #     'user': 'root',
    #     'passwd': '',
    #     'host': '127.0.0.1',
    #     'db': 'local_db'
    #     }
    with GeneralConnector(const.local_db, return_dic=True) as cursor:
        cursor.execute('SELECT `col1`, `col2` FROM test;')
        return cursor.fetchall()
  2. 衔接处于须要SSH衔接的效劳器的数据库

    class SSHConnector:
        def __init__(self, server, config, return_dic=False):
            self.return_dic=return_dic
            self.server = server
            self.config = config
    
        def __enter__(self):
            self.conn = pymysql.connect(**self.config, port=self.server.local_bind_port)
            if self.return_dic:
                # 一行数据会变成一个字典
                self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
            else:
                self.cursor = self.conn.cursor()
            return self.cursor
    
        def __exit__(self, *args):
            self.cursor.close()
            self.conn.commit()
            self.conn.close()

    运用:

    # SERVER = SSHTunnelForwarder(
    #         (remote_host, ssh_port),
    #         ssh_username=USERNAME,
    #         ssh_pkey=SSH_KEY,
    #         ssh_private_key_password=SSH_KEY_PASSWD,
    #         remote_bind_address=('127.0.0.1', 3306) # mysql效劳位置
    #     )
    # server_db = {
    #     'user': 'root',
    #     'passwd': '',
    #     'host': '127.0.0.1',
    #     'db': 'server_db'
    #     }
    # 建立一个隧道将效劳端的mysql绑定到当地3306端口
    with const.SERVER as server:
        with SSHConnector(server, const.server_db) as cursor:
            cursor.execute('show tables;')
            data = cursor.fetchall()
            print(data)
    

cursor的种种操纵

  1. cursor.execute(sql_statement)

    实行一条sql语句

  2. cursor.fetchall()

    猎取cursor的一切结果,常跟在select语句后运用

  3. cursor.fetchone()

    猎取cursor的第一条结果

  4. cursor.lastrowid

    末了一条数据的id

  5. cursor.executemany(insert_statement, data_list)

    批量插进去一批数据,如

    with const.SERVER as server:
        with connector.Connector(server, const.db_1) as cursor:
            cursor.execute('select * from preference')
            preferences = cursor.fetchall()
    
        with connector.Connector(server, const.db_2) as cursor:
            cursor.executemany('insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)',preferences)

从cursor猎取list范例的结果

cursor.execute('SELECT `name` FROM user;')

直接运用fetchall(),只能获得tuple包裹的数据

cursor.fetchall()
# (('Jack',), ('Ben'))

如今愿望获得一个list结果集,做到像Django中flat=True那样的结果

有两种要领

  1. 列表剖析式(list comprehension)

    name_list = [x[0] for x in cursor.fetchall()]
    这个要领的瑕玷在于会先运用fetchall()将结果集读到内存,再做列表转换,并不高效。
  2. itertools东西

    name_list = list(itertools.chain.from_iterable(cursor))

    引荐运用这个体式格局,第一它不会将一切结果fetch到内存中,第二运用itertools生成列表比列表剖析式要快

怎样在数据迁移中运用Django的model

  1. 须要拷贝Django的settings文件,删掉不须要的设置,并设置好迁移目的数据库
  2. 须要拷贝用到此model的文件
  3. 须要在settings.INSTALLED_APPS中引入models.py文件地点的目次
  4. 在迁移剧本头部启动Django

    import os
    import django
    import sys
    sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "translate.settings")
    django.setup()

经由历程SSH隧道的当地转发完成Django衔接长途数据库

  1. 建立一个ssh隧道,将长途数据库映射到当地端口

    ssh -L local_port:localhost:<remote mysql port> <username>@<remote host>

    ssh衔接进行时,可以经由历程接见当地端口来接见长途数据库

  2. 在Django的settings中设置数据库

    DATABASES = {
        'default': {
            'ENGINE': 'django.db.backends.mysql',
            'NAME': db_name,
            'USER': remote_mysql_user, # 长途数据库账号暗码
            'PASSWORD': remote_mysql_password,
            'HOST': "localhost",
            'PORT': local_port, # 长途数据库映射到当地的端口
            'OPTIONS': {'init_command': 'SET default_storage_engine=INNODB;'}
            }
    }

至此,在运用Django的model时,将经由历程ssh隧道接见长途数据库

注意事项

  1. 事前相识迁移数据量,而且取5%~10%的数据测试迁移速率
  2. 由测试数据预估总迁移用时,假如总迁移用时大于一小时,肯定要把迁移剧本放到效劳器运转,如许迁移历程不容易中断,且效劳器机能远比个人电脑更优
  3. 只管运用批量插进去削减写数据库的次数,运用cursor.executemany或许Django的bulk_create
  4. 迁移历程要写好log,如许可以晓得数据迁移到了哪一步,如不测终端也能找到断点继承运转
  5. 建立时刻字段加上auto_add_now会自动记录数据的建立时刻,在插进去数据的时刻对这个字段赋值无效
  选择打赏方式
微信赞助

打赏

QQ钱包

打赏

支付宝赞助

打赏

  移步手机端
mysql数据迁移详解

1、打开你手机的二维码扫描APP
2、扫描左则的二维码
3、点击扫描获得的网址
4、可以在手机端阅读此文章
未定义标签

本文来源:搜奇网

本文地址:https://www.sou7.cn/282256.html

关注我们:微信搜索“搜奇网”添加我为好友

版权声明: 本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。请记住本站网址https://www.sou7.cn/搜奇网。

发表评论

选填

必填

必填

选填

请拖动滑块解锁
>>