mysql数据迁移详解

2019-11-18杂谈搜奇网19°c

A⁺ A^-

数据迁移是每一个后端都邑碰到的事情之一，本文引见了一些罕见的数据迁移要领与东西

mysqldump：数据结构稳定的数据迁移

导出数据

mysqldump -u root -p DATABASE_NAME table_name > dump.sql

恢复数据

mysql -u root -p DATABESE_NAME < dump.sql

或许衔接mysql客户端

mysql> source dump.sql

运用pymysql衔接数据库

可以直接用用户名暗码衔接的数据库

class GeneralConnector:
    def __init__(self, config, return_dic=False):
        self.return_dic = return_dic
        self.config = config

    def __enter__(self):
        self.conn = pymysql.connect(**self.config, port=3306)
        if self.return_dic:
            # 一行数据会变成一个字典
            self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
        else:
            self.cursor = self.conn.cursor()
        return self.cursor

    def __exit__(self, *args):
        self.cursor.close()
        self.conn.commit()
        self.conn.close()

运用：

# local_db = {
#     'user': 'root',
#     'passwd': '',
#     'host': '127.0.0.1',
#     'db': 'local_db'
#     }
with GeneralConnector(const.local_db, return_dic=True) as cursor:
    cursor.execute('SELECT `col1`, `col2` FROM test;')
    return cursor.fetchall()

衔接处于须要SSH衔接的效劳器的数据库

class SSHConnector:
    def __init__(self, server, config, return_dic=False):
        self.return_dic=return_dic
        self.server = server
        self.config = config

    def __enter__(self):
        self.conn = pymysql.connect(**self.config, port=self.server.local_bind_port)
        if self.return_dic:
            # 一行数据会变成一个字典
            self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
        else:
            self.cursor = self.conn.cursor()
        return self.cursor

    def __exit__(self, *args):
        self.cursor.close()
        self.conn.commit()
        self.conn.close()

运用：

# SERVER = SSHTunnelForwarder(
#         (remote_host, ssh_port),
#         ssh_username=USERNAME,
#         ssh_pkey=SSH_KEY,
#         ssh_private_key_password=SSH_KEY_PASSWD,
#         remote_bind_address=('127.0.0.1', 3306) # mysql效劳位置
#     )
# server_db = {
#     'user': 'root',
#     'passwd': '',
#     'host': '127.0.0.1',
#     'db': 'server_db'
#     }
# 建立一个隧道将效劳端的mysql绑定到当地3306端口
with const.SERVER as server:
    with SSHConnector(server, const.server_db) as cursor:
        cursor.execute('show tables;')
        data = cursor.fetchall()
        print(data)

cursor的种种操纵

cursor.execute(sql_statement)

实行一条sql语句
cursor.fetchall()

猎取cursor的一切结果，常跟在select语句后运用
cursor.fetchone()

猎取cursor的第一条结果
cursor.lastrowid

末了一条数据的id

cursor.executemany(insert_statement, data_list)

批量插进去一批数据，如

with const.SERVER as server:
    with connector.Connector(server, const.db_1) as cursor:
        cursor.execute('select * from preference')
        preferences = cursor.fetchall()

    with connector.Connector(server, const.db_2) as cursor:
        cursor.executemany('insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)',preferences)

从cursor猎取list范例的结果

cursor.execute('SELECT `name` FROM user;')

直接运用fetchall()，只能获得tuple包裹的数据

cursor.fetchall()
# (('Jack',), ('Ben'))

如今愿望获得一个list结果集，做到像Django中flat=True那样的结果

有两种要领

列表剖析式(list comprehension)
```
name_list = [x[0] for x in cursor.fetchall()]
```
这个要领的瑕玷在于会先运用fetchall()将结果集读到内存，再做列表转换，并不高效。
itertools东西
```
name_list = list(itertools.chain.from_iterable(cursor))
```
引荐运用这个体式格局，第一它不会将一切结果fetch到内存中，第二运用itertools生成列表比列表剖析式要快

怎样在数据迁移中运用Django的model

须要拷贝Django的settings文件，删掉不须要的设置，并设置好迁移目的数据库
须要拷贝用到此model的文件
须要在settings.INSTALLED_APPS中引入models.py文件地点的目次

在迁移剧本头部启动Django

import os
import django
import sys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "translate.settings")
django.setup()

经由历程SSH隧道的当地转发完成Django衔接长途数据库

建立一个ssh隧道，将长途数据库映射到当地端口
```
ssh -L local_port:localhost:<remote mysql port> <username>@<remote host>
```
ssh衔接进行时，可以经由历程接见当地端口来接见长途数据库

在Django的settings中设置数据库

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': db_name,
        'USER': remote_mysql_user, # 长途数据库账号暗码
        'PASSWORD': remote_mysql_password,
        'HOST': "localhost",
        'PORT': local_port, # 长途数据库映射到当地的端口
        'OPTIONS': {'init_command': 'SET default_storage_engine=INNODB;'}
        }
}

至此，在运用Django的model时，将经由历程ssh隧道接见长途数据库