mysql数据迁移详解
2019-11-18杂谈搜奇网24°c
A+ A-数据迁移是每一个后端都邑碰到的事情之一,本文引见了一些罕见的数据迁移要领与东西
mysqldump:数据结构稳定的数据迁移
导出数据
mysqldump -u root -p DATABASE_NAME table_name > dump.sql
恢复数据
mysql -u root -p DATABESE_NAME < dump.sql
或许衔接mysql客户端
mysql> source dump.sql
运用pymysql衔接数据库
可以直接用用户名暗码衔接的数据库
class GeneralConnector: def __init__(self, config, return_dic=False): self.return_dic = return_dic self.config = config def __enter__(self): self.conn = pymysql.connect(**self.config, port=3306) if self.return_dic: # 一行数据会变成一个字典 self.cursor = self.conn.cursor(pymysql.cursors.DictCursor) else: self.cursor = self.conn.cursor() return self.cursor def __exit__(self, *args): self.cursor.close() self.conn.commit() self.conn.close()
运用:
# local_db = { # 'user': 'root', # 'passwd': '', # 'host': '127.0.0.1', # 'db': 'local_db' # } with GeneralConnector(const.local_db, return_dic=True) as cursor: cursor.execute('SELECT `col1`, `col2` FROM test;') return cursor.fetchall()
衔接处于须要SSH衔接的效劳器的数据库
class SSHConnector: def __init__(self, server, config, return_dic=False): self.return_dic=return_dic self.server = server self.config = config def __enter__(self): self.conn = pymysql.connect(**self.config, port=self.server.local_bind_port) if self.return_dic: # 一行数据会变成一个字典 self.cursor = self.conn.cursor(pymysql.cursors.DictCursor) else: self.cursor = self.conn.cursor() return self.cursor def __exit__(self, *args): self.cursor.close() self.conn.commit() self.conn.close()
运用:
# SERVER = SSHTunnelForwarder( # (remote_host, ssh_port), # ssh_username=USERNAME, # ssh_pkey=SSH_KEY, # ssh_private_key_password=SSH_KEY_PASSWD, # remote_bind_address=('127.0.0.1', 3306) # mysql效劳位置 # ) # server_db = { # 'user': 'root', # 'passwd': '', # 'host': '127.0.0.1', # 'db': 'server_db' # } # 建立一个隧道将效劳端的mysql绑定到当地3306端口 with const.SERVER as server: with SSHConnector(server, const.server_db) as cursor: cursor.execute('show tables;') data = cursor.fetchall() print(data)
cursor的种种操纵
cursor.execute(sql_statement)
实行一条sql语句
cursor.fetchall()
猎取cursor的一切结果,常跟在select语句后运用
cursor.fetchone()
猎取cursor的第一条结果
cursor.lastrowid
末了一条数据的id
cursor.executemany(insert_statement, data_list)
批量插进去一批数据,如
with const.SERVER as server: with connector.Connector(server, const.db_1) as cursor: cursor.execute('select * from preference') preferences = cursor.fetchall() with connector.Connector(server, const.db_2) as cursor: cursor.executemany('insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)',preferences)
从cursor猎取list范例的结果
cursor.execute('SELECT `name` FROM user;')
直接运用fetchall(),只能获得tuple包裹的数据
cursor.fetchall()
# (('Jack',), ('Ben'))
如今愿望获得一个list结果集,做到像Django中flat=True那样的结果
有两种要领
列表剖析式(list comprehension)
这个要领的瑕玷在于会先运用fetchall()将结果集读到内存,再做列表转换,并不高效。name_list = [x[0] for x in cursor.fetchall()]
itertools东西
name_list = list(itertools.chain.from_iterable(cursor))
引荐运用这个体式格局,第一它不会将一切结果fetch到内存中,第二运用itertools生成列表比列表剖析式要快
怎样在数据迁移中运用Django的model
- 须要拷贝Django的settings文件,删掉不须要的设置,并设置好迁移目的数据库
- 须要拷贝用到此model的文件
- 须要在settings.INSTALLED_APPS中引入models.py文件地点的目次
在迁移剧本头部启动Django
import os import django import sys sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__)))) os.environ.setdefault("DJANGO_SETTINGS_MODULE", "translate.settings") django.setup()
经由历程SSH隧道的当地转发完成Django衔接长途数据库
建立一个ssh隧道,将长途数据库映射到当地端口
ssh -L local_port:localhost:<remote mysql port> <username>@<remote host>
ssh衔接进行时,可以经由历程接见当地端口来接见长途数据库
在Django的settings中设置数据库
DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': db_name, 'USER': remote_mysql_user, # 长途数据库账号暗码 'PASSWORD': remote_mysql_password, 'HOST': "localhost", 'PORT': local_port, # 长途数据库映射到当地的端口 'OPTIONS': {'init_command': 'SET default_storage_engine=INNODB;'} } }
至此,在运用Django的model时,将经由历程ssh隧道接见长途数据库
注意事项
- 事前相识迁移数据量,而且取5%~10%的数据测试迁移速率
- 由测试数据预估总迁移用时,假如总迁移用时大于一小时,肯定要把迁移剧本放到效劳器运转,如许迁移历程不容易中断,且效劳器机能远比个人电脑更优
- 只管运用批量插进去削减写数据库的次数,运用cursor.executemany或许Django的bulk_create
- 迁移历程要写好log,如许可以晓得数据迁移到了哪一步,如不测终端也能找到断点继承运转
- 建立时刻字段加上auto_add_now会自动记录数据的建立时刻,在插进去数据的时刻对这个字段赋值无效
未定义标签