避免流控
对于pxc, 为了避免流控, 可以在导入.sql文件时, 先对文件做处理
1
| awk '1;NR%1000==0{print "select sleep(1);"}' xxx.sql > xxx_dba.sql
|
上面的命令每1000行增加一行
select sleep(1);
, 这样执行频率是1k/s
对于mysqldump产生的sql文件, 则需要在导出是指定
1
| mysqldump --skip-extended-insert
|
每行一个insert语句, 之后再使用awk处理
使用pt-fifo-split
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
| FLAT_FILE="/tmp/big_file.txt" FIFO_PATH="${FLAT_FILE}.fifo" LOAD_FILE="${FLAT_FILE}.load" CHUNK_SIZE=1000
pt-fifo-split --force --lines ${CHUNK_SIZE} ${FLAT_FILE} --fifo ${FIFO_PATH} &
sleep 10 while [ -e ${FIFO_PATH} ] do # Write chunk to disk cat ${FIFO_PATH} > ${LOAD_FILE} # Load chunk into table mysql --database=test \ --show-warnings \ -vv < ${LOAD_FILE} sleep 1 done
|