MySQL慢查询平台架构方案

MySQL慢查询平台架构方案方案1 Filebeat读取slow log 到kafka , logstash从kafka消费后解析成出各个列, 然后写入MySQL, 但是这样的问题是查询语句是这样的select * from A where id=1. 而我们需要去除谓词的SQL, 也就是select * from A where id=? 这样的, 这样才好对SQL进行聚合分析于是用Canal拉binlog, 再写到kafka, 然后python消费, 获取id, sql文本, 使用pt...

阅读全文

记录一些有用的pt-query-digest filter

自己写了一些和整理了些filter, 百度是搜不到的哈, 除了最后那俩anemometer的 不输出Database 为 mysql|performance_schema|information_schema|sys|db_monitor 的查询1((\$event->{db} || '') =~ m/^(?!(mysql|performance_schema|information_schema|sys|db_monitor))/ 不输出 Users 为 pm...

阅读全文

MySQL大表传输表空间的坑

MySQL大表传输表空间的坑 最近刚帮业务线拆分完数据库, 源环境遗留了一张700G的大表, 虽说现在不用了, 但是业务方还是不希望删掉, 于是打算把这张表迁移到归档库, 这样有需要是还可以查询. 700G的表想了想, 如果是逻辑导出再导入的话, 感觉会很慢. 于是决定使用传输表空间方式恢复到归档库中 源库和归档库均为MGR集群 Multi-Primary Mode. 恢复备份过程简单写, 并非本文重点12345xbstream -vx --parallel=10 < mys...

阅读全文

限制备份速度防止网卡打满

限制备份速度防止网卡打满最近在做拆库, 于是就做了很多表迁移工作, 需要使用mysqldump远程备份数据, 然后发现备份时很容易就把源库网卡打满了. 想过用tc命令限速, 发现有点复杂. 今天无意间看xtrabackup文档发现一个方法 Throttling the throughput to 10MB/sec. This requires the ‘pv’ tools; you can find them at the official site or install it from ...

阅读全文

使confluent_kafka支持SASL_PLAINTEXT

同事之前一直使用kafka-python开发. 上了ACL以后发现kafka-python居然不支持SASL_PLAINTEXT https://kafka-python.readthedocs.io/en/master/apidoc/KafkaProducer.htmlsasl_mechanism (str) – string picking sasl mechanism when security_protocol is SASL_PLAINTEXT or SASL_SSL. Cur...

阅读全文


Powered by Hexo and Hexo-theme-hiker

Copyright © 2013 - 2020 Fan() All Rights Reserved.

访客数 : | 访问量 :