所有内容 第767页
-
用 Pandas 处理结构不佳的 Excel 文件
简介 用pandas很容易读取Excel文件并将数据转换为DataFrame。然而现实世界中的Excel文件往往构造不佳,在那些数据散落在工作表中的情况下,你可能需要定制读取数据的方式。本文将讨论如何...
-
16. 数据一致性、安全性保障 | 深入浅出MGR
本文介绍MGR如何保障数据一致性及安全性。 1. MGR事务一致性 对于MGR这样的"分布式"系统而言,需要在多个节点间保障事务的一致性,无论各个节点状态正常,或者个别节点处于故障修复状态,都要能保证...
-
百亿级数据 分库分表 后怎么分页查询?
随着数据的日益增多,在架构上不得不分库分表,提高系统的读写速度,但是这种架构带来的问题也是很多,这篇文章就来讲一讲跨库/表分页查询的解决方案。 架构背景 笔者曾经做过大型的电商系统中的订单服务,在企业...
-
原来Advanced Format HDD已经普及了
DBA对现代硬件的了解总是不足够的,虽然说有时候不了解这些东西,也不影响我们搞数据库运维。不过多了解一些这方面的知识总是好的。7、8年前我们刚刚开始使用SSD的时候遇到过4K扇区的问题,SSD盘分区的...
-
从0.742秒到0.006秒,MySQL百万数据深分页优化实战
一、前言 我们日常做分页需求时,一般会用limit实现,但是当偏移量特别大的时候,查询效率就变得低下。本文将分四个方案,讨论如何优化MySQL百万数据的深分页问题,并附上最近优化生产慢SQL的实战案例...
-
慢查询 MySQL 定位优化技巧,从10s优化到300ms
今天分享一下如何快速定位慢查询SQL以及优化。 一、如何定位并优化慢查询SQL? 一般有3个思考方向: 根据慢日志定位慢查询sql。使用explain等工具分析sql执行计划。修改sql或者尽量让sq...
-
CMU 15445 学习之Storage Manager
存储介质 一个数据库系统大致由以下几个不同的部分组成: query plan(执行计划)operator execution(执行器)access method(访问方法)buffer pool(缓冲...
-
聊一聊SQL自定义排序
今天给大家介绍几种方法来求解这样的问题,我们先看下示例表: 这张表的数据是随机录进去的,下面我们希望按照我们指定的顺序输出为如下内容: 注意:这里既没有按照人口的多少排序,也没有按照GDP的多少排序,...
-
数据库的等待事件分析接口其实比我们想象的更丰富
等待事件是数据库十分重要的可观测性接口,通过等待事件可以快速定位数据库存在的问题,并及时掌握数据库的运行状态。二十年前的时候,我给一家银行做服务的时候,他们要求核心系统监控,要求监控人员每隔五分钟查看...
-
超实用 Demo:使用 FastAPI、Celery、RabbitMQ 和 MongoDB 实现一个异步任务工作流
异步任务,是 Web 开发中经常遇到的问题,比如说用户提交了一个请求,虽然这个请求对应的任务非常耗时,但是不能让用户等在这里,通常需要立即返回结果,告诉用户任务已提交。任务可以在后续慢慢完成,完成后再...