database-performance

当未完成的 IO 请求少于 32 时,磁盘 IO 速度较慢
database-performance

当未完成的 IO 请求少于 32 时,磁盘 IO 速度较慢

我将数据库从一台服务器移到另一台服务器,用户普遍反映速度变慢了。旧服务器使用的是 Windows 2003,64 位,SQL 2005 Ent 版(32 位),而新服务器使用的是 Windows 2008 R2,64 位,SQL 2005 Std 版-64 位。我在两台服务器上都运行了 SQLIO,发现当未完成的 IO 请求少于 32 个时,新服务器上的吞吐量较慢,而当 IO 请求多于 32 个时,吞吐量较快。这真的让我很困惑。如何解释这种行为。我可以发送 SQLIO 和 SQLIO 分析器的结果,但不知道如何上传到这里。 ...

Admin

Postgresql性能增强
database-performance

Postgresql性能增强

我的设置如下: 集群环境中的两个独立数据库实例。两个实例均位于专用服务器上,每个实例均采用标准配置。 实例一(R1)由为某个客户端执行日常通用任务的应用程序使用(该实例具有读/写权限)。 实例二 (R2) 由 BI(商业智能)工具使用,用于生成大型报告、数据挖掘和未来引用数据(此实例具有只读权限)。这需要很大的服务器负载和 CPU/内存消耗(基于定期监控) 运行 BI 工具的服务器也有相当不错的规格,并分配了 12GB 内存,因为我们认为瓶颈就在那里。 尽管我们为 BI 服务器分配了 12GB 内存,但 R2 似乎仍缺乏性能。 我们的数据库有 1...

Admin

mysql数据库配置优化
database-performance

mysql数据库配置优化

有一个流量很大的数据库,主要运行 innodb,我想更好地优化 mysql 配置。服务器有 32Gb 内存,最大的表是 ~18Gb innodb。我想我已经做了所有显而易见的事情来尝试提高性能,但想知道其他人会推荐什么。 [mysqld] datadir=/mysql/data socket=/var/lib/mysql/mysql.sock pid-file=/var/run/mysqld/mysqld.pid key_buffer_size=1G read_buffer_size=16M sort_buffer_size=16M innodb_data...

Admin

如何在 CentOS 6 上安装 Sphinx,其中 DB 和应用服务器是独立的服务器
database-performance

如何在 CentOS 6 上安装 Sphinx,其中 DB 和应用服务器是独立的服务器

首先,在 centOs 服务器上安装 Sphinx 的最佳方法是什么 rpm -ivh http://sphinxsearch.com/downloads/accept.php?file=sphinx-2.0.6-1.rhel6.x86_64.rpm yum install sphinx 似乎没有用。 另外,我的设置是一台应用服务器和一台数据库服务器。应用服务器运行 Magento,它有与 Sphinx 配合使用的新模块,但目前还不清楚Sphinx 文档以及任何谷歌搜索,应该在哪个服务器上安装 Sphinx 才能获得最佳效果。 ...

Admin

PostgreSQL,自动化 REINDEX,Windows 环境
database-performance

PostgreSQL,自动化 REINDEX,Windows 环境

我有几个 PostgreSQL 表 (9.1),经常插入/删除。尽管配置了自动清理并定期运行,但随着时间的推移,它们会遭受索引膨胀的困扰。 我正在考虑让这些表上的 REINDEX 自动化。没有人会实际访问数据库,因为软件将安装在客户端,而且实际上应该运行多年。 我一直在阅读有关“cron jobs”的文章,但我缺少一些关于如何最好地设置它的指南或教程,特别是在 Windows 环境中。 有人能给我指出正确的方向吗?欢迎提出其他建议,但主要要求是它不需要任何手动操作。 ...

Admin

您能将 EC2 实例与 AWS Aurora MySQL 实例之间的连接速度超过 1 GB 吗?
database-performance

您能将 EC2 实例与 AWS Aurora MySQL 实例之间的连接速度超过 1 GB 吗?

我正在将 1TB 的数据从 EC2 实例导入到 AWS Aurora MySQL 表中。由于我们的服务在迁移产品时会中断,因此我非常关心导入速度。 目前我无法突破 1.0Gb/s 的导入速度,使用 测量iftop。速度可疑地不是 1.1Gb/s 甚至不是 0.990 GB/s,它非常非常接近 1.0Gb/s,这让我认为这是某种人为的带宽限制?有什么建议瓶颈可能是什么吗? LOAD DATA LOCAL INFILE "chunk1.tsv"我正在使用从我的 EC2 实例以 4 倍 - 16 倍并行度执行的语句将数据加载到 150MB TSV 块中。 我的 ...

Admin

上周 SQL Server 逻辑读取量增加了 10 倍
database-performance

上周 SQL Server 逻辑读取量增加了 10 倍

按照任何严肃的标准,我都不是 SQL DBA,但我试图弄清楚为什么我为业务线应用程序拥有的数据库上的逻辑读取会变得疯狂。下图显示逻辑读取增加了 10 倍?是什么原因造成的?欢迎询问任何其他信息,据我所知,服务器性能指标很好,CPU/Ram 等。绿色突出显示的区域是我想要返回的区域,正如您所见,执行计数实际上并没有改变 :-/ SQL 查询工具 - 总体资源消耗 提前谢谢了! ...

Admin

关于大公司如何建立数据库
database-performance

关于大公司如何建立数据库

我想知道处理大型数据库请求的公司如何设置其基础设施。我最近创建了一些 Python 应用程序,它们将数据存储在 PostGres 中,并且读取/写入请求需要时间;因为它们不存储在 RAM 中,并且是速度的巨大瓶颈。如果用户数量少于 10,它仍然可以工作,即使有 100 个用户排队,它也可以工作,但如果有数千个请求,数据是如何存储的,因为它会在读取和写入过程中变慢。 在我最近正在开展的一个网站项目中,我有一个想法,读取整个数据库并将其存储在 pandas 中,并定期将其更改的条目写入数据库。这种方法在操作系统崩溃...

Admin

为什么我的简单搜索查询太慢?
database-performance

为什么我的简单搜索查询太慢?

我不知道为什么在我的“城市”表中搜索速度这么慢。我的查询是查找距离城市约 25 公里的“城市”表。我使用这个简单的查询,数据库需要近 20 秒才能返回结果。 SELECT city_destination,distance FROM cities WHERE city_start='Wien' AND distance <= 25 ORDER BY distance ASC 表引擎是 InnoDB。该表约有 700 万行: +--------------------+-------------+------+-----+---------+-----...

Admin

如何调试导致我的数据库备份维护计划运行突然变得极其缓慢的原因?
database-performance

如何调试导致我的数据库备份维护计划运行突然变得极其缓慢的原因?

(最初发布在 DBA.StackExchange.com 上但已关闭,希望与此处更具相关性。) 亚历山大和可怕的、可怕的、不好的、非常糟糕的……备份。 设置: 我有一个本地SQL Server 2016 标准版实例运行于虚拟机来自 VMWare。 @@版本: Microsoft SQL Server 2016 (SP2-CU17) (KB5001092) - 13.0.5888.11 (X64) 2021 年 3 月 19 日 19:41:38 版权所有 (c) Microsoft Corporation Windows Server 2016 Datac...

Admin

证明虚拟机中的 CPU 最大频率
database-performance

证明虚拟机中的 CPU 最大频率

某些客户虚拟机上的 DB 服务器 CPU-Z 始终显示 2.8 GHz CPU 频率。而根据英特尔文档,启用 TurboBoost 后 CPU 频率可能会达到 3.6 GHz。 VM 管理员告诉我,TurboBoost 已启用,但频率尚未发布到 VM GUI。 无论我如何在虚拟机上强调 CPU,它仍然只显示 2.8 GHz。 我如何才能知道虚拟机真正可以利用的最大频率是多少? 请耐心并详细地告诉我,因为我不是管理员,我专攻 MS SQL 数据库。 ...

Admin

在nodejs中高效地查找文件?
database-performance

在nodejs中高效地查找文件?

我想编写一个节点应用程序,从纯文本文件中查找一堆黑名单。基本上都在代表不同类别的目录下,每个目录中都有一个名为的文件域其中有一堆用换行符分隔的域名。 因此,我的应用程序将查看这些文件,当我对特定域进行 API 调用时,它应该查看该目录下,找到域文件,然后确定该域是否在该域文件中列出。 我希望能够高效地完成这项工作,无论是内存方面还是计算方面。我一直在考虑几种方法。 首先,我尝试将整个文件加载到字典中,以域为键,以类别 ID 为值。这对内存来说非常糟糕,因为其中一些域文件大到 15 MB,而由于查找表的工作方式,生成的字典大约占用 250 MB 的内存。 我...

Admin