sharding

如何使用 saltstack 模板化 SLS
sharding

如何使用 saltstack 模板化 SLS

我正在尝试使用 Mongodb(分片)进行概念验证,并且我希望每次启动新集群时都运行一个命令,而不必在所有 sls 文件中添加行。我当前的初始化如下: 蒙戈副本4:27000 /usr/lib/mongo/init_addshard.js: 命令: - run - user: present Replica4 这个词不是模板化的,我想知道一种能够做到这一点的方法,这样当我启动一个新集群时,我就不必触碰这个文件中的任何内容。 ...

Admin

在 MongoDB 分片集群中恢复数据库有何特殊之处?
sharding

在 MongoDB 分片集群中恢复数据库有何特殊之处?

我想将数据库从一个副本集迁移到另一个属于分片集群的副本集。到目前为止,此集群只有 1 个分片,并且没有集合或数据库真正分片。 我 mongodump 并恢复了这个数据库。从分片集群的一个 mongos 中,我可以运行一个简单的查询,如 find(),但包括以下投影在内的某些操作不再起作用: “find({“var1”:subvar},{“_id”:0,“fld1”:1,“fld2”:1,“fld3”:1})。limit(1)。sort(”_id“,pymongo.DESCENDING)” 我收到以下错误消息: 数据库错误:投影中必须有排序键并将其删除...

Admin

SQl Server 分片
sharding

SQl Server 分片

SQL Server 可以分片以进行分布式数据处理吗?或者是否存在任何限制阻止关系数据库进行分片? ...

Admin

MongoS 在网络分裂期间拒绝连接
sharding

MongoS 在网络分裂期间拒绝连接

我正在探索分片的 MongoDB 集群,但我无法理解网络分裂期间 MongoS 的行为。 我的测试环境工作正常,直到我模拟网络分裂。在“最小”网络分区中,我有: N 个 MongoS 服务器 仅有 1 个配置服务器(共 3 个),处于 SECONDARY 状态 和 N 个分片服务器 在此分区中: 首先,所有 MongoDB 服务器 + MongoS 仍然接受连接并按预期运行 如果我重新启动这些 MongoDB+MongoS 服务器 => MongoS 服务器启动但拒绝连接(MongoNetworkError:连接 ECONNREFUSED)。 ...

Admin

CouchDB 删除了数据库分片
sharding

CouchDB 删除了数据库分片

当前在 AWS EC2 实例上运行集群 CouchDB v3.1.1 q=2 n=3 节点数:1 我已将数据库目录移至虚拟机上的另一个驱动器。但在文档中找不到有关以下文件的任何信息/var/lib/couchdb/分片或者.碎片变得越来越大,占据了我的根目录。在/var/lib/couchdb/分片在一个包含 3 个分片的文件夹中,我发现有多个较大的文件,大部分来自已删除的数据库。 68M database1.1610087019.20210108.074010.deleted.couch 60M database12.1610091614.202101...

Admin

mongodb,从分片集群中删除一个副本集
sharding

mongodb,从分片集群中删除一个副本集

我需要删除文件 server01(目前离线很长时间)。配置如下: shards: { "_id" : "mongo1", "host" : "mongo1/server01:27017,server02:27017,server03:27017" } { "_id" : "mongo2", "host" : "mongo2/server02:27018,server03:27018,server04:27018" } { "_id" : "mongo3", "host" : "mongo3/server03:27019,server04:2701...

Admin

Kubernetes 中的分片
sharding

Kubernetes 中的分片

我们有一个在 kubernetes 中运行的应用程序。但是,这个应用程序仅支持固定数量的人。 它有多个系统: D B 认证系统 Web应用程序 媒体经理 我们可以按需扩展Web Application和Media Manager。但是,Authentication system设计时并未考虑到扩展到更高的数字。这也是一个问题,因为这是一个封闭的系统,所以无法对其进行修改。 但是,系统可以自行扩展,就像一个分片一样。我们可以毫无问题地将不同的用户发送到每个分片。 我们如何才能扩大这些规模shards? 系统现在的行为如下: 1 数据库/身份验证部署 1 ...

Admin

ElasticSearch 无法正常启动
sharding

ElasticSearch 无法正常启动

在启动时,我们的 ElasticSearch 服务器抛出了一个 Java 异常,我可以在 elasticsearch.log 中看到: [2019-02-27T15:51:59,908][WARN ][o.e.m.j.JvmGcMonitorService] [KibjtLy] [gc][young][263][19] duration [4.1s], collections [1]/[4.4s], total [4.1s]/[19.7s], memory [653.8mb]->[418.6mb]/[1.9gb], all_pools {[young...

Admin

Nosql 计算的自动扩展
sharding

Nosql 计算的自动扩展

大多数 nosql 自动扩展都面临问题,因为在峰值负载期间必须迁移数据。如果数据存储在开销较少的共享存储(如 CLVM)中(与 NFS 或共享文件系统相比),情况会怎样?现在,如果每个存储桶/分片都是一个单独的 LVM,并且计算可以根据其负责的分片数量安装一个或多个 LVM。在高负载下,计算将放弃一些分片(卸载 LVM),而新出现的计算将安装分片。这将 DB 的存储和计算问题解耦,并使计算水平可扩展。我知道 serverfault 不接受开放式讨论。建议在论坛上发布此内容也会对我有所帮助。如果有人能帮助我理解这个想法的陷阱,也欢迎 ...

Admin

MongoDB 中不同的分片块大小
sharding

MongoDB 中不同的分片块大小

我在 MongoDB Sharding 部署中遇到了一个问题。我有 4 个副本集,它们都有非常相似的块。但是它们每个块的估计数据都非常不同。 mongos> db.hadCompressed.getShardDistribution() Shard rsmmhad01 at rsmmhad01/mmhad01a:27017,mmhad01b:27017 data : 578.74GiB docs : 933429549 chunks : 23812 estimated data per chunk : 24.88MiB estimated d...

Admin

当我停止辅助数据库时,MongoDB 分片副本集过载
sharding

当我停止辅助数据库时,MongoDB 分片副本集过载

我有一个 MongoDB Sharding,包含 8 个服务器和 4 个副本集。每个副本集都有主副本集、次副本集和仲裁副本集。 分布如下: - RS01 -> Server1A (primary), Server1B (secondary) - RS02 -> Server2A (primary), Server2B (secondary) - RS03 -> Server3A (primary), Server3B (secondary) - RS04 -> Server4A (primary), Server4B (secon...

Admin

本地数据库是否在多个全球站点间同步?
sharding

本地数据库是否在多个全球站点间同步?

我的组织在北美设有两个办事处,距离很近,可以共享一个 Web 应用服务器和数据库,延迟极低。但是,我们即将在印度开设办事处,这种延迟程度令人无法接受。 出于安全原因,它必须在本地托管,因此没有云托管。 这种场景的常见实现是什么,以确保数据保持同步?您是否使用多个数据库,其中一个是主数据库?某种持续同步?我对这个问题有点陌生。任何指针都很棒。MongoDB 和 PostgreSQL ...

Admin

关于对 Parse Server _User 集合进行分片的建议?
sharding

关于对 Parse Server _User 集合进行分片的建议?

Mongo for Parse Server 中现成的 _User 集合在用户名和电子邮件上都有唯一索引。鉴于此,对该集合进行分片的理想策略是什么?我最初的计划是只使用 _id(未散列),但显然这不适用于唯一索引。 ...

Admin

无法将本地网络中的 mongod 服务器添加为分片
sharding

无法将本地网络中的 mongod 服务器添加为分片

我正在尝试使用 mongodb 分片构建一个小型集群。在节点 1 和节点 2 中,启动了 mongod。在节点 1 中,启动了配置服务器和 mongos。所有服务器都监听 0.0.0.0,并分配了独占端口。 当我使用 mongo 登录 node1 中的 mongos 时,我可以将 Node1 mongod 添加为分片,但是当我在 Node2 上尝试时,会出现错误: mongos> sh.addShard("<ip of node2 in local network>") { "ok" : 0, "errmsg" : "No common...

Admin