我们有一个带有主动/备用资源管理器服务的 Hadoop 集群，主动资源管理器在 master1 机器上，备用资源管理器在 master2 机器上 在我们的集群中，包含资源管理器服务的 YARN 服务正在管理工作机器上的 276 个节点管理器组件 从 Ambari WEB UI 警报（资源管理器警报）中，我们注意到以下内容 Resource Manager Web UI Connection failed to http://master2.jupiter.com:8088(timed out) 我们开始使用端口 8088 的 wget 来调试该问题，发现该...
我们有 HDP 集群版本 2.6.5 当我们查看name-node日志时，我们可以看到以下警告 2023-02-20 15:56:37,731 INFO namenode.FileJournalManager (FileJournalManager.java:finalizeLogSegment(142)) - Finalizing edits file /hadoop/hdfs/journal/hdfsha/current/edits_inprogress_0000000193594484455 -> /hadoop/hdfs/journal/hd...
Spark Cassandra 连接器出了什么问题？您能帮忙解决吗？ Scala 文件： import com.datastax.spark.connector._ import org.apache.spark.sql.SparkSession import org.apache.spark.{SparkConf, SparkContext} object SparkTest { def main(args: Array[String]) { val spark = SparkSession.builder.appName("SparkTe...
Youtube 等大型网站如何进行备份？根据https://www.quora.com/Where-does-YouTube-store-so-many-videos2014 年，他们每年存储 76 PB，这个数字自那时起肯定增长了很多。是否可以备份这个数据，或者他们是否以其他方式解决了通常使用备份的问题（例如冗余度如此之高以至于它根本就不会失败）？ ...
我们有 Hadoop 版本 - 2.6.4 在datanode机器上我们可以看到hdfs数据不平衡 在某些磁盘上，我们使用的大小与 sdb 不同11G和 sdd17G /dev/sdd 20G 3.0G 17G 15% /grid/sdd /dev/sdb 20G 11G 9.3G 53% /grid/sdb <-- WHY DISK DISK NOT BALANCED AS SDD DISK , WHY DISKS ARE DIFF USED SIZE!!! 在谷歌搜索后，我找到了以下 CLI（来自https://communit...
我们希望根据我们在 Kafka 磁盘上的问题提出以下建议 我们有许多HDP集群（基于ambari，所有机器都是redhat版本7.2） 每个集群包含 3 台 kafka 机器，每台 kafka 包含约 15 T 的磁盘 因为我们有很多问题，磁盘使用容量增加到 100％（由于某种原因，kafka Retention 无法正常工作） 然后我们考虑每分钟在 kafka 机器上运行的 cron 任务 例如，当 Kafka 磁盘大小为 ~90% 时 然后 cron 作业将停止所有 kafka 代理（kafka 服务） 这样我们就避免了 kafka 磁盘达...
我们有 ambari 集群（版本 2.6），其中有 3 个工作机器，每个工作机器有 16 个 CPU 核心（见下图），每台机器有 32G 内存 根据： yarn.nodemanager.resource.cpu-vcores：在所有节点的 yarn-site.xml 中将其设置为适当的数字。这严格取决于集群中运行的工作负载类型，但一般建议管理员将其设置为等于机器上的物理核心数。 我们设定yarn.nodemanager.resource.cpu-vcores至 16 但什么是正确的价值 -yarn.scheduler.最大分配-vcores？ ya...
我们希望根据数据节点机器上的内存、数据节点机器上的 CPU CORE、数据节点机器的数量等输入来找到以下 spark 参数的值， spark.dynamicAllocation.initialExecutors = ? spark.dynamicAllocation.minExecutors = ? spark.dynamicAllocation.maxExecutors = ? 我想我们无法给出准确的值，所以找到这个参数的范围会有所帮助 例如 我们有 ambari 集群 3台主机 21台工作机（每台工作机有32G内存和16个CPU CORE）...
我们正在安装新的 Hadoop 版本 -2.6.3.0在 ambari 上 -2.6.0 从 ambari 代理日志中我们看到以下内容： Writing File['/etc/yum.repos.d/ambari-hdp-51.repo'] because contents don't match 为什么 ambari 创建文件 - ambari-hdp-51.repo？是否可以禁用此操作？（我的意思是如何配置 amabri 以不创建此 repo 文件？） ambari 创建这个 repo 是非常奇怪的，因为在 /etc/yum.trepo.d 下...
我犯了一个错误，将字段指定为整数而不是浮点数。我发现一旦创建了表，我就无法更正字段。我必须删除并重新创建表才能纠正。有人知道在创建表后修改字段的更好方法吗？谢谢。 ...
我们有许多 Ambari LAB 集群 - ApacheAmbari 版本 2.5.0.3，而 ambari 代理安装在 Linux redhat 机器上 我的目标是找到一种方法来更新所有 Ambari 集群上的服务值，通过自动化流程 到目前为止，我们所做的就是获取每个 ambari 集群并更改服务值 - 但这需要大量时间 因此，如果我们有 25 个不同的 ambari LAB 集群，那么我们需要访问每个 ambari 集群并更改值，这非常累人，因为我们有很多值需要更改...... 但我们有一个新想法来自动化这个过程 我们的想法是从一些 ambar...
我目前在 AWS 上的运营成本约为每月 2.5 万美元 - 4 万美元。我在 Elasticsearch 中索引了大约 30TB 的数据，运行一个 4 节点生产集群和另一个 4 节点暂存集群。集群中的每个系统都是 m4.2xlarge，配备 10TB 预置 IOPS SSD。我需要运行持续的一次性 EMR 作业，并且我还大量使用 Elasticache。 我目前在 S3 中有大量尚未索引的数据，这将使我的 30TB 数据增加到 150TB 以上，我开始担心我的运营成本。我只在云中运行过基础设施，所以我对主机托管不太熟悉。然而，看起来，无论如何，对于我的用例...
在金融科技领域，以下情况似乎相当常见： 您已为访问大量数据付费，但这些数据是以数千个小文件的形式提供给您的，每个文件占用大约 300 kB 的空间，但总共约有 1 TB 的数据。有些文件以 zip 压缩形式存储在远程计算机上；有些则不是。此外，所有这些文件都只能通过 FTP 访问，并且您每次只能连接到一个服务器。 获取这些文件副本的最快方法是什么？ ...
对于小文件，散列还行，但对于大文件，你很容易发现md5sum它对 CPU 有限制。有没有可以在多个核心上扩展的散列算法？有什么解决方法吗？有什么想法吗？有什么吗？:) ...