airflow

如何在 Docker Compose 中检查当前主机操作系统?
airflow

如何在 Docker Compose 中检查当前主机操作系统?

对于 Linux 和 Airflow 容器,我们必须向容器提供主机用户 ID: “在 Linux 上,快速启动需要知道您的主机用户 ID,并且需要将组 ID 设置为 0。否则,在 dags、日志和插件中创建的文件将以 root 用户所有权创建。您必须确保为 docker-compose 配置它们:mkdir -p ./dags ./logs ./plugins echo -e "AIRFLOW_UID=$(id -u)" > .env” https://airflow.apache.org/docs/apache-airflow/stable/ho...

Admin

如何让 Linux 上的 Airflow 运行自动下载 SAP 数据的 VBS 脚本?
airflow

如何让 Linux 上的 Airflow 运行自动下载 SAP 数据的 VBS 脚本?

我在 CentOS 上安装了 Airflow,并且能够在 Windows 10 机器上运行脚本/命令。 但是,我有一个 VBS 脚本,可以启动 Excel 和 SAP Logon,然后自动登录、填写一些字段并下载文件。当我通过 cmd、PowerShell 或调度程序在 Windows 计算机上运行此脚本时,它可以正常工作。 但是,当我通过 Airflow 运行它时,它不起作用。最初它没有启动 Excel 和 SAP 实例。我通过更改 DCOM 配置让它工作。剩下的就是它会自动单击字段并填写数据,然后下载文件。 我想我可能必须更改一些 DCOM 设置才能控制...

Admin

在数据堆栈中寻找调度程序需要哪些服务器规格?
airflow

在数据堆栈中寻找调度程序需要哪些服务器规格?

我正在为一家小公司构建数据堆栈:选择让 UNIX 服务器作为“调度程序”运行。此调度程序的目标只是从不同的应用程序中提取数据并将其发送回云数据仓库。预计在不久的将来也会有相反的流程。 具体来说,服务器将仅托管 Airflow 并运行 Python 和 Bash 脚本。该服务器很可能还会托管其他仅供内部使用的 Flasks 应用程序(数据、监控等)。在这种情况下,公司的流量确实“很小”:我们说的不是大数据。 现在我必须选择主机和硬件规格,我有点困惑,我应该寻找什么,我应该考虑什么判别因素?是否有任何必须具备的选项/功能,或者我应该不惜一切代价避免的选项/功能?...

Admin

Google Cloud 监控中的“每个节点的 CPU 使用率”应该如何解释?
airflow

Google Cloud 监控中的“每个节点的 CPU 使用率”应该如何解释?

在 Google Cloud 上的 Composer(Airflow)监控选项卡中,有一个显示“每个节点的 CPU 使用率”的图表。应如何解释此图表中的值?什么值表示负载已达到极限,并且可用的 CPU 资源可能不足? Composer Kubernetes 集群在机器类型为 n1-standard-1 的 3 个节点上运行。 图表中有一个简短的描述,但我不确定如何解释它: “Kubernetes 节点上所有正在运行的 pod 的 CPU 核心使用情况汇总。以核心时间使用率衡量。不包括节点上运行的系统组件的使用情况。” ...

Admin

如何降低服务器机房的湿度
airflow

如何降低服务器机房的湿度

我们有一个小型服务器机房,机房内的湿度远非理想值。3 个月来,我们测量的湿度一直在 60% 到 68% 之间。建筑物内的环境湿度约为 50%。 使用空调的干燥模式并不能降低湿度。我听说使用除湿机会导致房间内积聚静电。 我有什么办法可以解决这个问题? 服务器机房布局如下: ...

Admin

空调消耗的电量是否会增加服务器机房的总发热量?
airflow

空调消耗的电量是否会增加服务器机房的总发热量?

我必须评估服务器机房的空调。我计算了服务器机房中所有耗电设备的总负荷,即服务器、网络设备、SAN、照明、UPS 和 PDU。由于空调运行时也消耗电力,那么空调的瓦数消耗是否会导致服务器机房产生热量? ...

Admin

戴尔主板故障-冷凝?
airflow

戴尔主板故障-冷凝?

自 2018 年 4 月以来,我的戴尔服务器主板出现多处故障(至少 12 个)。 我们在这个位置运行戴尔服务器已经 20 多年了,没有出现过问题。但自 4 月以来,问题就一直不断出现。据我所知,唯一的环境变化是,大约在那个时候,我们办公室下面的租户搬走了。因此,该办公室的供暖/制冷不再超过最低限度。 这是我的机架设置。 我们有 4 台机架式戴尔服务器。这些服务器型号各异。 机架位于一个气候可控的房间内。它从建筑物的中央空调接收空气,另外它在机架 10 英尺范围内拥有自己的空调装置。 机架还配有 UPS,该 UPS 连接到电源线调节器。机架接地。机架...

Admin

服务器腐蚀、空调和气候控制
airflow

服务器腐蚀、空调和气候控制

我们不幸发现,办公室服务器机房中的服务器正在生锈。这是在第一台服务器发生故障后才发现的。 一个明显的可能就是空调机组,它的湿度调节出了问题。因此,我绘制了温度和湿度图。有很多话要说,但这很好地说明了我的问题: 在相对密封的房间(约 1.5 x 2.5 米)中,每次恒温循环后湿度仍然很高,这让我感到怀疑。此外,关闭空调明显抑制了湿度峰值。 这是正常的空调行为吗?我没想到湿度总是会回到这么高的水平。即使在图表的右侧,它也不会只是保持低水平,而是“想要”稳定在相当高的位置。 我还研究了其他问题,例如含硫细颗粒物会导致腐蚀,但事实上,这更像是一个抽象的想...

Admin

Cisco Catalyst 2960 交换机 - 我可以逆转气流吗?
airflow

Cisco Catalyst 2960 交换机 - 我可以逆转气流吗?

我有一些设备很快将被转移到新的数据中心。 在当前的数据中心,交换机安装在机架的后部,因此交换机的气流与机架上其他设备相比是反向的。 由于新的数据中心严格遵循冷/热通道设置,因此我被要求移动机架前面的交换机,这会导致更多的停机时间,如果可能的话,我希望避免这种情况。 交换机是标准的 Cisco Catalyst 2960(G)。 是否可以反转交换机的气流,以便仍然可以将其留在机架背面? 风扇和 IOS 是否支持类似功能,或者如果我将风扇反向安装在机箱上,这样可以吗? ...

Admin