automated-testing
用于验证 VM 映像是否正常运行的测试用例
我目前正在使用自动化技术开展我的家庭实验室工作。我目前正在构建 Ubuntu 映像，这些映像应该在我的学生进行实验室工作时分发给他们。 我在想：我是否可以创建可以运行的测试来验证更新后的图像是否可用？如果您能提出一些对图像至关重要的测试，我将不胜感激。 例子： 假设我最近更新了图像（添加了新软件、补丁等）。 现在我想自动运行测试来验证一切是否正常：我想检查是否可以使用 GUI 和某些服务登录。 ...
automated-testing
automated-testing
如何检测期望脚本中的超时
考虑一个生成命令并等待一系列事件的预期脚本。我们用它来测试软件。我试图在超时时始终从脚本中获取失败返回值。 spawn some-command set timeout 10 expect "First message" expect "Other message" 即使超时，此脚本也将始终返回 0（成功）。处理超时的唯一方法是将每个 expect 语句转换为： expect { timeout { exit 1 } eof { exit 1 } "First message" } 但这很快就变得难以处理。有什...
automated-testing
可配置的状态流量生成器建议
我需要一个流量生成器工具，我应该能够配置以下内容； 数据包数量 会话数 TCP、UDP 数据包数 会话中的平均数据包数 平均数据包大小 数据包大小的标准差 数据包间隔时间的平均值 数据包间隔时间标准差 TCP 流的平均连接持续时间 每秒生成的数据包 有没有可以配置所有这些的工具？如果没有，我应该从哪里开始，我认为 scapy 无法处理高速。（我需要非常高的数字）我应该用 C、C++ 编写它吗？ 每秒数据包数 ...
automated-testing
如果 PHPUnit 失败，Jenkins 构建不会标记为不稳定/失败
所以，标题几乎把一切都说出来。我们使用 Jenkins 2 和 PHPUnit 6.5.12，几天前，一切都运行良好。现在，我们所做的每个构建，如果在 PHPUnit 部分出现故障（或更糟的是，出现错误），则根本不会标记为不稳定/失败。对于测试，我们使用 PHPUnit + Selenium Standalone 3.4.0 和最新的 geckodriver。（是的，有更新版本的 Selenium 可用，但它们总是会因异常而终止测试并且根本不运行 - 3.4.0 运行良好。） 运行单元测试的管道的一部分如下所示： stage ('UnitTests') ...
automated-testing
在真实硬件上进行自动化软件测试
我目前在一家小型测试农场工作，测试运行后重置机器的部分尤其让我头疼。 在我们决定购买几台具有不同硬件配置的专用测试机之前，计划是使用 Hyper-V 在一台机器上运行测试，因此事后清理只需删除实际的 VM 即可。 不幸的是，重置整台机器在时间方面会更昂贵一些，而且我猜如果你经常这样做，多年来硬件磨损也会更严重。 我认为，仅仅卸载已安装的软件是不够的，因为系统上可能还残留着一些文件/可再发行文件，这会使后续测试运行变得不那么有用。 我还认为，在测试机器上运行 Hyper-V VM 会对测试结果产生不利影响，尤其是在较弱的硬件配置上。 我真的很想知道是否有一...
automated-testing
多阶段 CI 监控或如何将部署步骤拆分为可控制的块
首先，我不是在寻求产品推荐（好吧，我是在寻求，但这更像是我在寻找问题的解决方案，而不是试图从现有列表中挑选一些东西） 环境：我正在使用 Jenkins 运行一个复杂的多阶段作业。该作业创建并配置服务器，在其上部署操作系统和应用程序堆栈，用演示数据填充堆栈，运行标准测试，然后运行一些额外的负面测试，然后使用更多配置的服务器扩展堆栈并运行更多测试。 问题：在任何一个阶段都可能发生故障，要么只是报告器配置错误，要么是某个步骤完全失败。无论哪种情况，我都可以在 Jenkins 中执行以下两项操作之一 - 退出（1）或继续，将问题转储到控制台。这两种方法都不太好，...
automated-testing
Windows 上的自动安装测试
我正在寻找一些可以使用的软件，以便测试程序是否已安装并正常运行。我希望使用类似于软件开发自动化单元/集成测试的软件，而不是手动打开每个程序并查看其运行情况。 我已经调查过类似的事情自动热键和西库利它们看起来很有希望，但并不完全满足我的需要，而且它们需要在系统上安装依赖项，而我并不是很喜欢。 我想象的一个用例就像在系统上安装 Microsoft Word。我可以运行此脚本/程序，它会打开程序本身，打开新文档，向该文档写入几行，然后保存文件。这将“证明”Word 中的此功能正常运行。 这基本上就是我所寻找的：...
automated-testing
Puppet，使用 beaker-rspec 在 control-repo 中测试角色
我想使用 rspec-puppet 和 beaker-rspec 测试我的控制存储库（其中包含配置文件和角色）。我在使用 beaker-rspec 时仍然遇到一些问题： 例如，我想单独测试配置文件，profile::postgresql查看数据库是否已安装。 然后我还想单独测试我的角色，例如role::fileserver或role::webserver。 我已经设置了 beaker-rspec，它可以工作，但它需要相当长的时间，因为它会一个接一个地应用所有配置文件。我发现了以下问题： 如果将过多的配置文件应用于 Vagrant VM，它将受到污...
automated-testing
serverspec if 语句用于服务器上的 mysql 版本
有没有办法通过命令输出检查服务器上安装了哪些包？ describe command('mysql -e "select version();"') do if its(:stdout) { should =~ /5.6.27-76.0-log/ } describe package('MySQL-client') do it { should be_installed } else describe package('Percona-client') do it { should be_installed } ...
automated-testing
服务器部署的自动测试框架
我一直在部署 Linux 服务器，并且想测试每个安装。就像系统测试一样。 对于应用程序，有大量的测试框架，但我找不到任何用于测试服务器安装的东西。 更具体地说：我使用 Puppet 部署了各种 Ubuntu 组合，例如 LAMP、LNMP、Solr、Elasticsearch、Nodejs 等。稍后，其他人会将应用程序添加到这些安装中。为了尽可能确保最佳质量，我现在使用矩阵运行 Jenkins，该矩阵测试运行我使用的每种可能的 Puppet 清单组合。这确保了 Puppet 在部署期间不会失败。 问题是，即使 Puppet 成功了，也不能保证 Elas...
automated-testing
无法让透明的 Squid 转发代理与 SSL 配合使用
我有一个由四台联网服务器组成的环境。一台服务器充当服务器，另外三台服务器充当客户端，用于使用 Phoromatic 运行自动化测试和 Linux 基准测试。 这四个系统都位于公司防火墙后面。如果我在客户端上设置“http_proxy”和“https_proxy”环境变量，它们可以连接到外部世界并下载测试等，但它们不会连接到服务器，因为它们尝试使用代理连接到本地服务器。由于我想缓存软件包下载、测试等...我在服务器系统上设置了一个 Squid 代理，并将其配置为透明代理，但它仅适用于 http 请求。 我想做的是通过缓存处理 http 请求，并根据需要转发...
automated-testing
通过 Jenkins 进行 Salt State 测试
全部， 我们正在尝试在 Jenkins 设置中进行自动化测试，以在我们的 salt state 文件 ( .sls) 中运行“smoke”和“lint”类型的测试。到目前为止，所有 google-foo 都只产生了很少的信息。有一种方法可以通过test=True命令行进行测试，但这不适用于无 shell 帐户（因为 Jenkin 的帐户通常是这样的）。 我还没有遇到过这样做的人自动化测试 SaltStack 状态。因此： 1）有可能吗 2）有谁知道有什么好的资源可以让我参考 短暂性脑缺血。 ...
automated-testing
如何使用 serverspec 测试文件是否存在？
这serverspec 资源类型指南没有解释如何测试文件是否存在，而不是文件是否存在。这是我能想到的最好的办法： describe command('/bin/bash -c "[[ ! -e /var/foo ]]"') do its(:exit_status) { should eq 0 } end 这看起来非常笨重，但比利用内置函数： describe file('/var/foo') do it { should_not be_file } it { should_not be_directory } it { should_...
automated-testing
HP 服务器的自动化硬件测试？
作为配置服务器的一部分，我们运行 HP 的 Insight Diagnostics 来测试硬件。这是一个手动过程。有没有办法自动运行 Insight Diagnostics？ hpdiags 软件带有选项“-rd:”“对所有可诊断设备进行诊断”。根据我的测试，这个软件没有多大用处（它只是从磁盘读取 SMART 信息）。有没有人用过这个软件，效果更好？ 硬件：BladeCenter c7000，配备 HP ProLiant BL460c 刀片、DL360s。 操作系统：ESXi 和 Ubuntu。 ...