selenium
每次滚动时表格都会加载数据
有人知道一个网站吗？该网站有一个大表格（几列和很多行），每次我们向下滚动时都会加载它？ 我想用 selenium 或 JavaScript 的“waitToVisible”提取大表的一些数据，但由于是保密的，我无法分享实际的网站，所以，如果可能的话，我想尝试使用公共网站。 我一直在寻找具有这种特征的网站。维基百科中有几个表格，但如果我滚动，则不会显示“正在加载...”新内容。 提前致谢。 ...
selenium
selenium
使用 Selenium IDE 和 replaceALL javescript 检查按钮名称
我正在使用一个网站，该网站有一个按钮，其名称会根据我们正在查看的区域而改变。 例如 Page for Cats will have a button called (Search Cats) Page for Dogs will have a button called (Search Dogs) 该页面上还有许多其他不会改变的按钮。 我已经创建了一个页面名称数组，还有一个包含所有按钮名称的数组，但是对于搜索按钮，我将其命名为“搜索> PAGENAME <”，我希望可以使用 Javascript replace 或 replace.all 来整...
selenium
使用 Selenium 从 Discogs URL 抓取数据时出现 NoSuchElementException
我尝试使用 Selenium 从 Discogs URL 中提取一些数据，但担心我从 Selenium 中选择了错误的正确标签 我从这网址 我尝试在控制台中获取此输出 Artista 1: The Sound Man Featuring Mercy (3) – The Factory Testo elemento 1: The Factory (Original Mix) Testo elemento 2: The Factory (Bass Dub) Testo elemento 3: The...
selenium
Amazon Linux 2 上的 Chrome 114 段错误崩溃
我正在使用带有 Amazon Linux 2（Karoo）的 AWS EC2 实例，通过无头 Chrome 使用 Selenium WebDriver 运行测试自动化。 升级到 Chrome 114（稳定版）时，ChromeDriver 报告 Chrome 在启动时崩溃。 ======= starting test SeleniumTest.testChromeDriverOnGoogle() ======= 13:04:42.Jul INFO org.example.TestConfig.getEnvironment() - environment: ...
selenium
查找 Windows 中安装 Chromium 浏览器驱动程序的位置
我使用的是 Windows 10。在 Google Colab 中，我执行了以下命令： !pip install selenium !apt-get update !apt-get install -y chromium-browser !apt install chromium-chromedriver from selenium import webdriver from selenium.webdriver.common.keys import Keys 现在我需要执行： driver=webdriver.Chrome(path) 您能告诉我如何在...
selenium
使用特定配置文件启动 selenium 节点（Firefox）
当我启动独立的 selenium 测试时，我可以指定要使用的配置文件路径，例如FirefoxProfile（文件（“/home/selenium/firefox/1234.MyProfile”））。但是当我使用网格时，我不知道如何将其指定到网格。我希望 selenium 节点使用我指定的配置文件打开。 ...
selenium
Selenium 破坏了 Firefox 中的日文输入
我使用 Selenium + Python 启动 Firefox，使用的是现有配置文件，而不是默认的临时配置文件。我注意到，对于我与 Selenium 一起使用的任何配置文件，日语输入从此就失效了。不仅是在从 Selenium 控制 Firefox 时，而且在我正常启动 Firefox 之后也是如此。 我说的“损坏”是指，如果我在网页的输入字段、网址栏或开发者控制台中输入内容，则什么都不会发生。不会出现任何日语或拉丁字符。但是，如果我恢复默认的法语输入，则一切正常。 问题显然出在 Firefox 配置文件级别：日语输入在其他程序中运行良好，并且在其他 Fir...
selenium
macOS 上 selenium chrome webdriver 出现错误
我想在 Macos M2 上使用 selenium。我运行了以下代码： from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager options = Options() options.add_argument("start-m...
selenium
在 Docker 容器中以非 root 用户身份运行 Selenium + geckodriver + firefox 时出现“无法读取 marionette 端口”
我正在使用 Firefox 和 Geckodriver 在 docker 容器内运行 selenium 测试。以 root 身份运行该容器时，一切正常。 以非 root 用户（USER 1000）运行容器时，驱动程序初始化失败： [[1;31mERROR[m] test01_WO_default_dashboard Time elapsed: 132.6 s <<< ERROR! org.openqa.selenium.TimeoutException: Failed to read marionette port Build inf...
selenium
使用 python + selenium + 多处理在 Docker 容器中进行 Web 抓取随着时间的推移变得越来越慢
我已经使用 python、selenium 和多处理构建了一个 Web 爬取解决方案，该解决方案部署在 EC2 实例 (m4.2xlarge 类型) 中的 docker 容器中。每当我使用大量输入运行它时，它都会在开始时使用指定数量的 CPU 线程，直到大约 1000 个 URL，之后它开始使用较少数量的线程，因此爬取变得非常慢。 寻找一种调试方法来了解为什么程序随着时间的推移开始使用更少的 CPU 线程/核心。 ...
selenium
如何让 Chrome 在 Linux 上自动为 URL 选择证书？
当我在 Selenium 上运行自动测试时，我会收到证书选择弹出窗口。 我发现这个问题可以在 Windows 上通过以下方式解决：创建注册表项。 不幸的是，这个答案没有解释如何在 Linux 上做到这一点。但我发现应该有一些chrome 配置文件，我可以用类似的方式修改它。 在哪里可以找到这个文件？它叫什么名字？我应该在其中写些什么才能解决这个问题？或者也许还有其他方法可以解决这个问题。 ...
selenium
防火墙阻止了 Selenium，但没有阻止浏览器
我正在尝试使用 Selenium/Chrome 驱动程序下载网页。但是，我的防火墙阻止了它（这肯定是防火墙的问题，因为在实施防火墙之前，我可以下载网页）。 print("Getting webpage") Browser.get(URL) print("Downloaded webpage") 我的脚本卡在了Getting webpage，过了一会儿，它就超时了。但是，如果我使用真正的浏览器，我就可以加载网页。 使用 Selenium 和实际浏览器访问网页有什么区别？为什么 Selenium 会被拦截，而浏览器却不会？ ...
selenium
无论用户是否登录，选择“运行”时任务计划程序都不会启动 chrome
我有用于网页抓取的 Python 脚本。我使用 papermill 运行它，然后我创建了一个批处理文件，用于任务调度程序运行。在我的虚拟机更新之前，此工作流程运行良好。我可以成功手动运行它或“仅在用户登录时运行”，没有任何错误。 当选择无论用户是否登录都运行选项时，它只是挂在需要打开浏览器登录的步骤上，然后在 20-30 分钟后，它会给我如下超时会话错误： SessionNotCreatedException: Message: session not created from timeout: Timed out receiving message fro...
selenium
从 Linux 服务器 CLI 到具有动态内容的网站的 HTTP 请求需要 Webdriver（JS 模拟）吗？
是否有任何简单的解决方案可以从 Linux 服务器上的 CLI 向动态生成的网站发出 GET 或 POST 请求，这些网站需要运行 JavaScript 才能返回 HTML？我知道 Selenium 和 Puppeteer 存在，但对于我的目的来说，它们似乎都太大太臃肿了。我不想对生成的 HTML 进行单元测试或执行查询选择器。我只想发出带有所需标头的请求，并在 shell 中返回响应文本，就像使用 curl 或 wget 一样。如果没有可行的方法，我想 Selenium 和 Python 脚本是一种可行的方法。 ...
selenium
如何在 Chrome 中禁用“共享此标签页”消息
我正在使用 selenium 来录制 chrome 屏幕。我还想通过 webrtc 共享此屏幕。当我开始共享标签屏幕时。Chrome 将显示此消息： https://storage.googleapis.com/support-forums-api/attachment/thread-48583572-813505606056354659.png 如何使用 Python + Selenium 隐藏此消息？谢谢 ...