☰

wget 一个网站到 csv

tag-icon • tag-icon linux wget
wget 一个网站到 csv

有没有办法访问wget网站并将其表格内容放入其中.csv？

或者也许是cURL一个网页请求，获取其以数字表示的表格内容，其中包含 HTML 到.csv？

答案1

PHP有一个类DOM文档您可以使用它来检索和解析 html。

此代码将从网页中获取并提取行。还需要做更多的工作来提取您想要的特定项目，但如果您愿意学习一些 PHP，这将帮助您入门

<?php

$html = file_get_contents('http://currency.poe.trade/search?league=Prophecy&online=x&want=1&have=4');

$doc = new DOMDocument;
$doc->loadHTML($html);

$xpath = new DOMXpath($doc);
$rows = $xpath->query('//div[contains(@class, "row")]'); //instance of DOMNodeList
foreach ($rows as $row) {
    // var_dump($row);
    echo "Found {$row->nodeValue}";
}

您可以通过复制和粘贴来运行上面的代码在这个在线 PHP 解释器中 当我运行它时，我得到以下示例输出（截断）

发现货币市场 // 预言 ← 转到物品交易 Protip 箭头总是从您支付的内容指向您得到的内容。 （您获得 ⇐ 您付费） 货币搜索 管理您的商店 显示搜索表 League ProphecyHardcore ProphecyStandardHardcore 仅在线 关 开 您想要什么？你有什么？重置....[更多输出]

一旦你提取了你想要的信息，那么它非常简单，只需让每个感兴趣的项目由,每个记录的插入和换行符分隔，然后你就会有一个 CSV 文件。

注意：为了进行调试，您需要以 HTML/XML 标记格式转储 DOM 元素。你可以使用这个：

$xml = $domElement->ownerDocument->saveXML($domElement);

或者替代地

$html = $domElement->ownerDocument->saveHTML($domElement);

更多背景：
http://php.net/manual/en/class.domelement.php

相关内容