☰

wget 没有获取所有页面内容

tag-icon • tag-icon linux wget html
wget 没有获取所有页面内容

我正在尝试提取以下艺术家这一页。我尝试过很多变体

wget https://northside.dk/artister/

和

wget --random-wait -r -p -e robots=off -U mozilla https://northside.dk/artister/

但我只得到

<head>
  <meta charset="UTF-8">

  <meta name="google-site-verification" content="clAYDF67yhmgMMhQ8tcJTXpuo4TGpmHSbo4RyIMu6vY" />

  <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=0"/>
  <meta name="apple-mobile-web-app-capable" content="yes">
  <meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
  <link rel="shortcut icon" href="/img/favicon_43f15e.png">

  <title>NorthSide - 4. - 6. juni 2020</title>

  <script id="CookieConsent" src="https://policy.app.cookieinformation.com/uc.js" type="text/javascript"></script>

  <!-- Google Tag Manager -->
  <script>(function (w, d, s, l, i) {
      w[l] = w[l] || []; w[l].push({
        'gtm.start':
          new Date().getTime(), event: 'gtm.js'
      }); var f = d.getElementsByTagName(s)[0],
        j = d.createElement(s), dl = l != 'dataLayer' ? '&l=' + l : ''; j.async = true; j.src =
          'https://www.googletagmanager.com/gtm.js?id=' + i + dl; f.parentNode.insertBefore(j, f);
    })(window, document, 'script', 'dataLayer', 'GTM-K4RZFD');

    if ( typeof "ga" === "function" ) {
      ga('require', 'linker');
    }
    
    if ( typeof "gtag" === "function" ) {
      gtag('config', 'UA-22269830-1', {
        'linker': {
          'domains': ['northside.dk', 'ticketmaster.dk', 'tmmikrobetaling.dk']
        }
      });
    }
  </script>
  <!-- End Google Tag Manager -->
  
  <!-- Google Tag Manager (noscript) -->
  <noscript><iframe src="https://www.googletagmanager.com/ns.html?id=GTM-K4RZFD" height="0" width="0" style="display:none;visibility:hidden"></iframe></noscript>
  <!-- End Google Tag Manager (noscript) -->
<link rel="shortcut icon" href="/favicon.png"><script type="text/javascript" src="/main_611e89.js"></script></head>

<body>
  <div id="app-mount">
    <div class="marble-loader" id="loader"></div>
    <h1 id="loading-status">Booking music</h1>
  </div>
</body>

我从 Firefox 检查器中得到了如下块，而不是预期的输出：

<a class="archive-grid-item-shell” href="/artister/3447" data-reactid=".0.1.4.1.0.0.0.$3447.1">
  <div class="archive-grid-iten-content" data-reactid=".0.1.4.1.6.0.0.53447.1.0">
    <div class="grid-iten-label” data-reactid=".0.1.4.1.0.8.0.$3447.1.0.0"> w/</div>
    <div class="grid-iten-header’ data-reactid=".0.1.4.1.0.0.0.53447.1.0.1">
      <span class="text-with-background" data-reactid=".0.1.4.1.0.0.0.53447.1.0.1.0">Clara</span>
    </div>
  </div>
</a>

所有对象都被捕获的地方。我什至尝试使用无标头浏览器 lynx，但结果与 wget 相同。

我做错了什么或者页面的运行方式导致我无法使用 wget 获取内容？

答案1

尝试这样：

wget -q -O - "https://api.northside.dk/wp-json/wp/v2/cpt-artist/?orderby=menu_order&order=asc&per_page=100" | grep -oP '"raw":.*?[^\\]"'
"raw":"Clara"
"raw":"Folkeklubben"
"raw":"Franc Moody"
"raw":"Green Day"
"raw":"Hans Philip"
"raw":"Johnny Marr"
"raw":"Jung"
"raw":"Kashmir"
"raw":"Lukas Graham"
"raw":"Mags"
"raw":"Mekdes"
"raw":"Mew"
"raw":"Robyn"
"raw":"Spleen United"
"raw":"Weezer"
"raw":"White Lies"

更新#1

在浏览器中启动开发人员工具，在 Chrome 中可以通过 F12 来完成，然后选择网络书签并输入网站地址

此时您应该看到浏览器发送到服务器的所有请求及其响应

当您跟踪网络流量时，您将看到一个负责下载必要数据的请求

您可以选择每个请求来检查其查询参数、响应、状态等。

在此输入图像描述

答案2

正如@nobody所说：

wget 只能获取直接包含在页面上的元素。显然，这个页面加载了一个 JavaScript，它加载额外的内容并将其动态地放入页面中。 wget 无法运行 javascript 代码，因此无法确定加载页面后从 javascript 加载哪些元素。 – 昨天没人

该物质可以在Python中用硒成功提取。

相关内容