☰

测试pdf文档的超链接

tag-icon • tag-icon hyperref pdf urls links
测试pdf文档的超链接

有什么方法可以测试pdf文件的超链接？假设我有一个pdf包含大量超链接的文件，我可以自动测试点击这些链接时的响应吗（200= ok、404= not found 等）。

我知道有这样的网页工具（如软件，如KLink状态或者作为网络服务，例如W3C 的检查链接)，但是有没有等价的pdf？我猜没有这样的东西，有没有tex文件等价的好东西？我猜这可以用一些脚本和正则表达式魔法来完成，但我想知道是否有任何现有的解决方案。

\documentclass{article}
\usepackage{hyperref}

\begin{document}
\href{http://tex.stackexchange.com/test-404/}{This will give a 404}

\href{http://tex.stackexchange.com/}{This will give a 200}

\end{document}

答案1

安装 curl（假设您使用 apt-get 来安装包）：

sudo apt-get install curl

并对 pdf 文件执行以下操作：

cat document.pdf | grep -ao '[a-zA-Z]\+://[a-zA-Z.-]*[^)]\+' | while read LINE; do curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE";    echo " $LINE";  done

并对 tex 文件执行以下操作：

cat myfile.tex | grep -o '{[a-zA-Z]\+://[a-zA-Z.-]*[^}]\+}' | sed s/{// | sed s/}// | while read LINE; do curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE" echo " $LINE" done

将以下内容复制粘贴到命令行以立即进行测试：

echo "\documentclass{article}
\usepackage{hyperref}

\begin{document}
\href{http://tex.stackexchange.com/test-404/}{This will give a 404}

\href{http://tex.stackexchange.com/}{This will give a 200}

\end{document}" | grep -o '{[a-zA-Z]\+://[a-zA-Z.-]*[^}]\+}' | sed s/{// | sed s/}// | while read LINE; do
   curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE"
   echo " $LINE"
 done

详细信息请参阅以下内容：

https://stackoverflow.com/questions/13611973/how-to-grep-for-a-url-in-a-file https://stackoverflow.com/questions/6136022/script-to-get-the-http-status-code-of-a-list-of-urls

答案2

如果您愿意使用 Python，这可能就足够了。

我使用带有 pyPdf 和 urllib2 包的 python。逻辑如下：使用 pyPdf.PdfFileReader 打开 pdf 并循环遍历它。下面的函数pdf是打开的 pdf 文件对象。

def get_urls(pdf):
    badurls = list()
    links = list()
    url_checker = URLChecker() # a helper function to test the URL (urllib2)
    for pg in range(pdf.getNumPages()):
        page = pdf.getPage(pg)
        obj = page.getObject()

        for a in obj.get('/Annots', []):
            u = a.getObject()
            lnk = u['/A'].get('/D')
            url = u['/A'].get('/URI')
            if lnk:
                links.append(lnk)
            if url:
                urls.append(url)
                result, reason = url_checker.check(url)
                if not result:
                    badurls.append({'url':url, 'reason': '%r' % reason})

    anchors = pdf.getNamedDestinations().keys()
    badlinks = [x for x in links if x not in anchors]
    return urls, badurls, badlinks

打开url_checkerURL，如果有错误，则返回(False, error_string)。否则返回(True, None)

因此，在该过程结束时，您将获得 PDF 中的 URL 列表、无法打开的任何错误 URL（包含原因）、PDF 中的链接列表以及没有目标锚点的链接子集。

我省略了 url_checker 的逻辑，但它非常简单。有多种方法可以完成这一部分 - 您也可以使用包requests而不是urllib2。

答案3

使用 Qt4 和 Poppler 编写的简单 C++ 程序就可以解决问题。我很快画出草图并在一些 PDF 上进行了测试。我认为可以对其进行大量调整，使其对 mailto: -protocol 和其他端口等奇怪链接更加稳健。当然，如果您需要事后解析，输出格式可能会更好，但它确实有用

#include <QTcpSocket>
#include <QUrl>
#include <QByteArray>
#include <QList>
#include <poppler-qt4.h>
#include <QDebug>

  using namespace Poppler;

  QString urlGetStatus(const QUrl &url) {
    QString status;
    QTcpSocket socket;
    socket.connectToHost(url.host(), 80);
    if (socket.waitForConnected()) {
        socket.write("HEAD " + url.path().toUtf8() + " HTTP/1.1\r\n"
                     "Host: " + url.host().toUtf8() + "\r\n"
                     "\r\n");
        if (socket.waitForReadyRead()) {
                QByteArray bytes = socket.readAll();
                status = QString(bytes).mid(9, 3);
        }
    }
    return status;
  }

  int main(int argc, char *argv[]) {
    if(argc < 2) {
        return 1;
    }
    QString path = QString(argv[1]);
    Document *doc = Document::load(path);
    if(doc == NULL)
        return 1;
    QList<QUrl> urlList;
    for(int i = 0;i < doc->numPages(); i++) {        
        Page *p = doc->page(i);
        foreach(Link *li,p->links()) {
            if(li->linkType() == Link::Browse) {
                LinkBrowse *link = static_cast<LinkBrowse*>(li);
                urlList.append(QUrl(link->url()));
            }
        }
    }
    foreach(QUrl url, urlList) {
        QString stat = urlGetStatus(url);
        if(stat == "200") {
            qDebug() << url.toString() << "returned status 200";
        } else {
            qDebug() << url.toString() << " maybe not reachable status" << stat;
        }
    }
    return 0;
  }

因为我是 cmake 朋友，所以我使用这个 CMakeLists.txt 来编译：

cmake_minimum_required(VERSION 2.6)
project(qlinkextract)
set (CMAKE_MODULE_PATH "${PROJECT_SOURCE_DIR}/cmake/Modules/")

find_package(Qt4 REQUIRED QtCore QtNetwork)
include(${QT_USE_FILE})

find_package(Poppler REQUIRED)
include_directories(${POPPLER_QT_INCLUDE_DIR})

add_executable(qlinkextract main.cpp)
target_link_libraries(qlinkextract ${QT_LIBRARIES} ${POPPLER_QT_LIBRARIES})

您将需要 Qt4 开发包和 Poppler-Qt4 开发包。如果您的 CMakeModules 目录中没有 FindPoppler.cmake，请在线获取一个。

要编译它，请确保项目目录中的 qlinkextract 是（需要准确拼写如下）

  • CMakeLists.txt（见上文）
  • main.cpp （见上文）
  • cmake/Modules/FindPoppler.cmake（从某处下载）
  • build/（文件夹可选）

在控制台上，转到构建文件夹并输入

cmake ..
make

如果缺少某些东西，请安装缺少的软件包

一些示例输出：

"http://www.igi-global.com/chapter/ontology-based-multimedia-indexing/42895?camid=4v1" returned status 200 
"http://www.igi-global.com/chapter/ontology-based-multimedia-indexing/42895?camid=4v1" returned status 200 
"http://www.igi-global.com/e-resources/library-recommendation/?id=1" returned status 200 
"http://www.igi-global.com/chapter/towards-low-cost-energy-monitoring/112719?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/algebraic-properties-of-rough-set-on-two-universal-sets-based-on-multigranulation/116046?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/algebraic-properties-of-rough-set-on-two-universal-sets-based-on-multigranulation/116046?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/fuzzy-decision-support-system-for-coronary-artery-disease-diagnosis-based-on-rough-set-theory/111313?camid=4v1a" returned status 200 
"http://www.igi-global.com/article/fuzzy-decision-support-system-for-coronary-artery-disease-diagnosis-based-on-rough-set-theory/111313?camid=4v1a" returned status 200 
"http://www.igi-global.com/chapter/optimization-model-identification-temperature-intelligent/74536?camid=4v1a" returned status 200 
"http://www.igi-global.com/chapter/optimization-model-identification-temperature-intelligent/74536?camid=4v1a" returned status 200

相关内容