![测试pdf文档的超链接](https://linux22.com/image/298999/%E6%B5%8B%E8%AF%95pdf%E6%96%87%E6%A1%A3%E7%9A%84%E8%B6%85%E9%93%BE%E6%8E%A5.png)
有什么方法可以测试pdf
文件的超链接?假设我有一个pdf
包含大量超链接的文件,我可以自动测试点击这些链接时的响应吗(200
= ok、404
= not found 等)。
我知道有这样的网页工具(如软件,如KLink状态或者作为网络服务,例如W3C 的检查链接),但是有没有等价的pdf
?我猜没有这样的东西,有没有tex
文件等价的好东西?我猜这可以用一些脚本和正则表达式魔法来完成,但我想知道是否有任何现有的解决方案。
\documentclass{article}
\usepackage{hyperref}
\begin{document}
\href{http://tex.stackexchange.com/test-404/}{This will give a 404}
\href{http://tex.stackexchange.com/}{This will give a 200}
\end{document}
答案1
安装 curl(假设您使用 apt-get 来安装包):
sudo apt-get install curl
并对 pdf 文件执行以下操作:
cat document.pdf | grep -ao '[a-zA-Z]\+://[a-zA-Z.-]*[^)]\+' | while read LINE; do curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE"; echo " $LINE"; done
并对 tex 文件执行以下操作:
cat myfile.tex | grep -o '{[a-zA-Z]\+://[a-zA-Z.-]*[^}]\+}' | sed s/{// | sed s/}// | while read LINE; do curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE" echo " $LINE" done
将以下内容复制粘贴到命令行以立即进行测试:
echo "\documentclass{article}
\usepackage{hyperref}
\begin{document}
\href{http://tex.stackexchange.com/test-404/}{This will give a 404}
\href{http://tex.stackexchange.com/}{This will give a 200}
\end{document}" | grep -o '{[a-zA-Z]\+://[a-zA-Z.-]*[^}]\+}' | sed s/{// | sed s/}// | while read LINE; do
curl -o /dev/null --silent --head --write-out '%{http_code}' "$LINE"
echo " $LINE"
done
详细信息请参阅以下内容:
https://stackoverflow.com/questions/13611973/how-to-grep-for-a-url-in-a-file https://stackoverflow.com/questions/6136022/script-to-get-the-http-status-code-of-a-list-of-urls
答案2
如果您愿意使用 Python,这可能就足够了。
我使用带有 pyPdf 和 urllib2 包的 python。逻辑如下:使用 pyPdf.PdfFileReader 打开 pdf 并循环遍历它。下面的函数pdf
是打开的 pdf 文件对象。
def get_urls(pdf):
badurls = list()
links = list()
url_checker = URLChecker() # a helper function to test the URL (urllib2)
for pg in range(pdf.getNumPages()):
page = pdf.getPage(pg)
obj = page.getObject()
for a in obj.get('/Annots', []):
u = a.getObject()
lnk = u['/A'].get('/D')
url = u['/A'].get('/URI')
if lnk:
links.append(lnk)
if url:
urls.append(url)
result, reason = url_checker.check(url)
if not result:
badurls.append({'url':url, 'reason': '%r' % reason})
anchors = pdf.getNamedDestinations().keys()
badlinks = [x for x in links if x not in anchors]
return urls, badurls, badlinks
打开url_checker
URL,如果有错误,则返回(False, error_string)
。否则返回(True, None)
因此,在该过程结束时,您将获得 PDF 中的 URL 列表、无法打开的任何错误 URL(包含原因)、PDF 中的链接列表以及没有目标锚点的链接子集。
我省略了 url_checker 的逻辑,但它非常简单。有多种方法可以完成这一部分 - 您也可以使用包requests
而不是urllib2
。
答案3
使用 Qt4 和 Poppler 编写的简单 C++ 程序就可以解决问题。我很快画出草图并在一些 PDF 上进行了测试。我认为可以对其进行大量调整,使其对 mailto: -protocol 和其他端口等奇怪链接更加稳健。当然,如果您需要事后解析,输出格式可能会更好,但它确实有用
#include <QTcpSocket>
#include <QUrl>
#include <QByteArray>
#include <QList>
#include <poppler-qt4.h>
#include <QDebug>
using namespace Poppler;
QString urlGetStatus(const QUrl &url) {
QString status;
QTcpSocket socket;
socket.connectToHost(url.host(), 80);
if (socket.waitForConnected()) {
socket.write("HEAD " + url.path().toUtf8() + " HTTP/1.1\r\n"
"Host: " + url.host().toUtf8() + "\r\n"
"\r\n");
if (socket.waitForReadyRead()) {
QByteArray bytes = socket.readAll();
status = QString(bytes).mid(9, 3);
}
}
return status;
}
int main(int argc, char *argv[]) {
if(argc < 2) {
return 1;
}
QString path = QString(argv[1]);
Document *doc = Document::load(path);
if(doc == NULL)
return 1;
QList<QUrl> urlList;
for(int i = 0;i < doc->numPages(); i++) {
Page *p = doc->page(i);
foreach(Link *li,p->links()) {
if(li->linkType() == Link::Browse) {
LinkBrowse *link = static_cast<LinkBrowse*>(li);
urlList.append(QUrl(link->url()));
}
}
}
foreach(QUrl url, urlList) {
QString stat = urlGetStatus(url);
if(stat == "200") {
qDebug() << url.toString() << "returned status 200";
} else {
qDebug() << url.toString() << " maybe not reachable status" << stat;
}
}
return 0;
}
因为我是 cmake 朋友,所以我使用这个 CMakeLists.txt 来编译:
cmake_minimum_required(VERSION 2.6)
project(qlinkextract)
set (CMAKE_MODULE_PATH "${PROJECT_SOURCE_DIR}/cmake/Modules/")
find_package(Qt4 REQUIRED QtCore QtNetwork)
include(${QT_USE_FILE})
find_package(Poppler REQUIRED)
include_directories(${POPPLER_QT_INCLUDE_DIR})
add_executable(qlinkextract main.cpp)
target_link_libraries(qlinkextract ${QT_LIBRARIES} ${POPPLER_QT_LIBRARIES})
您将需要 Qt4 开发包和 Poppler-Qt4 开发包。如果您的 CMakeModules 目录中没有 FindPoppler.cmake,请在线获取一个。
要编译它,请确保项目目录中的 qlinkextract 是(需要准确拼写如下)
- CMakeLists.txt(见上文)
- main.cpp (见上文)
- cmake/Modules/FindPoppler.cmake(从某处下载)
- build/(文件夹可选)
在控制台上,转到构建文件夹并输入
cmake ..
make
如果缺少某些东西,请安装缺少的软件包
一些示例输出:
"http://www.igi-global.com/chapter/ontology-based-multimedia-indexing/42895?camid=4v1" returned status 200
"http://www.igi-global.com/chapter/ontology-based-multimedia-indexing/42895?camid=4v1" returned status 200
"http://www.igi-global.com/e-resources/library-recommendation/?id=1" returned status 200
"http://www.igi-global.com/chapter/towards-low-cost-energy-monitoring/112719?camid=4v1a" returned status 200
"http://www.igi-global.com/article/algebraic-properties-of-rough-set-on-two-universal-sets-based-on-multigranulation/116046?camid=4v1a" returned status 200
"http://www.igi-global.com/article/algebraic-properties-of-rough-set-on-two-universal-sets-based-on-multigranulation/116046?camid=4v1a" returned status 200
"http://www.igi-global.com/article/fuzzy-decision-support-system-for-coronary-artery-disease-diagnosis-based-on-rough-set-theory/111313?camid=4v1a" returned status 200
"http://www.igi-global.com/article/fuzzy-decision-support-system-for-coronary-artery-disease-diagnosis-based-on-rough-set-theory/111313?camid=4v1a" returned status 200
"http://www.igi-global.com/chapter/optimization-model-identification-temperature-intelligent/74536?camid=4v1a" returned status 200
"http://www.igi-global.com/chapter/optimization-model-identification-temperature-intelligent/74536?camid=4v1a" returned status 200