![网页抓取/爬取特定的 Google 图书](https://linux22.com/image/1375826/%E7%BD%91%E9%A1%B5%E6%8A%93%E5%8F%96%2F%E7%88%AC%E5%8F%96%E7%89%B9%E5%AE%9A%E7%9A%84%20Google%20%E5%9B%BE%E4%B9%A6.png)
为了工作,我需要从 Google Books 上的一本大书中抓取文本。这本书非常古老,版权已过期。这本书是一本世界地名录。我们将把文本放入数据库,因此我们需要原始文本而不是 pdf。
我已经花了很多时间研究可用于完成这项任务的工具和技术。我感到不知所措,不知道从哪里开始,也不知道哪种方法最好/最容易使用。我不想在死胡同上浪费更多时间。
该问题可以分为两部分:
- 抓取页面。
- 正在下载数据。
最让我困惑的是第 (1) 部分。一旦我有了数据(即使只是原始的 html 页面),我确信我可以使用解析器来提取我想要的内容。
单击“继续”或箭头即可浏览页面。页面增量并不总是一致的,可能会有所不同,因为某些页面嵌入了图像。因此,我无法准确预测下一个 URL。本书第 1 卷的初始 URL 为:
http://books.google.co.uk/books?id=grENAAAAQAAJ&pg=PR5&output=text
我会用 Java 和 JavaScript 编程,并且具备 Python 的基础知识。我考虑过 node.js 和 scrapy 等。我尝试过 wget,但收到 401 未授权访问错误。此外,我还尝试过 iRobot、GreaseMonkey 和 FoxySpider。
答案1
如果我在 Google 上搜索download "Gazetteer of the World" dictionary of geographic knowledge
,我会看到它以 PDF 格式提供,然后可以使用 PDF2Word 之类的工具来提取文本;
除非 PDF 全部都是图片 ;-) 然后您可以尝试使用 pdf2jpg 进行提取并将图像文件输入 OCR 程序。
您也可以购买它们(亚马逊有几种畅销产品),剪下页面然后将其放入具有自动进纸和 OCR 功能的扫描仪中。
由于这是一次性的努力,编程将是我的最后手段。
如果您首先对能够获取(6?)卷的格式进行盘点,并估算处理这些格式所需的成本和工作量,这可能会有所帮助。
答案2
我通过在 node.js 中编写一个小程序(称为 extract.js)来抓取文本来解决了这个问题。我使用了此页面来帮助我:http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs
每个 html 页面包含多个书页。因此,如果我们只将 url 中的页面参数增加 1,那么如果我们不小心,我们就会抓取重复的书页(这是我特别困惑的部分)。我通过使用 jquery 选择器来解决这个问题,只选择 url 中指定的单个书页,并忽略 html 中存在的其他书页。这样,我可以使用电子表格程序快速构建一个文本文件,其中按顺序排列每个单页的 url(因为增量只有 1)。
到目前为止,我已经成功抓取了前两卷,还有五卷要抓取!代码如下,它可以作为抓取其他 Google 图书的有用起点。
// Usage: node extract.js input output
// where input (mandatory) is the text file containing your list of urls
// and output (optional) is the directory where the output files will be saved
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
// Read the command line parameters
var input = process.argv[2];
var output = process.argv[3];
if (!input) {
console.log("Missing input parameter");
return;
}
// Read the url input file, each url is on a new line
var urls = fs.readFileSync(input).toString().split('\n');
// Check for non urls and remove
for (var i = 0; i < urls.length; i++) {
if (urls[i].slice(0, 4) != 'http') {
urls.splice(i, 1);
}
}
// Iterate through the urls
for (var i = 0; i < urls.length; i++) {
var url = urls[i];
// request function is asynchronous, hence requirement for self-executing function
// Cannot guarantee the execution order of the callback for each url, therefore save results to separate files
request(url, ( function(url) {
return function(err, resp, body) {
if (err)
throw err;
// Extract the pg parameter (book page) from the url
// We will use this to only extract the text from this book page
// because a retrieved html page contains multiple book pages
var pg = url.slice(url.indexOf('pg=') + 3, url.indexOf('&output=text'));
//
// Define the filename
//
var number = pg.slice(2, pg.length);
var zeroes = 4 - number.length;
// Insert leading zeroes
for (var j = 0; j < zeroes; j++) {
number = '0' + number;
}
var filename = pg.slice(0, 2) + number + '.txt';
// Add path to filename
if (output) {
if (!fs.existsSync(output))
fs.mkdirSync(output);
filename = output + '/' + filename;
}
// Delete the file if it already exists
if (fs.existsSync(filename))
fs.unlinkSync(filename);
// Make the DOM available to jquery
$ = cheerio.load(body);
// Select the book page
// Pages are contained within 'div' elements (where class='flow'),
// each of which contains an 'a' element where id is equal to the page
// Use ^ to match pages because sometimes page ids can have a trailing hyphen and extra characters
var page = $('div.flow:has(a[id=' + pg + ']), div.flow:has(a[id^=' + pg + '-])');
//
// Extract and save the text of the book page to the file
//
var hasText = false;
// Text is in 'gtxt_body', 'gtxt_column' and 'gtxt_footnote'
page.find('div.gtxt_body, div.gtxt_column, div.gtxt_footnote').each(function() {
this.find('p.gtxt_body, p.gtxt_column, p.gtxt_footnote').each(function() {
hasText = true;
fs.appendFileSync(filename, this.text());
fs.appendFileSync(filename, '\n\n');
});
});
// Log progress
if (hasText) {
console.log("Retrieved and saved page: " + pg);
}
else {
console.log("Skipping page: " + pg);
}
}
} )(url));
}