☰

如何从URL列表中自动生成URL+标题？ （使用 bash 或其他工具）

tag-icon • tag-icon text-processing url
如何从URL列表中自动生成URL+标题？ （使用 bash 或其他工具）

使用 Linux Bash，如何使用以下命令转换文本文件：

http://example.org/
https://en.wikipedia.org/wiki/Main_Page
https://www.youtube.com/watch?v=mGQFZxIuURE

进入：

http://example.org/ Example Domain
https://en.wikipedia.org/wiki/Main_Page Wikipedia, the free encyclopedia
https://www.youtube.com/watch?v=mGQFZxIuURE Mike Perry - The Ocean (ft. Shy Martin) - YouTube

或进入：

http://example.org/
Example Domain

https://en.wikipedia.org/wiki/Main_Page 
Wikipedia, the free encyclopedia

https://www.youtube.com/watch?v=mGQFZxIuURE
Mike Perry - The Ocean (ft. Shy Martin) - YouTube

？

怎样才能一个

  1. 从文件的 URL 列表中提取 URL，
  2. 加载页面，
  3. 提取其页面标题，
  4. 在该 URL 的同一行或紧随其后的行中添加该 URL 后的页面标题，然后

为该列表中的每个后续 URL 执行步骤 1-4？

如果不使用Linux Bash，还有什么方法呢？

答案1

和curl和小狗:

while IFS= read -r url
do
   printf "%s " "$url"
   curl -sL "$url" | # fetch the page
       pup 'head title:first-of-type text{}' # get the text of the first title tag in head
done < input

相关内容