![如何解析s3日志?](https://linux22.com/image/671646/%E5%A6%82%E4%BD%95%E8%A7%A3%E6%9E%90s3%E6%97%A5%E5%BF%97%EF%BC%9F.png)
我一直在尝试解析 AWS S3 日志文档,但我遇到了一些问题。具体来说,我不断遇到新的、罕见的日志行,这些行会破坏我的正则表达式。每次发生这种情况时,我都会修改正则表达式以解决这些行的问题,但我真的希望一劳永逸地解决这个问题。
挑战本质上在于,用户代理字段允许包含任意字符,显然包括引号(它们甚至没有转义!)。例如,我最近遇到了以下记录:
8b24a6e5b101a6376ebfd307854b8379da11acdc3efc2a2cbbf305b4a2af8de7 -----redacted-bucket-name----- [13/Nov/2015:18:43:39 +0000] 86.3.176.75 - 6AA66FF0D0ACB8BF REST.GET.OBJECT a.gif "GET /-----redacted-path----- HTTP/1.1" 200 - 26 26 18 17 "http://www.waldorfford.com/new/Ford/2015-Ford-Transit+Connect-7f06c8800a0a006400f609b1db0568a3.htm" "Mozilla/5.0 (Linux; Android 5.0.1; Alba 7" Tablet Build/LRX22C) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Safari/537.36" -
我的解析器在被这个 gem 卡住之前,已经成功解析了超过 430 万行日志。
过去,解析器也曾阻塞过这条记录,然后才将<referrer>
正则表达式的这部分内容更改为非贪婪的:
8b24a6e5b101a6376ebfd307854b8379da11acdc3efc2a2cbbf305b4a2af8de7 -----redacted-bucket-name----- [26/Sep/2015:12:59:27 +0000] 67.248.97.42 - C5EBC1D929EBBD53 REST.GET.OBJECT a.gif "GET /-----redacted-path----- HTTP/1.1" 200 - 26 26 46 46 "http://www.fiatusaofalbany.com/new-inventory/?year=&make=FIAT&SBmake=FIAT&pid=119682883&adid=292527846&spid=0&sid=905577&channel=display&buytype=",$B$1,"&TR=",$B$2,"&cid=0" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko" -
我的解析器正则表达式(Python):
log_regex = re.compile(
r'^'
r'(?P<owner>\S+) '
r'(?P<bucket>\S+) '
r'\[(?P<timestamp>[^\]]+)\] '
r'(?P<ip_address>\S+) '
r'(?P<requester>\S+) '
r'(?P<request_id>\S+) '
r'(?P<operation>\S+) '
r'(?P<key>\S+) '
r'("(?P<request_uri>[^"]+)"|-) '
r'(?P<status>\S+) '
r'(?P<error_code>\S+) '
r'(?P<response_bytes>\S+) '
r'(?P<object_size>\S+) '
r'(?P<request_ms>\S+) '
r'(?P<processing_ms>\S+) '
r'("(?P<referrer>.+?)" |- )'
r'("(?P<user_agent>[^"]+)"|-) '
r'(?P<version_id>\S+)'
r'$'
)
我是不是用错了方法?有没有办法改进我的正则表达式?这真是令人沮丧。
答案1
现在我已经解决这个问题了。
log_regex = re.compile(
r'^'
r'(?P<owner>\S+) '
r'(?P<bucket>\S+) '
r'\[(?P<timestamp>[^\]]+)\] '
r'(?P<ip_address>\S+) '
r'(?P<requester>\S+) '
r'(?P<request_id>\S+) '
r'(?P<operation>\S+) '
r'(?P<key>\S+) '
r'("(?P<request_uri>[^"]+)"|-) '
r'(?P<status>\S+) '
r'(?P<error_code>\S+) '
r'(?P<response_bytes>\S+) '
r'(?P<object_size>\S+) '
r'(?P<request_ms>\S+) '
r'(?P<processing_ms>\S+) '
r'("(?P<referrer>.+?)"|-) '
r'("(?P<user_agent>.+?)"|-) '
r'(?P<version_id>\S+)'
r'$'
)