如何让 Analog 仅解析一周的日志?

如何让 Analog 仅解析一周的日志?

在我的 Windows 服务器上,我使用 analog 来解析我的日志文件并对其进行分析。日志是每日的,并命名为 exYYMMDD.log 我如何在 analog cfg 文件中设置仅解析一周的日志?

答案1

我刚刚开始自己​​使用 analog 和 reportmagic..

我从文档中的操作指南中找到了这一点:

您还可以使用以下代码将日期包含在 LOGFILE 名称中。

%D 月份日期
%m 月份名称,英文
%M 月份数
%y 两位数年份
%Y 四位数年份
%H 小时
%n 分钟
%w 星期几,英文

例如,
LOGFILE access_log%Y%M.log

如果是 2001 年 9 月,则会查找日志文件 access_log200109.log。使用的日期实际上是 TO 日期(如果指定了),否则是程序启动的时间。例如,您可以使用以下命令查看上个月的所有日志文件

这应该能帮助你设置什么您希望解析的日志文件。此外,还有此相应条目,其中详细说明了“TO”和“FROM”日期:

还有另外一对命令属于此类别,即 FROM > 和 TO 命令。它们指定将分析限制在的时间段内。这些命令最简单的用法是 FROM yyMMdd 或 FROM yyMMdd:hhmm,其中 yy 代表年份的最后两位数字(analog 假设年份在 1970 年至 2069 年之间),MM 代表月份,dd 是日期,hh 是小时,mm 是分钟。因此,例如,要仅分析从 1999 年 7 月 1 日到 2000 年 6 月 15 日下午 1 点的请求,我将使用配置

从 990701
到 000615:1300

或者,每个组件前面都可以加上 + 或 - 来表示相对于程序调用时间的时间。在这种情况下,日期可以有 2 位以上的数字。这允许构造如下

FROM -01-00+01 # 从去年明天
到 -00-0131 # 到上个月底 (即使上个月没有 31 天也可以)
FROM -00-00-112
TO -00-00-01 # 过去 16 周的统计数据
FROM -00-00-00:-06+01 # 过去 6 小时的统计数据

FROM 和 TO 命令有命令行缩写 +F 和 +T;例如,+T-00-00-01:1800 查看截至昨天下午 6 点的统计数据。-F 和 -T 关闭 from 和 to,FROM OFF 和 TO OFF 也是如此。

有了这些,您很可能就能得到所需的信息。我大胆猜测,您的答案就在“FROM”和“TO”.cfg 条目中。

作为另一种选择,您可以跳过上述步骤,只需编写一个批处理脚本,将前一周的日志文件从默认的“\LogFiles\W3SVC1”位置移动/存档或删除,例如“D:\IIS-Logfiles-Archive”,然后然后运行当天的模拟分析仪。以下伪代码可能有助于您入门并朝着正确的方向前进:

(再次声明,这是伪代码。粗糙、丑陋,穿起来像湿羊毛衫。可能不需要删除该目录,但我从我使用的另一个脚本中抄袭了,好吗?:)

net stop all_your_webservices_here
cd C:\WINDOWS\system32\LogFiles\W3SVC1
del /f /q
cd c:\
rd /s /q C:\WINDOWS\system32\LogFiles\W3SVC1
mkdir C:\WINDOWS\system32\LogFiles\W3SVC1
net start all_your_webservices_here
"C:\Program Files\analog 6.0\analog.exe" && rmagic

抱歉,最后一点是如果您也安装并运行了 reportmagic。如果没有,我强烈推荐它。使模拟变得漂亮,给管理层留下深刻印象。嗯,嗯,不错。像汤之类的。:)

话虽如此,我猜你想将分析限制在一周内,因为 analog 解析日志需要很长时间。(这是一个完全随机的猜测,并且带有我的观点,因为我在最初设置时看到了类似的东西 :)

请注意,一旦解析一组日志文件(例如几天或一周的日志文件),可能需要一段时间,但是重新运行模拟来检查任何后续日志文件是极其快。总结一下;为 analog 创建一个计划任务,每天运行一次,虽然初始运行需要一些时间,但每次后续运行都会比第一次快得多。

嗨,伙计……

答案2

兄弟,我发帖后才想到这个。也许这会有所帮助,因为大多数链接都是“以下是如何鲍勃做了他的配置,下面是方法杰瑞在这里做了他的事,这很好,等等。”不再有效。

希望它能为您提供更多帮助,这是我的 analog.cfg 文件:

“#” 以下内容是生产环境,并成为测试。
“#”
“#” LOGFILE C:\WINDOWS\system32\LogFiles\W3SVC1\ex%y%M%D.*
“#”
“#” 它起作用了,但每次只给我们一个日志文件。
“#”
“#” 以下是测试。
“#”
“#” LOGFILE C:\WINDOWS\system32\LogFiles\W3SVC1*.log
“#”
“#” 以上内容有效,因为我们想要
按顺序解析所有日志文件。暂时坚持这样做。
“#”

“#”
“#” 此行记录生成报告所需的时间。
“#”

RUNTIME ON

“#”
“#” 此行将日志文件重新设置为本地时间。
也花了一段时间才弄清楚。
"#"

LOGTIMEOFFSET -360
LOGFILE C:\WINDOWS\system32\LogFiles\W3SVC1*.log

"#"
"#" 此行告诉“analog”将其输出转储为“计算机可读”
"#" 格式,以供 reportmagic 使用。如果我们不使用此格式,我们将
“#” 告诉它以 html 格式输出,以供人类阅读,或以浏览器可读的
“#” 格式输出。
"#"

OUTPUT COMPUTER

"#"
"#" 此行专门告诉 analog 将其输出转储到何处。
"#"

OUTFILE D:\inetpub\wwwroot\stats\report.dat

"#"
"#" 这些行告诉 analog 图表的去向。
"#"

LOCALCHARTDIR "D:\inetpub\wwwroot\stats\charts\%Y.%M."
CHARTDIR "charts/%Y.%M."

“#”
“#” 这些行设置 html 中的漂亮文本
“#”

HOSTNAME“[我公司的内部网]”
HOSTURLhttp://我的公司内部网

“#”
“#” 这些行告诉 analog 如何解析其主机名。我们
需要对这些进行一些处理,因为“dnscache.txt”文件
“#”在运行时会继续增长,导致我们
“#”必须进行一些维护。我无法让它
直接从网络解析“#”,但我确信这是可能的
。“#”

DNS WRITE
DNSFILE dnscache.txt
DNSLOCKFILE dnslock.txt
DNSGOODHOURS 8

“#” “
#” 以下是一些预设的、预模块加载选项,我们需要在一开始就设置它们。
“#” 它们有点像上面的选项,但您可以将它们视为元标记或元变量。
“#”

REQLINKINCLUDE 页面
REFLINKINCLUDE *
REDIRREFLINKINCLUDE *
FAILREFLINKINCLUDE *
SUBBROW/
子类型.gz,.Z

“#” 添加您服务器上的这些类型的页面或其他页面。

PAGEINCLUDE *.shtml
PAGEINCLUDE *.html
PAGEINCLUDE *.asp
PAGEINCLUDE *.jsp
PAGEINCLUDE *.js
PAGEINCLUDE *.cfm PAGEINCLUDE
*.css
PAGEINCLUDE *.pl
PAGEINCLUDE *.php
PAGEINCLUDE *.swf

TYPEALIAS .html “.html [超文本标记语言]”
TYPEALIAS .htm “.htm [超文本标记语言]”
TYPEALIAS .shtml “.shtml [服务器解析的 HTML]”
TYPEALIAS .ps “.ps [PostScript]”
TYPEALIAS .gz “.gz [Gzip 压缩文件]”
TYPEALIAS .tar.gz “.tar.gz [压缩档案]”
TYPEALIAS .jpg “.jpg [JPEG 图形]”
TYPEALIAS .jpeg “.jpeg [JPEG 图形]”
TYPEALIAS .gif “.gif [GIF 图形]”
TYPEALIAS .png “.png [PNG 图形]”
TYPEALIAS .txt “.txt [纯文本]”
TYPEALIAS .cgi “.cgi [CGI 脚本]”
TYPEALIAS .pl “.pl [Perl 脚本]”
TYPEALIAS .css “.css [层叠样式表]”
TYPEALIAS .class “.class [Java 类文件]”
TYPEALIAS .pdf “.pdf [Adobe 可移植文档格式]”
TYPEALIAS .zip “.zip [Zip 档案]”
TYPEALIAS .hqx “.hqx [Macintosh BinHex 文件]”
TYPEALIAS .exe “.exe [可执行文件]”
TYPEALIAS .wav “.wav [WAV 声音文件]”
TYPEALIAS .avi “.avi [AVI 电影]”
TYPEALIAS .arc ".arc [压缩档案]"
TYPEALIAS .mid ".mid [MIDI 声音文件]"
TYPEALIAS .mp3 ".mp3 [MP3 声音文件]"
TYPEALIAS .doc ".doc [Microsoft Word 文档]"
TYPEALIAS .rtf ".rtf [富文本格式]"
TYPEALIAS .mov ".mov [Quick Time 电影]"
TYPEALIAS .mpg ".mpg [MPEG 电影]"
TYPEALIAS .mpeg ".mpeg [MPEG 电影]"
TYPEALIAS .asp ".asp [Active Server Pages]"
TYPEALIAS .jsp ".jsp [Java Server Pages]"
TYPEALIAS .cfm ".cfm [Cold Fusion]"
TYPEALIAS .php ".php [PHP]"
TYPEALIAS .js "。js [JavaScript 代码]”

“#” x=General
“#” 1=Yearly Q=Quarterly m=Monthly W=Weekly D=Daily d=DailySum
“#” H=Hourly h=HourlySum w=HoursOfWeek 4=15minly 6=15minlySum 5=5minly
“#” 7=5minlySum
“#” o=Domain Z=Organisat. S=Host s=RefSite f=ReferrerURL
“#” n=SearchWord N=SearchQuery B=Browser b=BrowserSum p=OS
“#” i=Dir. r=File t=FileType z=FileSize c=Status
“#” I=Failure L=FailHost K=FailRef E=Redir l=RedirHost k=RedirRef
“#” v=VHost R=RedirVHost M=FailVHost u=User j=RedirUser J=FailUser
“#” y=IntSearchWord Y=IntSearchQuery P=ProcTime

WEEKBEGINSON MONDAY
MARKCHAR +
REPSEPCHAR none
COMPSEP “”
RAWBYTES OFF
BYTESDP 2
NOROBOTS ON
SEARCHCHARCONVERT ON
BARSTYLE i
PNGIMAGES ON
HTMLPAGEWIDTH 65
ASCIIPAGEWIDTH 76
MINGRAPHWIDTH 15
ALLCHART ON
ALLGRAPH P "


#
"
...







CHART、SORTBY、FLOOR、SUB、ARGS、LINKINCLUDE - 如上所述 "#"
"#" 304ISSUCCESS - 304 Not Modified 表示用户看到了缓存副本:即成功! "#" "
#""#"""#"""#"""#"""#"""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#"

REPORTORDER x1QmWDdHwh4657oZSlLujJkKfsNnBbpvRMcPztiEIYyr

DOMAIN ON
DOMCHART ON
DOMCOLS PQ
DOMSORTBY PAGES
DOMFLOOR -500p
SUBDOMAIN
SUBDOMSORTBY PAGES
SUBDOMFLOOR 1.5%p

DIRECTORY ON
DIRCHART ON
DIRCOLS PQc
"#"
"#" 按照网络团队的
要求,排除所有“本地”和“图像”目录。
"#"
DIREXCLUDE */local
DIREXCLUDE/图像
“#”
DIRSORTBY PAGES7
SUBDIRSORTBY PAGES7
DIRFLOOR 0q
SUBDIRFLOOR 0q
SUBDIR /
////

FILETYPE ON
TYPECHART ON
TYPECOLS Rb
TYPESORTBY BY BYTES
SUBTYPE.gz,.Z

SIZE ON
SIZECHART ON
SIZECOLS ScR

ORGANISATION ON
ORGCHART ON
ORGCOLS Pb
ORGSORTBY PAGES
ORGFLOOR -500p
SUBORGSORTBY PAGES
SUBORG.com
SUBORGFLOOR 25.0%p

HOST ON
HOSTCHART ON
HOSTCOLS Pb
HOSTSORTBY PAGES
HOSTFLOOR -500p

BROWSERREP ON
BROWREPCHART ON
BROWREPCOLS Rb
BROWREPSORTBY REQUESTS
BROWREPFLOOR -400r

BROWSERSUM ON
BROWSUMCHART ON
BROWSUMCOLS PQq
BROWSUMSORTBY PAGES7
BROWSUMFLOOR -200q
SUBBROW///
SUBBROWSORTBY PAGES7
SUBBROWFLOOR -400q

STATUS ON
STATUSCHART ON
STATUSCOLS R
STATUSSORTBY ALPHABETICAL
STATUSFLOOR -200r
304ISSUCCESS ON

OSREP ON
OSCHART ON
OSCHARTEXPAND Windows
OSCOLS PQq
OSSORTBY PAGES7
OSFLOOR -200q
SUBOSSORTBY PAGES7
SUBOSFLOOR -500q

PROCTIME ON
PROCTIMECOLS R
PROCTIMECHART ON

USER ON
USERCOLS Rb
USERCHART ON
USERSORTBY REQUESTS
USERFLOOR -500r

REQUEST ON
REQCHART ON
REQCOLS RSc
REQSORTBY REQUESTS7
REQFLOOR 0.5%s
REQARGSSORTBY REQUESTS7
REQARGSFLOOR 0.5%s
REQEXCLUDE *
要求包括 *.html
要求包括 *.htm
要求包括 *.zip
要求包括 *.gz
要求包括 *.Z
要求包括.pdf
REQLINKEXCLUDE /cgi-bin/

REQLINKEXCLUDE /scripts/*
REQLINKINCLUDE *
REQLINKINCLUDE *.zip
REQLINKINCLUDE *.pdf

FAILURE ON
FAILCHART ON
FAILCOLS RS
FAILSORTBY REQUESTS7
FAILFLOOR -300s
FAILARGSSORTBY REQUESTS7
FAILARGSFLOOR 10s
FAILLINKEXCLUDE *

FAILHOST ON
FAILHOSTCHART ON
FAILHOSTCOLS RS
FAILHOSTSORTBY REQUESTS7
FAILHOSTFLOOR -500s

FAILUSER ON
FAILUSERCOLS R
FAILUSERCHART ON
FAILUSERSORTBY REQUESTS
FAILUSERFLOOR -400r

FAILREF ON
FAILREFCHART ON
FAILREFCOLS RS
FAILREFSORTBY REQUESTS7
FAILREFFLOOR -300s
FAILREFARGSSORTBY REQUESTS7
FAILREFARGSFLOOR 10 秒
FAILREFLINKINCLUDE *

REDIR ON
REDIRCHART ON
REDIRCOLS SR
REDIRSORTBY REQUESTS7
REDIRFLOOR -300秒
REDIRARGSSORTBY REQUESTS7
REDIRARGSFLOOR 500 秒

REDIRHOST ON
REDIRHOSTCHART ON
REDIRHOSTCOLS SR
REDIRHOSTSORTBY REQUESTS7
REDIRHOSTFLOOR -500 秒

REDIRREF ON
REDIRREFCHART ON
REDIRREFCOLS RS
REDIRREFSORTBY REQUESTS7
REDIRREFFLOOR -300 秒
REDIRREFARGSSORTBY REQUESTS7
REDIRREFARGSFLOOR 500 秒
REDIRREFLINKINCLUDE *

REFSITE ON
REFSITECHART ON
REFSITECOLS PQ
REFSITESORTBY PAGES7
REFSITEFLOOR -500q
REFDIRSORTBY PAGES7
REFDIRFLOOR 50.5%q

REFERRER ON
REFCHART ON
REFCOLS PQ
REFSORTBY PAGES7
REFLINKINCLUDE *
REFFLOOR -500q
REFARGSSORTBY PAGES7
REFARGSFLOOR 50.5%q

VHOST ON
VHOSTCHART ON
VHOSTCOLS Rb
VHOSTFLOOR -200b
VHOSTSORTBY BYTES

REDIRVHOST ON
REDIRVHOSTCHART ON
REDIRVHOSTCOLS R
REDIRVHOSTFLOOR -200r
REDIRVHOSTSORTBY REQUESTS

REDIRUSER ON
REDIRUSERCOLS R
REDIRUSERCHART ON
REDIRUSERSORTBY REQUESTS
REDIRUSERFLOOR -200r

SEARCHWORD ON
SEARCHWORDCHART ON
SEARCHWORDCOLS PQq
SEARCHWORDSORTBY PAGES7
SEARCHWORDFLOOR 1.5%q

SEARCHQUERY ON
SEARCHQUERYCHART ON
SEARCHQUERYCOLS Q
SEARCHQUERYSORTBY PAGES7
SEARCHQUERYFLOOR -500q

INTSEARCHQUERY 在
INTSEARCHQUERYCOLS R
INTSEARCHQUERYCHART 在
INTSEARCHQUERYFLOOR -300r
INTSEARCHQUERYSORTBY 请求

INTSEARCHWORD 在
INTSEARCHWORDCOLS R
INTSEARCHWORDCHART 在
INTSEARCHWORDFLOOR -400r
INTSEARCHWORDSORTBY 请求

再次希望这也能有所帮助,祝你好运,伙计!

答案3

对于日志文件的自定义解析,有一个很好的脚本发布在http://www.biterscripting.com/SS_WebLogParser.html。它是为 Web 服务器日志编写的,但您可以用它作为编写自己的任意类型日志日志解析器的起点。

帕特里克

相关内容