ELK是一套常用于日志收集和分析的技術棧,它包括Elasticsearch、Logstash、Kibana三個組件。其中,Logstash作為日志收集工具,可以從各種數據源(如日志文件、消息隊列等)中收集數據,對數據進行分析、過濾、轉換等操作,最終輸出到Elasticsearch中。
# 配置Logstash收集JSON日志
# 輸入數據源:從標準輸入讀取JSON格式日志
input {
stdin {
codec =>json
}
}
# 過濾器:對日志進行解析、過濾等操作
filter {
# 解析JSON日志
json {
source =>"message"
}
# 篩選出關鍵字包含“error”的日志
if "error" in [message] {
drop {}
}
}
# 輸出:將處理后的日志存儲到Elasticsearch中
output {
elasticsearch {
hosts =>["localhost:9200"]
index =>"my_json_logs"
}
stdout {
codec =>rubydebug
}
}
上述Logstash配置文件中,我們定義了一個從標準輸入讀取JSON日志的數據源,并對日志進行了解析、過濾等操作,最終將處理后的日志存儲到本地Elasticsearch中。此外,通過配置stdout輸出插件,我們可以將處理后的日志在控制臺上進行打印,方便調試。
上一篇python 極簡講義
下一篇vue單頁面url