過濾日誌的工具

⑴ 如何快速過濾出一次請求的所有日誌

如何快速過濾出一次請求的所有日誌？
前言
在現網出現故障時，我們經常需要獲取一次請求流程里的所有日誌進行定位。如果請求只在一個線程里處理，則我們可以通過線程ID來過濾日誌，但如果請求包含非同步線程的處理，那麼光靠線程ID就顯得捉襟見肘了。
IoT平台，提供了接收設備上報數據的能力， 當數據到達平台後，平台會進行一些復雜的業務邏輯處理，如數據存儲，規則引擎，數據推送，命令下發等等。由於這個邏輯之間沒有強耦合的關系，所以通常是非同步處理。如何將一次數據上報請求中包含的所有業務日誌快速過濾出來，就是本文要介紹的。
正文
SLF4J日誌框架提供了一個MDC(Mapped Diagnostic Contexts)工具類，谷歌翻譯為映射的診斷上下文，從字面上很難理解，我們可以先實戰一把。
public class Main {
private static final String KEY = "requestId";
private static final Logger logger = LoggerFactory.getLogger(Main.class);

public static void main(String[] args) {
// 入口傳入請求ID
MDC.put(KEY, UUID.randomUUID().toString());

// 列印日誌
logger.debug("log in main thread 1");
logger.debug("log in main thread 2");
logger.debug("log in main thread 3");
// 出口移除請求ID
MDC.remove(KEY);
}
}
我們在main函數的入口調用MDC.put()方法傳入請求ID，在出口調用MDC.remove()方法移除請求ID。配置好log4j2.xml文件後，運行main函數，可以在控制台看到以下日誌輸出：
2018-02-17 13:19:52.606 {requestId=f97ea0fb-2a43-40f4-a3e8-711f776857d0} [main] DEBUG cn.wudashan.Main - log in main thread 1
2018-02-17 13:19:52.609 {requestId=f97ea0fb-2a43-40f4-a3e8-711f776857d0} [main] DEBUG cn.wudashan.Main - log in main thread 2
2018-02-17 13:19:52.609 {requestId=f97ea0fb-2a43-40f4-a3e8-711f776857d0} [main] DEBUG cn.wudashan.Main - log in main thread 3
從日誌中可以明顯地看到花括弧中包含了（映射的）請求ID(requestId)，這其實就是我們定位（診斷）問題的關鍵字（上下文）。有了MDC工具，只要在介面或切面植入put()和remove()代碼，在現網定位問題時，我們就可以通過grep requestId=xxx *.log快速的過濾出某次請求的所有日誌。
進階
然而，MDC工具真的有我們所想的這么方便嗎？回到我們開頭，一次請求可能涉及多線程非同步處理，那麼在多線程非同步的場景下，它是否還能正常運作呢？Talk is cheap, show me the code。
public class Main {
private static final String KEY = "requestId";
private static final Logger logger = LoggerFactory.getLogger(Main.class);
public static void main(String[] args) {
// 入口傳入請求ID
MDC.put(KEY, UUID.randomUUID().toString());
// 主線程列印日誌
logger.debug("log in main thread");
// 非同步線程列印日誌
new Thread(new Runnable() {
@Override
public void run() {
logger.debug("log in other thread");
}
}).start();
// 出口移除請求ID
MDC.remove(KEY);
}
}
代碼里我們新起了一個非同步線程，並在匿名對象Runnable的run()方法列印日誌。運行main函數，可以在控制台看到以下日誌輸出：
2018-02-17 14:05:43.487 {requestId=e6099c85-72be-4986-8a28-de6bb2e52b01} [main] DEBUG cn.wudashan.Main - log in main thread
2018-02-17 14:05:43.490 {} [Thread-1] DEBUG cn.wudashan.Main - log in other thread
不幸的是，請求ID在非同步線程里不列印了。這是怎麼回事呢？要解決這個問題，我們就得知道MDC的實現原理。由於篇幅有限，這里就暫不詳細介紹，MDC之所以在非同步線程中不生效是因為底層採用ThreadLocal作為數據結構，我們調用MDC.put()方法傳入的請求ID只在當前線程有效。感興趣的小夥伴可以自己深入一下代碼細節。
知道了原理那麼解決這個問題就輕而易舉了，我們可以使用裝飾器模式，新寫一個MDCRunnable類對Runnable介面進行一層裝飾。在創建MDCRunnable類時保存當前線程的MDC值，在執行run()方法時再將保存的MDC值拷貝到非同步線程中去。代碼實現如下：
public class MDCRunnable implements Runnable {
private final Runnable runnable;
private final Map<String, String> map;
public MDCRunnable(Runnable runnable) {
this.runnable = runnable;
// 保存當前線程的MDC值
this.map = MDC.getCopyOfContextMap();
}
@Override
public void run() {
// 傳入已保存的MDC值
for (Map.Entry<String, String> entry : map.entrySet()) {
MDC.put(entry.getKey(), entry.getValue());
}
// 裝飾器模式，執行run方法
runnable.run();
// 移除已保存的MDC值
for (Map.Entry<String, String> entry : map.entrySet()) {
MDC.remove(entry.getKey());
}
}

}
接著，我們需要對main函數里創建的Runnable實現類進行裝飾：
public class Main {
private static final String KEY = "requestId";
private static final Logger logger = LoggerFactory.getLogger(Main.class);
private static final ExecutorService EXECUTOR = Executors.newSingleThreadExecutor();
public static void main(String[] args) {
// 入口傳入請求ID
MDC.put(KEY, UUID.randomUUID().toString());
// 主線程列印日誌
logger.debug("log in main thread");
// 非同步線程列印日誌，用MDCRunnable裝飾Runnable
new Thread(new MDCRunnable(new Runnable() {
@Override
public void run() {
logger.debug("log in other thread");
}
})).start();
// 非同步線程池列印日誌，用MDCRunnable裝飾Runnable
EXECUTOR.execute(new MDCRunnable(new Runnable() {
@Override
public void run() {
logger.debug("log in other thread pool");
}
}));
EXECUTOR.shutdown();
// 出口移除請求ID
MDC.remove(KEY);
}
}
執行main函數，將會輸出以下日誌：
2018-03-04 23:44:05.343 {requestId=5ee2a117-e090-41d8-977b-cef5dea09d34} [main] DEBUG cn.wudashan.Main - log in main thread
2018-03-04 23:44:05.346 {requestId=5ee2a117-e090-41d8-977b-cef5dea09d34} [Thread-1] DEBUG cn.wudashan.Main - log in other thread
2018-03-04 23:44:05.347 {requestId=5ee2a117-e090-41d8-977b-cef5dea09d34} [pool-2-thread-1] DEBUG cn.wudashan.Main - log in other thread pool
Congratulations！經過我們的努力，最終在非同步線程和線程池中都有requestId列印了！
總結
本文講述了如何使用MDC工具來快速過濾一次請求的所有日誌，並通過裝飾器模式使得MDC工具在非同步線程里也能生效。有了MDC，再通過AOP技術對所有的切面植入requestId，就可以將整個系統的任意流程的日誌過濾出來。使用MDC工具，在開發自測階段，可以極大地節省定位問題的時間，提升開發效率；在運維維護階段，可以快速地收集相關日誌信息，加快分析速度。

⑵ android log viewer怎麼過濾日誌

SLF4J是一套簡單的日誌外觀模式的Java API，幫助在項目部署時對接各種日誌實現。 LogBack在運行時使用專JMX幫助修改日誌配屬置，在生產狀態下無需重啟應用程序。 SLF4J SLF4J是簡單的日誌外觀模式框架，抽象了各種日誌框架例如Logback、Log4j、Commo...

⑶ 怎麼使用工具對日誌記錄進行繞過

查看系統事件日誌的方法如下： 1、按快捷鍵win+Q打開應用界面，選擇控制面板，進入控制面板，點擊「系統和安全」。 2、點擊「查看事件日誌」。 3、進入事件查看器的第二種方法：在桌面「計算機」圖標上面點擊右鍵，選擇「管理」。 4、在計算機管理界面選...

⑷ 怎麼用eclipse還有logcat命令的過濾log信息

1. 只顯示需要的輸出，白名單
最方便的當然是通過管道使用 grep 過濾了，這樣可以使用 grep 強大的正則表達式匹配。簡單的匹配一行當中的某個字元串，例如 MyApp：
adb logcat | grep MyApp
adb logcat | grep -i myapp #忽略大小寫。
adb logcat | grep --color=auto -i myapp #設置匹配字元串顏色。更多設置請查看 grep 幫助。

進階一點可以使用 grep 的正則表達式匹配。例如上一個例子會匹配一行中任意位置的 MyApp，可以設置為僅匹配 tag。默認的 log 輸出如下，如果修改過輸出格式相應的表達式也要修改。
I/CacheService( 665): Preparing DiskCache for all thumbnails.

可以看出 tag 是一行開頭的第三個字元開始，根據這點寫出表達式：
adb logcat | grep "^..MyApp"

根據這個格式也可以設置只顯示某個優先順序的 log，再匹配行首第一個字元即可。例如僅顯示 Error 級別 tag 為 MyApp 的輸出：
adb logcat | grep "^E.MyApp"
當然也可以匹配多個，使用 | 分割多個匹配表達式，要加轉義符。例如要匹配 tag 為 MyApp 和 MyActivity 的輸出：
adb logcat | grep "^..MyApp\|^..MyActivity"
adb logcat | grep -E "^..MyApp|^..MyActivity" #使用 egrep 無須轉義符

2. 過濾不需要的輸出，黑名單
還是使用 grep，用法也跟上面的一樣，加一個 -v 即可。例如要過濾 tag 為 MyApp 和 MyActivity 的輸出：
adb logcat | grep -v "^..MyApp\|^..MyActivity"
adb logcat | grep -vE "^..MyApp|^..MyActivity" #使用 egrep 無須轉義符

3. 顯示同一個進程的所有輸出
有時一個程序裡面的 tag 有多個，需要輸出該程序（同一個 PID）的所有 tag；僅使用 tag 過濾有時也會漏掉一些錯誤信息，而一般錯誤信息也是和程序同一個 PID。還是通過 grep 實現，思路是先根據包名找到 pid 號，然後匹配 pid。寫成 shell 腳本如下，參數是程序的 java 包名（如 com.android.media）。
查看源代碼列印幫助\
#!/bin/bash

packageName=$1
pid=`adb shell ps | grep $packageName | awk '{print $2}'`

adb logcat | grep --color=auto $pid

4. 從當前開始顯示
logcat 有緩存，如果僅需要查看當前開始的 log，需要清空之前的。adb logcat -c && adb logcat

5. 過濾 log 文件
有時需要分析 log 文件，過濾 log 文件還是使用 grep。例如 log 文件為 myapp.log，要匹配 tag 為 MyApp 和 MyActivity 的輸出，然後輸出到 newmyapp.log：cat myapp.log | grep "^..MyApp\|^..MyActivity" > newmyapp.log
Windows 下推薦使用 Notepad++，一個免費強大的記事本，支持正則表達式查找替換。可以高亮顯示匹配內容，也可以刪除不需要的內容。
以上的技巧主要用到了 grep，其實 logcat 本身也有過濾功能，可以根據 tag、優先順序過濾 log，具體請參考 Android 官方文檔 Reading and Writing Logs。如果喜歡使用圖形界面，請參考 Using DDMS，DDMS 裡面的 logcat 也可以同樣過濾。

⑸ 查看網路日誌的工具（軟體）有哪些

有很多，logparser查看iis日誌

⑹ 如何過濾一些不需要的log logstash

/var/log/：系統的引導日誌:/var/log/boot.log核心啟動日誌:/var/log/dmesg系統報錯日誌:/var/log/messages郵件系統日誌:/var/log/maillogFTP系統日誌:/var/log/xferlog安全信息和系統登錄與網路連接的信息:/var/log/secure登錄記錄:/var/log/wtmp記錄登錄者訊錄，二進制文件，須用last來讀取內容who-u/var/log/wtmp查看信息News日誌:/var/log/spoolerRPM軟體包:/var/log/rpmpkgsXFree86日誌:/var/log/XFree86.0.log樓上的要查什麼的當然用tail更好

⑺ catlog日誌工具怎麼使用

首先討論一下為什麼使用Logcat而不使用Java中的System.out.println()方法來輸出日誌。
System.out.println()方法的優點就是使用很方便，只需要在Eclipse中輸入syso，接著按下代碼提示，這個方法就自動出來了。但是相比較Logcat,它的缺點也很明顯，比如列印時間無法確定、列印內容無法控制、不能添加過濾器、日誌級別沒有區分等等。

今天重點討論下log的級別區分，Android中的日誌工具類Logcat(android.util.Log)提供了5種方法（對應5種級別），當然如有需要也可以進行重載，這里暫時不談。先看這五種方法：
1.Log.v()
對應級別verbos，屬於Android日誌裡面級別最低的一種。從名字可以看出，這中方法用於列印哪些瑣碎的的、意義最小的日誌信息（顯然數量較多）。
2.Log.d()
對應級別debug，比verbose高一級。這種方法用於列印調試的相關信息，對調試程序和分析問題用很大幫助。
3.Log.i()
對應級別info，又比debug高一級。該方法用於列印一些比較重要的信息，這些信息有助於幫助分析用戶行為。
4.Log.w()
對應級別warn，比info高一級。這個方法用於列印一些警告信息，提示程序在某些部分可能存在潛在的風險，例如程序流會堵死之類。最好將這些部分修復一下。
5.Log.e()
對應級別error，是級別最高的日誌信息。這個方法用於列印程序中的錯誤信息，例如程序進入了catch語句當中（異常處理機制）。當出現E級別的日誌信息的時候表示程序出現了很嚴重的錯誤，需要盡快修復。

細想一下，Log和Logcat配合之下會有怎樣的效果，今天先說下給Logcat添加過濾器的方法。
正常剛打開Eclipse會有一個All message過濾器（其實就是沒過濾），他會把所有的五種日誌全部列印出來。另外當我們創建項目的時候，會產生一個com.xxx.xxx的過濾器，這是運行項目時自動創建的，點擊這個過濾器就能看到這個項目的日誌信息。這里我們嘗試添加一個自定義的過濾器。

當前我們選擇的級別是verbose，是前面講過的五種級別中最低的等級，也就是說無論我們用Log.v()、Log.d()、Log.i()、Log.w()、log.e()當中的哪一種方法，這條日誌都會被列印出來。以此類推，如果我們選擇的控制級別是debug的話，那麼使用Log.v是無法列印出這條語句的，只有用debug及以上的方法才可以。換個角度說，如果我們將當前的等級控制選擇在info、warn或者error，那麼上面的語句也不會列印出來，因為代碼中我們使用的列印方法是Log.d()。通過日誌控制可以很快的定位到我們需要的信息，有效地提高解決問題的效率，確實比System.out.println()好用多了。

⑻ 請教個問題：日誌文件的過濾器怎麼使用啊

過濾... 按鈕可選擇要包括在日誌中的特定類型的記錄。日誌有五個級別：嚴重警告 –最小的詳細版日誌記錄級別權，其中包含重要系統錯誤（如病毒防護未能啟動，個人防火牆不起作用等）錯誤 – 諸如「下載文件時出錯」之類的錯誤和嚴重錯誤警報 – 警告消息和錯誤信息性記錄 - 包括成功更新、警報和錯誤在內的信息性消息診斷記錄 - 最詳細的級別，包括程序微調需要的信息和上述所有記錄

⑼ Windows10事件查看器->Windows日誌->系統->篩選日誌，然後我想搜索一下開關機記錄。

如果你只是想查看一下，從昨天關機到今天開機之間有沒有人使用我的計算機， 那麼使用「查日誌」的方法就可以了。在「開始」菜單的運行」中輸入「eventvwr.msc」， 打開事件查看器，在左側窗口中選擇「系統」，從右側系統事件中查找事件ID為6005、6006的 事件（事件ID號為6005的事件表示事件日誌服務已啟動，即開機，同理事件ID：6006表示關機）， 它們對應的時間就分別是開機時間和關機時間。 如果你覺得從這么多事件中找開關機事件太費事，你可以使用「篩選」來使內容簡潔。 在事件查看器的「查看」菜單中選擇「篩選」選項，在屬性對話框中選擇「篩選器」選項卡， 並在其中勾選「信息」、「警告」、「錯誤」三項，在「事件來源」下拉列表中選擇「eventlog」， 單擊「確定」按鈕後，系統事件中的內容就少了很多，我們可以輕易找到最近的開關機時間。 如果你依舊覺得太費事，那在「開始」菜單中的「運行」中 輸入「C:\WINDOWS\schedlgu.txt」，在打開的schedlgu.txt文件中有「任務計劃程序服務」 已啟動於和「任務計劃程序服務」已退出於的時間，分別對應著開機和關機時間，是不是很方便呢？ 天天備案也不難 如果你想每一次開關機都能清楚地記錄在案，那可以用「腳本+批處理」的方法。不過你要親自動手了， 我們使用「腳本+批處理」的方式來實現。只需在開機、關機腳本上添加兩個記錄時間的批處理命令， 讓它們隨系統啟動或關閉記錄當時的時間到C:\aaa.txt文件中。 首先新建兩個文本文檔，分別用來記錄開機和關機信息，輸入以下的命令，然後另存為「.bat」文件 就可以了。其中開機批處理（start.bat）如下： @echo off (echo ***開機記錄*** echo.&echo %date% %time:~0,-3% %username% echo.&echo ************** )>>c:\aaa.txt 而關機批處理(shutdown.bat)命令只要把start.bat中的「***開機記錄***」改為「***關機記錄***」即 可，其餘不變。將上面的兩個批處理命令做好後，在「開始」菜單中的「運行」中輸入gpedit.msc， 打開組策略，依次找到「計算機配置→windows設置→腳本(啟動和關機)」，雙擊「啟動」， 在屬性對話框中單擊「添加」按鈕，並在「腳本名」一欄中填入「start.bat」的絕對路徑， 單擊「確定」按鈕。同理設置好關機腳本。這樣可以了，開關機做個實驗， 打開C:\aaa.txt文件，是不是記錄了你剛才的關機和開機時間呢？