Ⅰ 為什麼說rabbitmq 比kafka可靠
Kafka和RabbitMq一樣是通用意圖消息代理，他們都是以分布式部署為目的。但是他們對消息語義模型的定義的假設是非常不同的。我對"AMQP 更成熟"這個論點是持懷疑態度的。讓我們用事實說話來看看用什麼解決方案來解決你的問題。
a) 以下場景你比較適合使用Kafka。你有大量的事件(10萬以上/秒)、你需要以分區的，順序的，至少傳遞成功一次到混雜了在線和打包消費的消費者、你希望能重讀消息、你能接受目前是有限的節點級別高可用或則說你並不介意通過論壇/IRC工具得到還在幼兒階段的軟體的支持。
b) 以下場景你比較適合使用RabbitMQ。你有較少的事件（2萬以上/秒）並且需要通過復雜的路由邏輯去找到消費者、你希望消息傳遞是可靠的、你並不關心消息傳遞的順序、你需要現在就支持集群-節點級別的高可用或則說你需要7*24小時的付費支持（當然也可以通過論壇/IRC工具）。
Ⅱ springcloud stream kafka 最多可監聽多少個消費通道
情況是這樣的，在我們系統中有多個Consumer的客戶端（客戶端個數是不確定的，因為在系統工作過程中有的業務節點會脫離，有些業務節點會增加進來），Procer也有多個。但是Procer發送的消息種類只有一種，所以topic只創建了一個， 消息量很大，所以使用了多個Consumer來處理。現在想實現如下的訂閱/推送效果，多個Procer進行消息的推送，例如消息X1、X2、X3、X4、X5.。。。。。。然後由多個Consumer分別進行拉去，Consumer1拉取到：X1、X4、X7。。。Consumer2拉取到：X2、X5、X8.。。。。。。。。如此類推
Ⅲ elk如何做到端到端100%完全傳輸日誌在kibana看到的日誌數量和後台看的少了幾十萬，是什麼原因啊
2.1 日誌的採集靈活性是我們選擇日誌採集方案更看重的因素，所以logstash屬於首先方案， 它可以兼顧多種不同系統和應用類型等因素的差異，從源頭上進行一些初步的日誌預處理。 logstash唯一的小缺憾是它的不輕便， 因為它是使用jruby開發並跑在java虛擬機上的agent， 當然啦，同時也是優點，即各種平台上都可以用。 2.2 日誌的匯總與過濾 kafka在我們挖財已經屬於核心的中間件服務， 所以， 日誌的匯總自然而然會傾向於使用kafka。日誌的過濾和處理因為需求的多樣性，可以直接對接訂閱kafka， 然後根據各自的需求進行日誌的定製處理， 比如過濾和監控應用日誌的異常，即使通過zabbix進行預警； 或者數據倉庫方面在原始日誌的基礎上進行清洗和轉換，然後載入到新的數據源中； 2.3 日誌的存儲原始的日誌存儲我們採用ElasticSearch， 即ELK技術棧中E的原本用途，遵循ELK技術棧中各個方案之間的通用規范， 比如日誌如索引採用logstash與kibana之間約定的index pattern。日誌的衍生數據則日誌使用各方根據需求自行選擇。 2.4 日誌的分析與查詢 ELK技術棧中的Kibana已經可以很好的滿足這一需求，這里我們不折騰。 3 需要解決哪些技術問題？因為我們在ELK技術棧的處理鏈路上插入了一些擴展點，所以，有些問題需要解決和澄清... 3.1 logstash與kafka的對接 ELK技術棧中， Logstash和Elastic Search是通過logstash的elasticsearch或者elasticsearch_http這幾個output直接對接的， 為了讓logstash轉而對接kafka，我們有幾種選擇： logstash-kafka logstash-output-kafka logstash的httpoutput 第一種和第二種方案都需要編譯打包相應的依賴到logstash，然後隨同logstash一起部署到服務結點， 雖然可以work， 但依賴重， 資源消耗多， 通用性不強；個人更傾向於第三種方案，即使用logstash默認提供的http這個output， 因為http比較通用， 而且本身我們的kafka前面就有為了多系統對接而提供的http proxy方案部署。另外，依賴的管理和升級都在服務端維護，對每個服務結點是透明的。 當然， 唯一的弱點是效率可能不如基於長連接的消息傳遞高，只是暫時不是問題，即使將來成為瓶頸，也可以通過sharding的形式進行擴展。 3.2 kafka到elastic search的數據鏈路對接 kafka和es之間我們要加入一套日誌過濾與處理系統， 這套系統是我們發揮整個體系最大威力的地方。 在整個系統的處理pipeline中，我們可以根據需求添加任意需要的Filter/Processor, 比如服務於應用報警的Filter/Processor，服務於數據倉庫ETL的Filter/Processor等等。 但不管前面做了多少事情， 日誌最終是要接入到ES進行存儲的。因為ELK技術棧中三者的對接遵循一些規范或者說規則， 而我們又需要繼續復用這個技術棧中的服務提供的特定功能， 所以，即使是我們在整個處理鏈路中插入了擴展點，但數據的存儲依然需要遵循ELK原來的規范和規則， 以便Kibana可以從ES中撈日誌出來分析和展示的時候不需要任何改動。 logstash存入ES的日誌，一般遵循如下的index pattern： logstash-%{+YYYY.MM.dd} 使用日期進行索引（index）界定的好處是， 可以按照日期范圍定期進行清理。 NOTE 進一步深入說明一下， 針對不同的日誌類別， index pattern也最好分類對應。更多信息: Each log line from the input file is associated with a logstash event. Each logstash event has fields associated with it. By default, "message", "@timestamp", "@version", "host", "path" are created. The "message" field, referenced in the conditional statement, contains all the original text of the log line. 日誌處理系統可以使用ES的java客戶端或者直接通過ES的HTTP服務進行採集到的日誌索引操作。
,
Ⅳ spark讀取kafka數據，之後進行過濾，過濾後計算有多少條數據怎麼寫
spark讀取kafka數據，之後進行過濾，過濾後計算有多少條數據怎麼寫
前面應該還有個數據生產者，比如flume. flume負責生產數據，發送至kafka。 spark streaming作為消費者，實時的從kafka中獲取數據進行計算。 計算結果保存至redis，供實時推薦使用。 flume+kafka+spark+redis是實時數據收集與計算的一套經典架構
Ⅳ rabbitmq與kafka到底用哪個好
Kafka和RabbitMq一樣是通用意圖消息代理，他們都是以分布式部署為目的。但是他們對消息語義模型的定義的假設是非常不同的。我對"AMQP 更成熟"這個論點是持懷疑態度的。讓我們用事實說話來看看用什麼解決方案來解決你的問題。
a) 以下場景你比較適合使用Kafka。你有大量的事件(10萬以上/秒)、你需要以分區的，順序的，至少傳遞成功一次到混雜了在線和打包消費的消費者、你希望能重讀消息、你能接受目前是有限的節點級別高可用或則說你並不介意通過論壇/IRC工具得到還在幼兒階段的軟體的支持。
b) 以下場景你比較適合使用RabbitMQ。你有較少的事件（2萬以上/秒）並且需要通過復雜的路由邏輯去找到消費者、你希望消息傳遞是可靠的、你並不關心消息傳遞的順序、你需要現在就支持集群-節點級別的高可用或則說你需要7*24小時的付費支持（當然也可以通過論壇/IRC工具）。
Ⅵ 變形記中的主要故事情節
卡夫卡與《變形記》
作者：未知
我用了兩個晚上完整的看完了卡夫卡所寫的《變形記》，我怕再晚點看完真的會瘋掉的。故事寫的有點太過分了。開始還不怎麼覺得，只是在看完一半的故事後，一覺醒來真的感到空前的恐怖。不行，得馬上看完。但白天卻無法專心的看下去了。只好在下一個晚上再與卡夫卡和薩姆沙相會了。這下好了。終於看完了，心裡的石頭才稍稍落地。
「一天早晨，格里高爾。薩姆沙從不安的睡夢中醒來，發現自己躺在床上變成了一隻巨大的甲蟲。」（選自北京燕山出版社中篇小說集《變形記》中第86頁）這便是故事的開篇，我本以為是科幻小說，誰知道不是。卡夫卡用一種介呼於身臨其境的獨白，平靜的表敘著這個極盡荒誕的故事。但在他的筆下，不會有荒誕，有的只是真實，讓人感覺恐慌的真實。一種新的寫法的誕生，讓後世不少人為之驚詫，「原來文學也可以這么寫！」。又一位大師就這樣橫空出世了。記得美國作家奧登說過：就作家與其處的時代的關系而論，當代能與但丁、莎士比亞和歌德相提並論的第一人是卡夫卡。
有人曾經說過，真正接近完美的文章是作者的自己所寫的自身的傳記和內心的獨白。因為真實才能感動。如盧梭的《懺悔錄》和歌德的《少年維特之煩惱》都應該算是上面的兩類。這樣的文字的真情實感，完全將作者一顆滾燙熱情的心躍然於紙上。無情的對自己的剖析，赤裸的不計後果的灑揮。讀這樣的文章，如同跳脫浩瀚的喧囂浮世與神靈的代表在用心語溝通。
卡夫卡應該也在其中。據說要不是他的好友布洛德將他的手稿勸誘收藏，可能整個世界都會與之擦肩而過。他一直固執的認為寫作是自己的發泄，是「我的人生弱點的見證材料」（選自《卡夫卡談話錄》）。事實也的確如此。正是由於卡夫卡對現實的真實細膩的體會，加之孤獨感和恐懼感的燃燒，使得文字有如此的象徵力。
「格里高爾的眼睛接著又朝窗口望去，天空很陰暗——可以聽到雨打點打在窗檻上的聲音——他的心情也變的很憂郁了。」
「這時候天更亮了，可以清清楚楚地看到街對面一幢長得沒有盡頭的深灰色的建築——這是一所醫院——上面惹眼地開著一排排呆板的窗子；雨還在下，不過已成為一滴滴看得清的大顆粒了。」（以上均節選自《變形記》）。
上面的兩段都是對窗外景物的描寫，卡夫卡在輕易之間便把氣氛渲染的如此濃重。為主旋律的敘述又增加的完整的節拍。彷彿各個方面的特徵都是為了主題的烘托，而主題又毫無痕跡的呈現出各個方面的特徵。這種完美統一的連貫，使得文章讓人覺得如此的酣暢淋漓，故事好象就在自己的身邊發生，讓人慾罷不能。
在記錄卡夫卡言行的《卡夫卡談話錄》中，作者雅諾施曾經和卡夫卡探討過這樣一個關於《變形記》問題。雅諾施問：小說（指《變形記》）的主人公叫薩姆沙，這聽起來像隱喻卡夫卡，兩個名字都有五個字母薩姆沙中的S的位置與卡夫卡中的K的位置相同，字母A的位置也一樣（註：薩姆沙德文Samsa，卡夫卡德文為Kafka）。
而卡夫卡卻申解道：並不是暗記。薩姆沙不完全是卡夫卡。《變形記》不只是自白，雖然它在一定程度上是一種披露。
事實真的像卡夫卡所說么？我大膽的認為不完全是，這很可能是卡夫卡對自己的現狀的控訴和吶喊。對於一個把文學當做研究生活、思考人生的表白手段的人，文字必然會從他的心底發出。要了解這些我們應當能了解《變形記》是在什麼環境下完成的。卡夫卡生在猶太人的家庭，在卡夫卡下面還有三個妹妹。本來是對文學和藝術很是熱忠的他，卻不得不依照父親的想法去學習法律。很多時候父母的教育給卡夫卡帶來很大的心理壓力，使得卡夫卡覺得「虛弱、缺乏自信心、負罪感」（選自《卡夫卡日記》）。父母的觀點有很多都與卡夫卡是相背。《變形記》是在1912年十一月到十二月之間寫成的，當時的卡夫卡已經29歲了。他父母的觀點很像中國式的「中庸之道」，希望卡夫卡「結婚、建立一個家庭，接受來到世上的所有孩子，在這個不保險的世界上撫養他們，甚至帶領他們走一陣，夫妻雙方互相忠誠、互相幫助、生兒育女恰如其分……」（選自《卡夫卡日記》）。但這對於卡夫卡來說，太難了。也許每個優秀的作家的個性都有違反常規的某個方面，卡夫卡認為像上面那樣的生活是不可思議的。一方面父母希望卡夫卡早日成家，而另一方面卻限制他的交友（限制卡夫卡結交一些文學上的朋友，從《卡夫卡日記》中可以看到）。為了讓卡夫卡早日成家，父母又多方讓女人與之接觸。卡夫卡為了個緩解這種緊張壓力，在這些女人中隨便挑選了一個叫菲莉斯的。他喜歡菲莉斯么？我想應該是不喜歡的。這從他三次訂婚後又三次解除婚約應該能看出來（這是我的推測）。在家裡的落寞與積壓，和父母的爭執，使得卡夫卡變的如此的孤立（當然這都是卡夫卡自己的心理認知），他（卡夫卡）在日記中這樣寫道：現在，我在自己家裡，在那些最親近的，最充滿愛撫的人們中間，比一個陌生人還要陌生。難道《變形記》不是卡夫卡在家中的真實的處境么？是一種卡夫卡發變形，心靈的變形。但這種變形何嘗不是在我們每個人的身上呢。
正如上面所說的，《變形記》很像是卡夫卡對自己現實的傳記和內心的獨白。是披露的傳記，還是完完全全的內心的獨白，真的已經不是太重要了，重要的是他能帶給我們一種全新的視覺思維感受。在近乎極至的想像與天馬行空的真實。
「可是格里高爾才說頭幾個字，秘書主任就已經在踉蹌倒退，只是張著嘴唇，側過顫抖的肩膀直勾勾地瞪著他。格里高爾說話時，他片刻也沒有站定，卻偷偷地向門口踅去，眼睛始終盯緊了格里高爾，只是每次只移動一寸，彷彿存在某項不準離開房間的禁令一般，好不容易退入了前廳，他最後一步跨出起坐室時動作好猛，真像是他的腳跟剛給火燒著了。他一到前廳就伸出右手向樓梯跑去，好似那邊有什麼神秘的救星在等他。」
「他特別喜歡倒掛在天花板上，這比躺在地板上強多了，呼吸起來也輕松多了，而且身體也可以輕輕地晃來晃去；倒懸的滋味使他樂爾忘形，他忘乎所以地鬆了腿，直挺挺地掉在地板上。」
「他被自我譴責和憂慮折磨著，就在牆壁、傢具和天花板上到處亂爬起來，最後，在絕望中，他覺得整個房間竟在他四周旋轉，就掉了下來，跌落在大桌子子的正中央。」
「顯然，最近他太熱衷於爬天花板這一新的消遣，對家裡別的房間里的情形就不像以前那樣感興趣了。他真的應該預想到某中新的變化才行。」（以上均節選自《變形記》）
第一段是格里高爾變成甲蟲後，用盡全力打開門。他的身體（格里高爾甲蟲的身體）第一次呈現在秘書面前，秘書的反應情況。這就卡夫卡的機智，他沒有寫一個情態動詞，如恐怖、驚慌、害怕、緊張等等。他只是通過近似於電影拍攝的手法，抓拍了秘書的每個細節，比如眼神、動作，加之幾個恰當的比喻。卻將這極盡精彩的、另人窒息的場景完美的再現。如同陳年的美酒，要通過自己的品嘗才有味道。
後面的三段，都是寫格里高爾在適應爬行（甲蟲的爬行）這種行動方式。三段描寫各有特色，加上恰當的心理描寫，將一個由人變化的甲蟲爬行經歷，由不會到會的喜悅，逐步的完整。還是描寫，朴實的描寫。在寫格里高爾爬行時，他（卡夫卡）並沒有攜帶自己的感性色彩，只是描寫。彷彿在平靜的描寫一個人行走的過程，只是這個人現在變成了一個甲蟲。
卡夫卡就是這樣，在開始的不可思議後，卻極近的細膩、平實。他的極端使人亢奮，如同一把鋒利的寶劍，一步步的刺進人的胸膛，並且在胸膛中安靜的攪拌著。虛幻和現實之間彷彿已經不存在什麼隔閡，只要一伸腳，就可以由天堂直接跳到地獄，不需要任何過度。正如余華所說：偉大的作家的內心沒有任何邊界，或者說沒有生死之間之隔，也沒有美醜和善惡之分，一切事物都以平等的方式相處。
真正的寫者是用心來觀看世界的，並用心來消化世界的，還要用心來表達世界。什麼是作家？社會上沒有專門培養作家的機構。作家的本質只是世界恰好將其置身於觀察者的角色，使得不自覺的開始記錄起身邊的一切。但這種記錄不是平白的，而是經過的過濾、洗滌的，將善、惡、生、死或一切的一切按照人的標准再次培養、再次刷新。在這之中，卡夫卡應該算是高手中的高手。就其《變行記》而言，就不太可能一次將其讀完，更別奢望要讀懂了。
有人說卡夫卡的文章不只有一個結尾，也許是沒有結尾。
最後引用卡夫卡的一句話：——「在巴爾扎克的手杖柄上寫著：我在粉碎一切障礙。
在我的手杖柄上寫著：一切障礙都在粉碎我。」
（我前些日子遇到一位油畫家，他對我說：畫家最大的悲哀就是拿著自己的畫給別人講，講畫的內容、畫的慾念、畫的意境。有些東西是要自己有心靈過濾的。由此我想到我寫的上面的文章。也許這只是我心中的卡夫卡的《變形記》，或者說也許這只是我的一相情願。還是自己用手和腦再一次翻開《變形記》吧。可能還有沒有讀到的地方。）
參考資料：http://www.nbun.com/readbook.aspx?id=239013&sid=297
http://www.yifan.net/yihe/novels/bianxingji/bianxingji1.html
(在線看的地址)
Ⅶ kafkastream flatmap 和map的區別
Stream是元素的集合，這點讓Stream看起來用些類似Iterator；
可以支持順序和並行的對原Stream進行匯聚的操作；
大家可以把Stream當成一個高級版本的Iterator。原始版本的Iterator，用戶只能一個一個的遍歷元素並對其執行某些操作；高級版本的Stream，用戶只要給出需要對其包含的元素執行什麼操作，比如「過濾掉長度大於10的字元串」、「獲取每個字元串的首字母」等，具體這些操作如何應用到每個元素上，就給Stream就好了！（這個秘籍，一般人我不告訴他：））大家看完這些可能對Stream還沒有一個直觀的認識，莫急，咱們來段代碼。
//Lists是Guava中的一個工具類
List<Integer> nums = Lists.newArrayList(1,null,3,4,null,6);
nums.stream().filter(num -> num != null).count();
上面這段代碼是獲取一個List中，元素不為null的個數。這段代碼雖然很簡短，但是卻是一個很好的入門級別的例子來體現如何使用Stream，正所謂「麻雀雖小五臟俱全」。我們現在開始深入解刨這個例子，完成以後你可能可以基本掌握Stream的用法！
Ⅷ rabbitmq和kafka的區別
RabbitMQ,遵循AMQP協議，由內在高並發的erlang語言開發，用在實時的對可靠性要求比較高的消息傳遞上。
kafka是Linkedin於2010年12月份開源的消息發布訂閱系統,它主要用於處理活躍的流式數據,大數據量的數據處理上。
1)在架構模型方面，
RabbitMQ遵循AMQP協議，RabbitMQ的broker由Exchange,Binding,queue組成，其中exchange和binding組成了消息的路由鍵；客戶端Procer通過連接channel和server進行通信，Consumer從queue獲取消息進行消費（長連接，queue有消息會推送到consumer端，consumer循環從輸入流讀取數據）。rabbitMQ以broker為中心；有消息的確認機制。
kafka遵從一般的MQ結構，procer，broker，consumer，以consumer為中心，消息的消費信息保存的客戶端consumer上，consumer根據消費的點，從broker上批量pull數據；無消息確認機制。
2)在吞吐量，
kafka具有高的吞吐量，內部採用消息的批量處理，zero-機制，數據的存儲和獲取是本地磁碟順序批量操作，具有O(1)的復雜度，消息處理的效率很高。
rabbitMQ在吞吐量方面稍遜於kafka，他們的出發點不一樣，rabbitMQ支持對消息的可靠的傳遞，支持事務，不支持批量的操作；基於存儲的可靠性的要求存儲可以採用內存或者硬碟。
3)在可用性方面，
rabbitMQ支持miror的queue，主queue失效，miror queue接管。
kafka的broker支持主備模式。
4)在集群負載均衡方面，
kafka採用zookeeper對集群中的broker、consumer進行管理，可以注冊topic到zookeeper上；通過zookeeper的協調機制，procer保存對應topic的broker信息，可以隨機或者輪詢發送到broker上；並且procer可以基於語義指定分片，消息發送到broker的某分片上。
rabbitMQ的負載均衡需要單獨的loadbalancer進行支持。
所以關於這兩個選擇，我們還是了解了這4個大致的區別。關於高吞吐，以及我們隊日誌的特定場景分析，任然選擇了，kafka。當然設計理念不一樣，rabbitMQ用於可靠的消息傳遞，智齒事物，不支持批量的操作，可用性差不多，只是實現不一樣。在集群方面，kafka勝一籌，通過topic注冊zookeeper，調用機制，實現語義指定分片，然而rabbitMQ的負載需要單獨loadbalancer支持
————————————————
版權聲明：本文為CSDN博主「大壯vip」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/qq_33792843/article/details/75727911
Ⅸ 怎麼對kafka中消費者拉取的數據進行過濾篩選
在消費端,對特定主題數據進行分組獲取,然後在獲取過程中對符合業務條件的數據進行處理,否則跳過,但還是會告訴kafka我已經消費過了。 示例代碼: 生產端: public...
Ⅹ 有熟悉elk 日誌系統的嗎
2.1 日誌的採集
靈活性是我們選擇日誌採集方案更看重的因素，所以logstash屬於首先方案， 它可以兼顧多種不同系統和應用類型等因素的差異，從源頭上進行一些初步的日誌預處理。
logstash唯一的小缺憾是它的不輕便， 因為它是使用jruby開發並跑在java虛擬機上的agent， 當然啦，同時也是優點，即各種平台上都可以用。
2.2 日誌的匯總與過濾
kafka在我們挖財已經屬於核心的中間件服務， 所以， 日誌的匯總自然而然會傾向於使用kafka。
日誌的過濾和處理因為需求的多樣性，可以直接對接訂閱kafka， 然後根據各自的需求進行日誌的定製處理， 比如過濾和監控應用日誌的異常，即使通過zabbix進行預警； 或者數據倉庫方面在原始日誌的基礎上進行清洗和轉換，然後載入到新的數據源中；
2.3 日誌的存儲
原始的日誌存儲我們採用ElasticSearch， 即ELK技術棧中E的原本用途，遵循ELK技術棧中各個方案之間的通用規范， 比如日誌如索引採用logstash與kibana之間約定的index pattern。
日誌的衍生數據則日誌使用各方根據需求自行選擇。
2.4 日誌的分析與查詢
ELK技術棧中的Kibana已經可以很好的滿足這一需求，這里我們不折騰。
3 需要解決哪些技術問題？
因為我們在ELK技術棧的處理鏈路上插入了一些擴展點，所以，有些問題需要解決和澄清...
3.1 logstash與kafka的對接
ELK技術棧中， Logstash和Elastic Search是通過logstash的elasticsearch或者elasticsearch_http這幾個output直接對接的， 為了讓logstash轉而對接kafka，我們有幾種選擇：
logstash-kafka
logstash-output-kafka
logstash的httpoutput
第一種和第二種方案都需要編譯打包相應的依賴到logstash，然後隨同logstash一起部署到服務結點， 雖然可以work， 但依賴重， 資源消耗多， 通用性不強；
個人更傾向於第三種方案，即使用logstash默認提供的http這個output， 因為http比較通用， 而且本身我們的kafka前面就有為了多系統對接而提供的http proxy方案部署。另外，依賴的管理和升級都在服務端維護，對每個服務結點是透明的。 當然， 唯一的弱點是效率可能不如基於長連接的消息傳遞高，只是暫時不是問題，即使將來成為瓶頸，也可以通過sharding的形式進行擴展。
3.2 kafka到elastic search的數據鏈路對接
kafka和es之間我們要加入一套日誌過濾與處理系統， 這套系統是我們發揮整個體系最大威力的地方。 在整個系統的處理pipeline中，我們可以根據需求添加任意需要的Filter/Processor, 比如服務於應用報警的Filter/Processor，服務於數據倉庫ETL的Filter/Processor等等。 但不管前面做了多少事情， 日誌最終是要接入到ES進行存儲的。
因為ELK技術棧中三者的對接遵循一些規范或者說規則， 而我們又需要繼續復用這個技術棧中的服務提供的特定功能， 所以，即使是我們在整個處理鏈路中插入了擴展點，但數據的存儲依然需要遵循ELK原來的規范和規則， 以便Kibana可以從ES中撈日誌出來分析和展示的時候不需要任何改動。
logstash存入ES的日誌，一般遵循如下的index pattern：
logstash-%{+YYYY.MM.dd}
使用日期進行索引（index）界定的好處是， 可以按照日期范圍定期進行清理。
NOTE
進一步深入說明一下， 針對不同的日誌類別， index pattern也最好分類對應。
更多信息:
Each log line from the input file is associated with a logstash event. Each logstash event has fields associated with it. By default, "message", "@timestamp", "@version", "host", "path" are created. The "message" field, referenced in the conditional statement, contains all the original text of the log line.
日誌處理系統可以使用ES的java客戶端或者直接通過ES的HTTP服務進行採集到的日誌索引操作。