Showing posts with label Splunk. Show all posts
Showing posts with label Splunk. Show all posts

Monday, November 21, 2022

Splunk - Hiệu chỉnh height và width aka tỷ lệ giữa các panels trên cùng row của 1 Splunk Dashboard

 

Chỉnh timechart panel có width =70% và stats panel có width = 30%

Kết quả:



Cách thức: 

* thông qua Edit Source của Dashboard  (sub url /editxml).

* 1) Gán id cho tất cả panel của row cần hiệu chỉnh width

Từ các <panel> thành <panel id="panel1"> .... </panel> <panel id="panel2">...<panel> 


* 2) Bổ sung 1 panel logic $alwaysHideCSS$ mới:

    <panel depends="$alwaysHideCSS$">

      <html>

        <style>

          #panel1{

            width:70% !important;

          }

          #panel2{

            width:30% !important;

          }

          </style>

      </html>

    </panel>



Saturday, November 19, 2022

Splunk app UFMA - Forwarder Summary - Vài Issues liên quan Missing Forwarders hoặc Forwarders' Statistics

" Chủ yếu liên quan cách khai thác sd Splunk UFMA app.


1) Missing Forwarders hoặc Số lượng Forwarders hiển thị chưa đầy đủ ở dashboad Forwarder Summary

=> Giải pháp: truy cập Rebuild Asset Table http://localhost:8000/en-US/app/UFMA/rebuild_asset_table và run query anyway. Kết quả: http://localhost:8000/en-US/app/UFMA/forwarder_summary



2) Issue "We've identified a potential security risk" ở Dashboard "Rebuild Asset Table" 

=> Do outputlookup là splunk command có rủi ro cao. Cần ktra kỹ trước khi thực thi (từ các saved query). Bỏ qua và tiếp tục thực thi query này (anyway) => Xem http://localhost:8000/en-US/app/UFMA/rebuild_asset_table


3) Forwarder Summary - Forwarder Details trống rỗng 

=> Do keywords đòi hỏi phải có thông tin splunk deployment server => Bỏ text pattern deployment_server="$deployment_server$" này khỏi splunk keywords. Kết quả tại dashboard Forwarder Summary http://localhost:8000/en-US/app/UFMA/forwarder_summary phần Details sau khi update keywords: 



4) "This dashboard version is missing. Update the dashboard version in source."

=> Chỉnh source của dashboard, từ <form> thành <form version="1.0"> hoặc <dashboard> thành <dashboard version="1.0">. hình minh hoạ:


Save dashboard tương ứng và issue thông báo này sẽ biến mất.




Monday, October 11, 2021

Config inputs.conf Blacklist specific Windows Event Logs trên Splunk Forwarder

 

Windows Event Logs có rất nhiều audit // security data được ghi nhận. 

Do đó để tránh nhiễu do quá nhiều log, cũng là giải quyết vấn đề log rác hoặc log trùng, cần phải blacklist 1 số events. 

VD: Windows Firewall events có EventCode=5156 liên quan đến DNS traffic và kết nối 1 số internal web sites cụ thể. Rõ ràng đây là những events thừa thãi, không cần thiết. Hay hơn nữa, cần lưu được query domain name trong dns logs, hơn là log ghi nhận dns traffic. Xem  thông tin 1 event 5156 trên Windows:



Đối với giải pháp Splunk, cần blacklist trên config của Spl forwarder theo các HD sau:
* 5 Examples vv blacklist // exclude data > https://docs.splunk.com/Documentation/Splunk/8.2.2/Data/Whitelistorblacklistspecificincomingdata
* Nhưng để hiểu cách cấu hình blacklist, tham khảo kỹ https://docs.splunk.com/Documentation/Splunk/8.2.2/Admin/Inputsconf 
* Nếu còn thời gian thì tham khảo tiếp https://docs.splunk.com/Documentation/SplunkCloud/latest/Data/MonitorWindowseventlogdata 



 

Thursday, July 9, 2015

Dùng Splunk thế nào hay là Bắt đầu với Splunk


1) Download, cài đặt. Viết hay cỡ nào cũng ko bằng Video. Truy cập  http://www.splunk.com/view/education-videos/SP-CAAAGB6, có hướng dẫn cho cả Windows lẫn Linux.

2) Chuyển dữ liệu vào Splunk. NSM thì luôn phải có dữ liệu (thường gọi là log) thì mới có thể báo cáo/cảnh báo. Đây là công việc chính của NSM cũng như Splunk nói riêng. Xem tiếp video "Getting Data into Splunk" cũng từ liên kết ở trên. Ngoài ra, ngay sau khi cài đặt thành công, Splunk sẽ cung cấp 1 ứng dụng web (có cổng mặc định là 8000, http (http://localhost:8000), username: admin, pass: changeme). Các bạn cứ truy cập Splunk web rồi làm theo giao diện hướng dẫn để làm việc chuyển dữ liệu.

3) Search, Report/Alert, Dashboard. Tiếp tục xem 2 video "Basic Searching in Splunk Enterprise" & "Creating Dashboards in Splunk Enterprise".

3.1) Nếu bạn cảm thấy yêu thích Splunk rồi hoặc thấy vẫn chưa đủ đô & còn thời gian thì học theo nội dung "Splunk Tutorial (e-learning)" http://www.splunk.com/view/SP-CAAAHSM & "Using Splunk 6" http://www.splunk.com/view/SP-CAAAH9A, google từng phần rồi học, cần tới đâu học tới đó. Sau khi đã "dính" rồi thì đọc http://docs.splunk.com/Documentation/Splunk.

4) Nghịch Splunk Appshttps://splunkbase.splunk.com/


Tôi viết bài này vì có nhiều bạn cứ hỏi tôi Splunk cài thế nào, dùng ra sao... nên dành thời gian tóm tắt, ghi lại những thông tin/links quan trọng ở trên. Hi vọng các bạn làm theo & thành công.

----

PS. Trên Splunk Apps/Splunk Base có câu "Extend the power of Splunk". Thực tình khi viết bài tích hợp Google Maps (http://quangchinh.blogspot.com/2015/02/tich-hop-google-maps-vao-splunk-e-gia.html) tôi không hề thấy khẩu hiệu này trước đó. Xem ra ý tưởng lớn nhỏ gặp nhau đây :D.

PS2. Giới thiệu các bạn http://splunkgeek.blogspot.it/p/blog-page.html (& http://www.georgestarcher.com/tag/splunk/) có khá nhiều nội dung hay nói về Splunk. Thực tế nếu google, các bạn cũng có thể tìm thấy nhiều sites khác. Cũng đừng quên theo dõi Splunk blog & các tin tức khác nói về Splunk.

PS3. Splunk bây giờ đã có nhiều sản phẩm hơn, ko chỉ còn là Splunk Free & Splunk Enterprise. Tôi sẽ viết 1 chút nếu có thời gian & được quan tâm.


An English topic that explains why you should run Syslog & Splunk interoperate

http://www.georgestarcher.com/splunk-success-with-syslog/ (from George. Plz don't ask me who is he lol).

I know this topic because I am a member of Splunk User Group on Linkedin > https://www.linkedin.com/grp/home?gid=1913714. I visited https://www.linkedin.com/grp/post/1913714-5963861876910608384?trk=groups-post-b-title and then it took me to George blog.


Have fun!

Monday, February 2, 2015

Tích hợp Google Maps vào Splunk để gia tăng sức mạnh cho Fraud Detection System


1) Collect data giao dịch để làm Fraud Detection System.

2) Tích hợp thông tin toạ độ của ATM cũng như toạ độ của các địa điểm phát sinh giao dịch nói chung. 1 cách đơn giản đó là tổ chức 1 file CSV có mã ATM và mã CN/PGD kèm theo toạ độ (Latittude + Longitude). Sau đó cấu hình Lookup Table File & Lookup Definition trên Splunk.

3) Cài đặt Google Maps (https://apps.splunk.com/app/368/) lên Splunk.

4) Search kèm theo lookup (để các giao dịch có thêm các thông tin toạ độ; sau đó kết thúc bằng lệnh | eval _geo=Latitude.",".Longitude. Kết quả xinh đẹp không thể tưởng tượng nổi :D


Kết hợp với tính năng Real-time search của Splunk nữa thì bản đồ được cập nhật y chang xi nê vậy.

Việc thể hiện dữ liệu trên bản đồ này sẽ giúp cho các ngân hàng & cty tài chính:
  • Nhìn trực quan để dễ dàng hỗ trợ khách hàng hoặc phát hiện các gian lận tài chính liên quan đến địa điểm.
  • Sử dụng Splunk để dễ dàng tìm kiếm phát hiện các gian lận rút tiền/GD tiền ở nhiều nơi (VD như người thường không thể có 2 GD rút tiền ở TP.HCM và Hà Nội trong vòng 1 tiếng).
  • Tiến đến là tích hợp việc chụp hình các camera tại ATM ngay sau khi giao dịch xảy ra; đối chiếu với các hình ảnh của các tài khoản đã giao dịch trước đó để phát hiện, phòng chống các giao dịch skimming.
Do đó, thay vì đầu tư 1 hệ thống Fraud Detection đắt tiền, sao không thử xây dựng 1 hệ thống mà không tốn 1 đồng license nào? Lại còn chủ động được trong vấn đề công nghệ?

Happy splunking!

Thursday, January 22, 2015

3 cách xây dựng hệ thống NSM miễn phí


Dành cho bạn nào chưa biết NSM (giám sát an ninh mạng) & NSM để làm gì > http://vnhacker.blogspot.com/2009/12/giam-sat-ninh-mang-hay-la-lam-nao-e.html


Sau khi đã biết NSM, tôi xin giới thiệu 3 cách:


1) Splunk Free [+ Syslog-NG]

2) Syslog-NG + Splunk Free
3) ELK

Cách đầu đơn giản nhất. Tất cả cài đặt Splunk Agent và cấu hình forwarding về Splunk Server làm NSM. Search, Report trên Splunk Server. Các thiết bị không thể cài đặt Splunk thì hoặc cấu hình gửi log trực tiếp về Splunk; hoặc cấu hình chuyển log về Syslog-NG server, sau đó Syslog-NG tiếp tục cấu hình gửi log về Splunk.


Cách thứ 2: không cài đặt, ko sử dụng Splunk làm Agent. Sử dụng Syslogd hoặc Rsyslog; cài Syslog Agent trên các server Windows. Tất cả được cấu hình tập trung log về Syslog-NG server. Từ Syslog-ng server, tiếp tục cấu hình gửi log về Splunk. Do đó chỉ cần cài Splunk trên NSM Server là đủ.


Cách thứ 3 đó là sử dụng bộ 3 phần mềm ElasticSearch, LogStash và Kibana (http://www.elasticsearch.org/overview/). Tất cả đều là phần mềm nguồn mở nên bạn ko phải lo lắng về chi phí. Tuy nhiên cách này tôi chưa thử bao giờ nên ko thể so sánh ưu khuyết với 2 cách kia.


Trong 2 cách đầu, tôi thích cách thứ 2 hơn vì:

  • Tốn ít công sức quản lý Syslog Agent hơn là quản lý Splunk. Ít ra thì các server Linux đã có sẵn syslogd/rsyslog.
  • Chủ động trong việc lựa chọn các dạng log sẽ được tập trung về Splunk. Việc này rất cần thiết nếu như bạn có quá nhiều máy chủ, quá nhiều dữ liệu cần tập trung về Splunk. Dung lượng dữ liệu gửi về đôi khi tăng đột biến quá nhiều cũng sẽ dẫn đến việc vi phạm (Free) License của Splunk, làm mất khả năng Search, nghĩa là NSM đã bị vô hiệu hoá.
  • Vừa có thể lưu raw log vừa search trên Splunk. Cái này phù hợp cho những bạn paranoid, ko tin tưởng hệ thống nào và chỉ thích dùng cat, grep, sed, awk...

Nên chọn cách 1 khi:
  • Bạn cần làm quen với Splunk. Các apps của Splunk thường chỉ hoạt động với kiến trúc NSM hoàn toàn dựa vào Splunk. Tập trung log thông qua 1 phần mềm khác (Syslog-NG) sẽ yêu cầu bạn phải điều chỉnh/cấu hình nhiều hơn để các apps của Splunk hoạt động.

Nếu có những cách khác hoặc các bộ phần mềm miễn phí khác, bạn vui lòng phản hồi cho tôi biết nhé.


Chúc mọi người xây dựng NSM thành công.


Saturday, December 4, 2010

Splunk, the Google for IT Search

From "Splunklife in the Second City" - http://blogs.splunk.com/2010/11/17/the-splunking-life-in-the-second-city/ by Mark Seward


"They tried for months with several solutions to surface real time insight—with Splunk it was working in one week and are using threshold-based alerting to support proactive customer engagement."

Splunk is the solution that I have been using since Nov 2006. It's one of the most favorite software that system admins may use for monitoring, log aggregating and incidents handling. Hope that I have more spare time to re-construct my documents talking about it.

Happy weekend.