SONY ToF ARを触ってみる【Depth映像表示】

## 概要
ELK Stack(以下ELKと呼称)を導入し、Suricataによって生成されたログ`eve.json`の内容を可視化してみる。

今回は**Elastic Integrationsを活用**する。Elastic Integrationsは多くの一般的なデータソースやアプリケーションに対応したダッシュボードやビジュアライゼーションコンポーネント(グラフなど)、インデックス設定をプリセットとして提供している。これにより、ログの可視化を簡単かつ迅速に実現できる。

## 前提
- ELK動作環境
  - OS: CentOS 9 Stream / vCPU: 4 / メモリ: 8GB
  - Docker v25.0.3
  - docker compose v2.25.5
  - Elasticsearch/Logstash/Kibana v8.11.4 
    - docker-elk環境
- Suricata動作環境
  - Raspberry Pi 4 Model [RAM 4GB, Raspberry Pi OS Lite (64-bit)] 
  - Suricata v6.0.13
  - Filebeat v8.12.1

## 作業

### ELK環境構築

#### Dockerインストール
今回、ELK環境構築には[docker-elk](https://github.com/deviantony/docker-elk)を使用するため、はじめにDockerをインストールしていく。
```sh
$ sudo hostnamectl set-hostname ELK-analysis
$ logout  # ホスト名反映のために一度再ログイン
$ sudo dnf update -y
$ sudo dnf install -y git

# Dockerインストール
$ sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
$ sudo dnf install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 権限設定、Docker起動
$ sudo chmod 666 /var/run/docker.sock
$ sudo systemctl enable docker
$ sudo systemctl start docker
```

#### docker-elkの導入
```sh
# docker-elkクローン
$ git clone https://github.com/deviantony/docker-elk.git
$ cd docker-elk
```
**Elasticsearch 8.xではデフォルトでX-Pack Securityが有効化されている**。
本環境では外部に公開せず、宅内ネットワーク上で完結するため、簡単のためにX-Pack Securityを無効化する。
また、ElasticsearchとLogstashのメモリサイズも変更しておく。
設定変更にはdocker-compose.ymlを編集する。

```sh
$ vi docker-compose.yml
```
```yml:docker-compose.yml::{6,14,15,21}
elasticsearch:
  build:
    ...
  environment:
    node.name: elasticsearch
    ES_JAVA_OPTS: -Xms2g -Xmx4g  # 任意のメモリサイズに変更
    # Bootstrap password.
    # Used to initialize the keystore during the initial startup of
    # Elasticsearch. Ignored on subsequent runs.
    ELASTIC_PASSWORD: ${ELASTIC_PASSWORD:-}
    # Use single node discovery in order to disable production mode and avoid bootstrap checks.
    # see: https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html
    discovery.type: single-node
    xpack.security.enabled: false  # 追記
    xpack.security.enrollment.enabled: false  # 追記
  ...
logstash:
  build:
    ...
  environment:
    LS_JAVA_OPTS: -Xms2g -Xmx4g  # 任意のメモリサイズに変更
    LOGSTASH_INTERNAL_PASSWORD: ${LOGSTASH_INTERNAL_PASSWORD:-}
```
編集が完了したらコンテナをビルド&起動する。
```sh
$ docker compose up -d
$ docker compose ps
NAME                         IMAGE                      COMMAND                   SERVICE         CREATED          STATUS          PORTS
docker-elk-elasticsearch-1   docker-elk-elasticsearch   "/bin/tini -- /usr/l…"   elasticsearch   49 seconds ago   Up 45 seconds   0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 0.0.0.0:9300->9300/tcp, :::9300->9300/tcp
docker-elk-kibana-1          docker-elk-kibana          "/bin/tini -- /usr/l…"   kibana          47 seconds ago   Up 44 seconds   0.0.0.0:5601->5601/tcp, :::5601->5601/tcp
docker-elk-logstash-1        docker-elk-logstash        "/usr/local/bin/dock…"   logstash        47 seconds ago   Up 44 seconds   0.0.0.0:5044->5044/tcp, :::5044->5044/tcp, 0.0.0.0:9600->9600/tcp, :::9600->9600/tcp, 0.0.0.0:50000->50000/tcp, :::50000->50000/tcp, 0.0.0.0:50000->50000/udp, :::50000->50000/udp
```

#### ELK動作確認
コンテナを起動し、しばらく待機(5分程度?)してからブラウザで[http://localhost:5601](http://localhost:5601)にアクセスする。
以下のような「Welcome home」ページが表示されたらOK。
![elk_top](https://images.microcms-assets.io/assets/c3fc21b2032a4c1186e74aef0a561d62/14cf9a3c61314dfa9e103884d88cc247/elk_top.png)
※ 設定によりダークモード適用済みの画像 (初回はライトモード)

### Suricataログ送信
以降の作業はSuricataが導入されたマシン(今回はRaspberryPi)にて行う。

#### Filebeat導入
Suricataログの送信にはFilebeatを使用する。
FilebeatはElasticsearchにログを送信するための軽量なデータ転送エージェントである。

Filebeat導入にあたって、基本的には[http://localhost:5601/app/home#/tutorial/suricataLogs](http://elk.hima.local:5601/app/home#/tutorial/suricataLogs)にある手順に沿って進めればよい。
しかし、**RaspberryPiの場合はアーキテクチャがarm64**なので、異なるアーキテクチャのFilebeatパッケージをダウンロードしないように注意すること。
```sh
# Filebeatインストール
$ curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.4-arm64.deb
$ sudo dpkg -i filebeat-8.11.4-arm64.deb
```
インストールが完了したら、`filebeat.yml`にてKibanaとElasticsearchの接続設定を行う。
```sh
$ sudo vi /etc/filebeat/filebeat.yml
```
```yml:filebeat.yml::{8,12}
...
setup.kibana:

  # Kibana Host
  # Scheme and port can be left out and will be set to the default (http and 5601)
  # In case you specify and additional path, the scheme is required: http://localhost:5601/path
  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
  host: "192.168.120.4:5601"  # KibanaのIPアドレス/ポートを指定
  ...
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["192.168.120.4:9200"]  # ElasticsearchのIPアドレス/ポートを指定
  ...
```

#### モジュールの有効化
続いて、Filebeatに同梱されたSuricataモジュールを有効化する。
```sh
$ sudo filebeat modules enable suricata
$ sudo filebeat modules list
Enabled:
suricata

Disabled:
activemq
apache
auditd
aws
...
```

**注意**
本来であればFilebeatセットアップ時、無効化された(Disabled)モジュールについては取り込まれないはず(多分)が、
なぜか**無効化されたモジュールも取り込まれ**、一部モジュールの設定ファイルで文法エラー(?)が発生しているようで、**正常にセットアップが完了しない問題が発生**した。

参考: エラーメッセージ(抜粋)
```text
{"log.level":"error","@timestamp":"2024-02-23T04:10:33.739+0900","log.origin":{"function":"github.com/elastic/beats/v7/libbeat/cfgfile.(*Reloader).Load","file.name":"cfgfile/reload.go","file.line":255},"message":"Error loading configuration files: 1 error: Unable to hash given config: missing field accessing '0.vpcflow' (source:'/etc/filebeat/modules.d/gcp.yml.disabled')","service.name":"filebeat","ecs.version":"1.6.0"}
```

すべてのFilebeatモジュールの設定ファイルは`/etc/filebeat/modules.d`に存在し、そのディレクトリ内にある`*.yml`を取り込むようになっているはずなのだが...(無効化されたモジュールの設定ファイルは`*.yml.disabled`)
そして、同梱されているモジュールの設定ファイルに素の状態で誤りがあるというのも奇妙である...

謎ではあるがそれはさて置き、~~面倒だったので~~雑な対応ではあるが、**無効化されたモジュールの設定ファイル(`*.yml.disabled`)を`modules.d`から別のディレクトリに退避**させてからセットアップを行った。これにより問題は解消された。
```sh
$ cd /etc/filebeat
$ sudo mkdir disabled_modules
$ sudo mv modules.d/*.disabled disabled_modules/

$ sudo filebeat modules list
Enabled:
suricata

Disabled:
```

モジュールを有効化したら、モジュールの設定ファイルにて`eve.json`のパスを指定する。
```sh
$ vi modules.d/suricata.yml
```
```yml:modules.d/suricata.yml:sl:{7,11}
# Module: suricata
# Docs: https://www.elastic.co/guide/en/beats/filebeat/main/filebeat-module-suricata.html

- module: suricata
  # All logs
  eve:
    enabled: true  # 変更

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/usr/local/var/log/suricata/eve.json"]  # 追記
```

設定も完了したら、Filebeatセットアップの実行とFilebeatを起動する。
```sh
$ sudo filebeat setup

$ sudo systemctl enable filebeat
$ sudo systemctl start filebeat
```

Filebeat起動から少し待って、[http://localhost:5601/app/home#/tutorial/suricataLogs](http://elk.hima.local:5601/app/home#/tutorial/suricataLogs)の「Module status」内の「Check data」をクリックする。
その後、以下のように表示されれば、Filebeatがログファイルを読込んでElasticsearchへの送信に成功していることとなる。
![filebeat_suricata_check](https://images.microcms-assets.io/assets/c3fc21b2032a4c1186e74aef0a561d62/6a0d9ab84c0841c5a2456bb90f37395e/filebeat_suricata_check.png)

### ダッシュボードの確認
最後にダッシュボードを確認する。

Kibanaページに戻り、左上のハンバーガーメニューをクリックして`Dashboard`を選択する。
続いて、検索バーに「suricata」と入力し、表示された`[Filebeat Suricata] Events Overview`と`[Filebeat Suricata] Alert Overview`を確認してみてデータが表示されていれば完了。
![dashboard_search](https://images.microcms-assets.io/assets/c3fc21b2032a4c1186e74aef0a561d62/7258b9bd29ca46bbb8f329d0ae9bbbc5/dashboard_search.png)

- Eventsダッシュボード
![suricata_events_dashboard](https://images.microcms-assets.io/assets/c3fc21b2032a4c1186e74aef0a561d62/260007b7c9854c4aa8b7105b04aea287/suricata_events_dashboard.png)

- Alertsダッシュボード
![suricata_alerts_dashboard](https://images.microcms-assets.io/assets/c3fc21b2032a4c1186e74aef0a561d62/1630b3c9e1854934a54004b8c4765e9f/suricata_alert_dashboard.png)

#### 表示されない？
FilebeatやELKが正常に動作しているにも関わらず、ダッシュボードでデータを確認できない場合は、**データの表示期間範囲を広げてみて**ほしい。
とくにSuricataを以前から稼働させている場合は、古いログかつ巨大なデータサイズになっている可能性があり、全期間の取得にはそれなりに時間がかかるかもしれない....
もちろん、FilebeatやELKが本当に正常動作しているかも確認すること。

## 参考
- [Install Docker Engine on CentOS](https://docs.docker.com/engine/install/centos/)
- [deviantony/docker-elk](https://github.com/deviantony/docker-elk)
- [DockerでElastic Stack 8.2環境の構築](https://qiita.com/ohhara_shiojiri/items/0b45fd000103b7345073)
- [17.6. Log Rotation — Suricata 8.0.0-dev documentation](https://docs.suricata.io/en/latest/output/log-rotation.html)


## Appendix
### Appendix 1. Suricataログローテーション設定
Suricataログ、とくに`eve.json`はすぐに膨大なデータサイズになり、ストレージを圧迫するため、ログローテーション設定は必須である。
今回はログローテーション設定にlogrotateを使用する。

#### Suricata PIDファイル作成
ログローテーションを行う際には、PIDファイルが必要とされる。
PIDファイルは、`--pidfile {pidファイルパス}`をコマンドに含めることで作成される。
(参考: [17.6. Log Rotation — Suricata 8.0.0-dev documentation](https://docs.suricata.io/en/latest/output/log-rotation.html))

systemdユニットファイルの`ExecStart`で、以下のようにオプションを追記する。
```sh
$ sudo systemctl stop suricata
$ sudo vi /etc/systemd/system/suricata.service
```
```systemd:suricata.service:sl::{9}|{8}
[Unit]
Description=Suricata service
After=network-online.target

[Service]
Type=simple
WorkingDirectory=/usr/local/bin
ExecStart=/usr/local/bin/suricata -c /usr/local/etc/suricata/suricata.yaml -i eth0 -i eth2 
ExecStart=/usr/local/bin/suricata -c /usr/local/etc/suricata/suricata.yaml -i eth0 -i eth2 --pidfile /var/run/suricata.pid
Restart=always

[Install]
WantedBy=multi-user.target
```
追記が完了したら、`daemon-reload`の実行とSuricataを起動する。
```sh
$ sudo systemctl daemon-reload
$ sudo systemctl restart suricata
```

#### ログローテーション設定
`/etc/logrotate.d`配下にファイルを作成し、ログローテーションの設定内容を記述する。
```sh
$ sudo vi /etc/logrotate.d/suricata
```
**例:**
```text:suricata
/usr/local/var/log/suricata/*.json
{
  rotate 3
  daily
  dateext
  missingok
  nocompress
  notifempty
  create
  sharedscripts
  postrotate
    /bin/kill -HUP `cat /var/run/suricata.pid 2>/dev/null` 2>/dev/null || true
  endscript
}

/usr/local/var/log/suricata/*.log
{
  rotate 3
  minsize 100M
  daily
  dateext
  missingok
  nocompress
  notifempty
  create
  sharedscripts
  postrotate
    /bin/kill -HUP `cat /var/run/suricata.pid 2>/dev/null` 2>/dev/null || true
  endscript
}
```
上記の例では、
`*.json`(eve.json)については、ファイルサイズに関わらず1日1回ローテーションを実施し、最大4ファイルを残す(最新ファイル含む)。
`*.log`(fast.log, suricata.log, stats.log)については、ファイルサイズが100MB以上であれば最大で1日1回ローテーションを実施し、最大4ファイルを残す(最新ファイル含む)。


Suricata with Raspberry Piで遊ぼう！【ELK編(Elastic Integrations)】

カスタムデータを用いてDarknet版YOLOv3-tinyの学習をしてみる

## 2023年を簡単に振り返る
2023年を振り返ると、「**とりあえず触ってみよう**」って感じだったかなと思います。
とりあえず気になった技術のデモに触れてみる、みたいなそういうの。
アウトプットとしてはなにもないけれど、なんか勉強した気になるからこれからも続けていきたいところ。

2023年で個人的に**大きな活動としては、やはり技術ブログの開発**だと思っています。
はじめて使うフレームワーク、ライブラリに翻弄されながらも沢山の文献を参照して、なんとか形にすることができてよかったです。

来年もなにか最低１つは大きなプロジェクト、製作物を出せればなぁって思ってます。

## 2023年を細かく振り返る
日記とかそういうのはないので、Twitterベースで振り返ってみます。
※ プライベートでの活動のみ列挙してます。

- １月
  - 特段技術的なことはしてないみたい笑
    - というのも、仕事がそこそこ忙しかった
  - ちょっと軽い病(身体的)を患って萎えてた時期

- ２月
  - NAS構築した
  - 食洗機の水注入マウンタを作った
    - しかし、改良が必要に感じたのでいまは使用していない
    <blockquote class="twitter-tweet" data-theme="dark"><p lang="ja" dir="ltr">タンク式食洗機の水注入するやつ。 <a href="https://t.co/6zP9PCypSb">https://t.co/6zP9PCypSb</a> <a href="https://t.co/8BkfqKINDe">pic.twitter.com/8BkfqKINDe</a></p>&mdash; himazin331 (@himazin_shotaML) <a href="https://twitter.com/himazin_shotaML/status/1625355273455177729?ref_src=twsrc%5Etfw">February 14, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

- ３月
  - 特段技術的なことはしてないみたい笑
  - カード不正利用された(１回目)

- ４月
  - ホームページ刷新とブログ開発に着手した
    - モダンな開発できてえらい！
      - はじめてのNext.js, React, TypeScript
  - 「画像にアンビエント効果付与するツール」作った
    - GitHub: https://github.com/himazin331/image_ambient
    - 僕しか使わんけどそこそこ気に入ってる

- ５月
  - ホームページ刷新とブログ開発
    <blockquote class="twitter-tweet" data-theme="dark"><p lang="ja" dir="ltr">それっぽい感じはする <a href="https://t.co/I03bVIdzLT">pic.twitter.com/I03bVIdzLT</a></p>&mdash; himazin331 (@himazin_shotaML) <a href="https://twitter.com/himazin_shotaML/status/1654352378735505408?ref_src=twsrc%5Etfw">May 5, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
  - クロスバイク買った

- ６月
  - SysMocapで遊んでみた (遊んだだけ)
    <blockquote class="twitter-tweet" data-theme="dark"><p lang="ja" dir="ltr">よし、これでスパチャde金稼ぎできるぞ！(できない(しない<br><br>SysMocap<a href="https://t.co/EjUWSLv3r8">https://t.co/EjUWSLv3r8</a><br>ずんだもんVRM<a href="https://t.co/zRjnyEJF83">https://t.co/zRjnyEJF83</a> <a href="https://t.co/cpMVlic51X">pic.twitter.com/cpMVlic51X</a></p>&mdash; himazin331 (@himazin_shotaML) <a href="https://twitter.com/himazin_shotaML/status/1667844689863782401?ref_src=twsrc%5Etfw">June 11, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
  - RVCで遊んでみた (遊んだだけ)
  - Nvidia Omniverseで遊んでみた (遊んだだけ)
    <blockquote class="twitter-tweet" data-theme="dark"><p lang="ja" dir="ltr">これがNvidia Issac Simちゃんですか... <a href="https://t.co/GmqEqvTerc">pic.twitter.com/GmqEqvTerc</a></p>&mdash; himazin331 (@himazin_shotaML) <a href="https://twitter.com/himazin_shotaML/status/1669739108464496640?ref_src=twsrc%5Etfw">June 16, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
  - 平面画像から3Dモデルを構築したかった
    - OpticalFlow情報から3Dモデルを構築するAIがあるみたいなので、その前準備として色々やってたが、途中で飽きた
      - 3D Reconstruction (BANMo, LASR/ViSER...)
    - いつか再チャレンジしたい
    <blockquote class="twitter-tweet" data-theme="dark"><p lang="ja" dir="ltr">OpenCV公式のコードコピペして動画連結しただけ。 <a href="https://t.co/wRwbYWDOPh">pic.twitter.com/wRwbYWDOPh</a></p>&mdash; himazin331 (@himazin_shotaML) <a href="https://twitter.com/himazin_shotaML/status/1672295635247337475?ref_src=twsrc%5Etfw">June 23, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
  - Interop23に参加した
    詳細: [はじめてInterop参加したのでその所感を書く](https://himazin331.com/blog/q707hizde)

- ７月
  - S\*itchB\*tの指ロボット的なのをPICマイコンで作ろうとしてた
    - 赤外線通信とかが難しすぎてペンディング
  - 受注開発・保守してるTwitter BotがTwitter API制限により弱体化した
  - 沖縄に旅行した
      <blockquote class="twitter-tweet" data-theme="dark"><p lang="ja" dir="ltr">やはり沖縄の海は綺麗。 <a href="https://t.co/pFd9Vyvbsj">pic.twitter.com/pFd9Vyvbsj</a></p>&mdash; himazin331 (@himazin_shotaML) <a href="https://twitter.com/himazin_shotaML/status/1678373018538758145?ref_src=twsrc%5Etfw">July 10, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

- ８月
  - Raspberryp PiにSuricataを導入して通知アプリ作った
    - 詳細: [Suricata with Raspberry Piで遊ぼう！【通知アプリ開発編】](https://himazin331.com/blog/hez3178w3)
    - GitHub: https://github.com/himazin331/suricata-alert-notice

- ９月
  - 特段技術的なことはしてないみたい笑
  - メインPCにM.2 SSD増設した
  - ふるさと納税した

- １０月
  - 草グラフウィジェット(?)の実装
    - デモ: https://contribute-graph-widget.vercel.app/
    - GitHub: https://github.com/himazin331/contribute_graph_widget
  - Discord Botの受注開発・保守
    - なにげに初めてDiscord Bot触った

- １１月
  - Zabbix Server構築した
    - まだサービスレベルの監視を対応させてない..最低限リソース監視できる程度。

- １２月
  - ハッカソンの参加
    - [Virtual influencer Hackathon](https://lu.ma/difun.hackathon)
    - 発表スライド: https://www.docswell.com/s/himazin331/ZP93GQ-VIH_Project_Vol1_Speech
    - 予定していなかったが流れるままにいたら参加することになってしまった笑
    <blockquote class="twitter-tweet" data-theme="dark"><p lang="ja" dir="ltr">セグメンテーションマップの整形より、出力される人物データに対してAIによる体型補正をしたほうが楽だなと気づきました <a href="https://t.co/08WG3UaSlh">pic.twitter.com/08WG3UaSlh</a></p>&mdash; himazin331 (@himazin_shotaML) <a href="https://twitter.com/himazin_shotaML/status/1733683622182522956?ref_src=twsrc%5Etfw">December 10, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
  - microCMS マークダウンエディタ対応
    - microCMSのリッチエディタを使ってブログ記事書いていたのを、マークダウンで書けるように対応した
    - 伴ってサーバエンドの仕様変更も実施
  - Sony ToF ARを触ってみた
    - とりあえずチュートリアルやってみた
    - ToFセンサ使って点群取得->メッシュ生成をいずれやりたい
  - カード不正利用された(２回目)

## おわりに
2023年、社会人２年目ということでだいぶ仕事にも慣れ、時間的にも体力的にも余裕ができたかなと思いきや、メンタル面やモチベーション面で不安定なところが多く、Twitterでのネガツイが多くなってしまいました...

「わけわからんネガツイしてる暇あったら、少しでも手を動かして勉強に勤しんだり、やるべきことを消化させろよ」というのは自分自身が一番わかっていますが、無意識にTwitterを開いてネガツイを書き込んでいます...

**2024年は個人的に重要となる年**で、研究開発に携わったり、E資格の取得を目指したりとキャリア形成に大きく影響するイベントが待っています。
それらのイベントで高いパフォーマンスを発揮してよい成果を出せるように、身体はもちろんメンタルやモチベーションを崩さぬよう心がけたいと思います。

**本年もありがとうございました。来年もよろしくお願いいたします。**

以上です。

himazin331の技術ブログ