S3, Lambda, Athena, and QuickSight

今日はずっとAWSを用いてシステムの実装をしていました。

S3 にデータがアップロードされた際に Lambda で自動的に Athena を介して SQL クエリを投げ、QuickSight で見られる形になおした物を再度 S3 に格納するシステムです。

AWS 自体初めて触るので、なかなか大変でした。もちろんまだ完成していません。

そもそもダッシュボードで見るためのKPIが確定していないので完成はまだ無理です。

ただ、とりあえずできる範囲で実装しておいた方が安心かなと言うことで。

Python はずっと使ってきたのでそこはあまり問題ないのですが、S3 や Athena の client の挙動は逐一調べないと流石にわからないですね。

あと、IAMで結構手こずりました。

AdministratorAccess が付与されていると思いきや、会社で作成した管理ポリシーが与えられており、いくつか行動制限があって困りました。

あと、LambdaやQuickSightでも色々権限の問題で引っかかりましたね。

研究生活ではあまり気にすることのなかった概念なので新鮮です。

ちょっとめんどくさくって必要以上の権限をロールとして持たせたりもしましたが、実際の業務では避けたい物ですね。

来週の水曜までにシステム構成資料を作成する必要があるのですが、そもそもシステム構成資料とはなんぞやと言う感じですね。

今日のいいことは、出社で色々な人と話せたことくらいかな。

あと、いつもと違うスーパーで夕食を買って、値段の割に美味いなという感想です。