後で考える

本、旅行、資格、お酒について書くと思います

技術

新卒1年目で AWS-SAA 試験合格までの勉強方法解説

AWSの認定試験、ソリューションアーキテクト – アソシエイト (Solutions Architect - Associate) に合格したので、勉強方法などを共有させていただきます。 試験 AWS Certified Solutions Architect - Associate 試験 (SAA-C03) 筆者のスペック (勉強開始時…

Unity で Text を使っていたつもりが TextMeshPro だった件

完全に趣味ですが、 Unity でPC用の2Dゲームを作っています。 まだまだ作り始めたばかりなので、結構初歩的なところで躓きます。 今回は、メニュー画面から本編の画面に遷移するために、選択中のメニューの文字が強調 (色変更) されるように設定する際にちょ…

データエンジニアのための用語集

データレイク 生データの保存場所。データストアとも。 データウェアハウス (DWH) 構造化データの保存場所だが、データマートと明確な区別はない。 データマート 特定の用途に向けて加工したデータの保存場所だが、DWHと明確な区別はない。 RDB Relational D…

ETL、ELT、データラングリングの違い

データエンジニアリングについて勉強していて、ETLとELTの違いに関する記事は調べると色々出てきましたが、データラングリングにも言及している記事はあまりありませんでした。 多分需要がないからそのような記事が書かれていないんだろうと思いますが、せっ…

AWS Lambda で Pandas 使って S3 内の CSV ファイルを読みたい

本記事の目的 表題通りですが、AWS Lambda の関数上で pandas.read_csv() を使って CSV ファイルを読み込みたい。 ネット上では、公開されている Pandas Layer を追加するだけで OK という記事が多かったのですが、自分の場合、それだけでは import できても…

AWS環境データベース比較 (EC2, RDS, RedShift, S3)

研修でAWS環境におけるデータベース開発を少し行いました。 データレイクは S3 ほぼ一択だと思っていますが、データマートはいくつか比較検討する必要がありました。 RDS だの RedShift だの選択肢が色々あって困ったので自分なりにまとめた内容を共有します…