ServerlessDays Day1に参加しました

2024年9月23日から hiruta

主に、サーバレスな実行環境の話について

Day1でセッションと良かったポイント

Cloudflare workers、Fastly Compute、CRIなどWebAssembly workloadがブラウザで動かす環境がふえてきていており、まだSocketなど未実装使えない機能もありますが、今後期待が高まると思う点

LLM Workloadでも使えるLlamaEdgeもあります。

サービスメッシュ対応、GPU、DirectVPC Egressなど進化が激しい30アーキテクチャの紹介

Cloud RunからのVPCの中のリソースにつなげるには Severless VPC Connectorはスケールインしない仕様もあり、DirectVPC Egressをまず検討するのがよさそう

Global LB の下にServerless Network Enndpointをつなげる場合、default urlを無効にすることも

ghs.googlehosted.com でカスタムドメイン使う場合、東京リージョンのレイテンシー、東京・US間のレイテンシーが発生することもあり、Firebase App Hosting使うのがよさそう

Cloud service meshでCloud Run入れる場合は、Envoyが必要。Traffic DirectorでgRPCだとenvoy lessにすることもできたが、現状対応しない

Cloud Storage FUSEは、最近のGPUサポートで、LLM Worklaodを配信できるケース、モデルはイメージの外におきたいケースに有益

HTTP/2にも対応している。ラージファイルのアップロードとかにも使える

Agent BuilderからOpenAPIで、Cloud Runに処理内容を呼び出すこともできる。

Cell base architecureでLambdaの実行基盤がつくられており、マルチテナントで使われる基盤なので、ワークロードの影響、障害時の範囲が最小化するシャッフルShardingまではなされていました

最初はLambdaで導入できても、ビジネスが拡大してきて、別のワークロードに載せ替えしやすさ、オーバーヘッドもないとのことで試してみたいかな

curlでもAPI Testerは使えますが、属人化されてしまう

Postman、API Testerだけでなく、テスト、ドキュメント、後日ワークショップで体験したPostman FlowなどAPI Platformとしての製品

PostmanのランプアップでLoad Testのジャンルの多さがあることがわかった。

生成AIの場合、LLMから応答を待っていたら、時間を待たされる。(Response Streaming )

Markdown形式でスライド内容をLLMから返して、スライドを自動生成

構成図書くのによく使っているdrawioは実体はXMLなので、XMLとして生成できれば構成図の生成もおこなってくれそう

開発体験が向上するチップスがたくさん

WebAssembly workloadも走ることができるFastly Computeも開発者向けの無料プランもあるのでつかってみたいかな

LWAなどポータビリティの高い実装