re:Invent 2023 za nami. Poniżej przedstawiam najciekawsze, dla mnie, nowości pokazane przed i w trakcie wydarzenia.

re:Invent 2023 Nowości

Ograniczyłem się do usług, które mnie najbardziej interesują. Nie znajdziecie tu nic na temat ML czy Genrative AI. Takie podsumowania na pewno pojawią się w innych miejscach.

A więc…

Introducing advanced logging controls for AWS Lambda functions

Funkcje Lambda umożliwiają nam zapis logów w formacie JSON. Sprawdźcie w swoim przypadku jak to działa. Widziałem przykłady, gdzie nie do końca dostajemy czystego JSON-a. A jeżeli używacie już structured logging, to chyba nic nie musicie robić.

Druga zmiana, to możliwość wybrania log grupy, do której funkcja będzie zapisywała logi. Umożliwia to zapis z kilku funkcji do jednej grupy.

I wpis na blogu AWS na ten temat.

Amazon CloudFront announces CloudFront KeyValueStore, a globally managed key value datastore

Dostaliśmy magazyn KeyValue dla CloudFront Functions. Spokojnie, nie pozwoli to raczej na tworzenie API na Edge, ale na pewno umożliwi na przykład wygodne oddzielenie konfiguracji od kodu.

Więcej na blogu AWS.

Amazon Kinesis Data Streams launches cross-account access with AWS Lambda

Dostaliśmy wsparcie dla resource policies. Ułatwi to np. przetwarzanie zdarzeń za pomocą funkcji Lambda na innym koncie AWS.

Amazon SNS now supports in-place message archiving and replay for FIFO topics

Można od teraz archiwizować do 365 dni (soft limit) wiadomości dla topiców SNS FIFO i odtwarzać je do określonej subskrypcji.

AWS Lambda supports faster polling scale-up rate for Amazon SQS as an event source

Do tej pory, jeżeli funkcja Lambda była uruchamiana przez wiadomości z kolejki SQS, a potrzebowaliśmy szybkiego scaling out, dostawaliśmy dodatkowo 60 instancji funkcji na minutę. Pokazywałem to nawet na jednym z przykładów na 4Developers w 2019 roku. Od tej porę by 5 razy większy, funkcja będzie się skalowała dodając 300 instancji na minutę.

W niektórych przypadkach to może być naprawdę ważne. W momencie nagłego przyrostu ruchu, użytkownicy nie będą musieli czekać na przetworzenie informacji.

Jeżeli kto chce sobie potestować, to tu jest kod, który wykorzystywałem 3 lata temu. Mam nadzieję, że jeszcze działa. 😉

Amazon SNS increases default FIFO topic throughput by 10x to 3,000 messages per second

Znowu więcej. SNS wspiera od teraz w topicach FIFO do 3000 wiadomości na sekundę. Dla każdego topica.

Amazon EventBridge Pipes adds new logging functionality for improved observability

To powinno znacznie ułatwić życie osobom, które debugują EventBridge Pipes.

Tutaj trochę więcej na ten temat.

AWS Step Functions now supports restarting workflows from failure

Do tej pory, jeżeli wykonanie Step Function się nie powiodło, mogliśmy powtórzyć tylko całą funkcję. Od teraz AWS umożliwił ponowienie wykonania funkcji od kroku, w którym się nie powiodła.

Nie mylcie tylko tego z przechwytywaniem wyjątków w Step Function!

Tutaj więcej na ten temat.

Amazon SQS announces support for logging data events in AWS CloudTrail

Operacja API na danych w usłudze SQS mogą być zapisywane w Cloud Trial. Dotyczy to następujących API:

• ChangeMessageVisibility
• ChangeMessageVisibilityBatch
• DeleteMessage
• DeleteMessageBatch
• ReceiveMessage
• SendMessage
• SendMessageBatch

Amazon CloudWatch Logs announces Infrequent Access log class

Jeżeli nie potrzebujemy niektórych możliwości CloudWatch (porównanie w tabelce) możemy o 50% obniżyć koszty.

Na pierwszy rzut oka, brak EMF (Lambda PowerTools) i brak możliwości subskrypcji to dwa największe braki.

Tutaj więcej.

AWS Lambda functions now scale 12 times faster when handling high-volume requests

Oho! Kolejne scenariusze użycia Lambdy stają się możliwe.

Do tej pory Lambda skalowała się z szybkością 500 dodatkowych instancji na minutę. Aż do osiągnięcia maksymalnego poziomu, wynoszącego, z tego co pamiętam, od 500 do 300 instancji w zależności od regionu.

Teraz każda Lambda może natychmiast wykonać 1000 równoczesnych uruchomień. A limit wzrasta o kolejne 1000 co 10 sekund. Co ważne, każda funkcja może być skalowana niezależnie.

Tak dla przypomnienia, inne usługi też mają limity, które mogą mieć wpływ na nasze rozwiązania. Tu przykład API Gateway

AWS CloudFormation introduces Git management of stacks

Na pewno nie jest to rozwiązanie dla wszystkich, ale jakieś małe zespoły i projekty mogą z tego skorzystać.

Usługa CloudFormation może teraz synchronizować się z plikiem template w repozytorium Git i automatycznie wdrażać aktualizacje. W pewnym sensie można obejść się bez CI/CD w przypadku bardzo prostych stosów.

Tutaj przykład, jak z tego skorzystać krok po kroku.

AWS Step Functions launches support for HTTPS endpoints and a new TestState API

Dwie nowości.

Do tej pory, aby wywołać zewnętrzne API w Step Function, trzeba było użyć Lambdy lub konfigurować własne proxy przy użyciu API Gateway. Od teraz Step Function może takie API wywołać sama.

Druga nowość dotyczy testowania konkretnych kroków w Step Function. Do tej pory testowaliśmy całe funkcje, co w przypadku jakichś trudno dostępnych kroków było upierdliwe. AWS udostępnił nowe API, które umożliwia przetestowanie konkretnego stanu.

Tutaj więcej o obu nowościach.

Amazon SQS announces support for FIFO dead-letter queue redrive

Od kilku miesięcy można było robić redrive dla standardowych wiadomości w SQS. Od teraz możliwe jest to także dla kolejek FIFO.

Amazon SQS announces increased throughput quota for FIFO High Throughput mode

Mocno. Kolejki FIFO SQS potrafią przetwarzać do 70000 wiadomości na sekundę w trybie high throoughput. Na razie tylko w US East (N. Virginia), US West (Oregon), and Europe (Ireland).

AWS announces Amazon ElastiCache Serverless

Taaaaa…. Serverless….. ElasticCache dołącza do niechlubnego grona. Już w przypadku Aurory i OpenSearch nas oszukuje i tu powiela to zachowanie.

Zerknijcie w cennik. Płacimy za Processing units i za storage. Ale minimum to 1GB. A 1GB to koszt 0,125$ za godzinę. Czyli chcąc nie chcąc, płacimy 90$ miesięcznie. To kłóci się z moim rozumieniem serverless.

Announcing Amazon Aurora Limitless Database

Cytat z oficjalnej informacji: „Today, AWS announces Amazon Aurora Limitless Database, which enables you to scale your Amazon Aurora clusters to millions of write transactions per second and manage petabytes of data.”

Brzmi fajnie. W folderach i dokumentacji też będzie bardzo dobrze wyglądało. Tylko ile wdrożeń z tego skorzysta?

AWS SDK for Kotlin is now generally available

AWS SDK for Rust is now generally available

Dwa nowe SDK dostępne w GA.

Mountpoint for Amazon S3 CSI driver is now generally available

Dostępny jest Container Storage Interface umożliwiający podłączenie bucket S3 do Kubernetesa. Nie działa z kontenerami Windows I Fargate. Tutaj więcej na ten temat.

Announcing the Amazon S3 Express One Zone storage class

Nowa klasa storage w usłudze S3, która umożliwia szybszy dostęp do plików. AWS obiecuje dostęp na poziomie pojedynczych milisekund. Potrafi automatycznie skalować się do milionów operacji na minutę.

Zredukowano także koszt requestów, ale podniesiono za to koszt przechowywania danych. Dostępny jest także mountpoint dla nowej klasy.

Więcej na launch blogu.