OpenAI Codex korporativ model inferensiyası üçün Amazon Bedrock ilə birləşir

Amazon Web Services, dəstəklənən OpenAI modelləri üçün inferensiya backend-i kimi Amazon Bedrock ilə OpenAI Codex-i işlətmək üçün təlimat dərc edib. Yazı, platform komandalarına tərtibatçıların iş stansiyalarında Codex istifadəsini verməklə yanaşı mövcud AWS identifikasiya, təhlükəsizlik və müşahidə təcrübələrini saxlamağa imkan verən üç yayılma yolunu təsvir edir.

Codex-in Bedrock üzərində işləməsi üçün üç yayılma yolu

Ən sadə yol Native AWS Access yoludur; o, işçilərin daxil olması üçün IAM Identity Center-dən və müvəqqəti etimadnamələrdən istifadə edir. Tərtibatçılar mövcud identifikasiya provayderi vasitəsilə daxil olur və Codex Amazon Bedrock Runtime-ı birbaşa çağırır. İkinci yol, AgentCore Gateway, mərkəzləşdirilmiş marşrutlandırma və Amazon Bedrock Guardrails üçün AWS tərəfindən idarə olunan gateway infrastrukturunu təmin edir. Üçüncü yol, LLM Gateway, artıq gateway işlədən və ya sorğu yolunda nəzarət tətbiq etmək istəyən təşkilatlar üçün uyğundur; xüsusi integrasiya bu seçimin qabaqcıl versiyasıdır. Hər yol fərqli nəzarət tələblərini məsul komandaya bağlayır və təlimat tələbi qarşılayan ən az mürəkkəb yoldan başlamağı tövsiyə edir.

Pilot yoxlaması və identifikasiya izolyasiyası

Təlimat kiçik, ən az səlahiyyətli pilotla başlayır. İlkin şərtlərə işçilərin identifikasiya sistemində pilot istifadəçilər üçün ayrıca qrup yaratmaq, IAM Identity Center-ə köçürmək, Amazon Bedrock regionu və GPT-5.6 Sol kimi mövcud OpenAI modelini seçmək, həmçinin yalnız tələb olunan model inferensiyası icazələrini vermək daxildir. Pilot AWS girişi birbaşa Bedrock Runtime çağırışı ilə yoxlayır, Codex provayderini təsdiqlənmiş model və profil istifadə etmək üçün konfiqurasiya edir və qeyri-prodaksiya depoda təhlükəsiz, yalnız oxumaq üçün tapşırıq icra edir. İki istifadəçili identifikasiya izolyasiyası yoxlaması təmin edir ki, ayrı pilot istifadəçiləri eyni təsdiqlənmiş Codex və Bedrock yolunu paylaşsalar da, fərqli assumed-role sessiyaları, audit qeydləri və telemetriya yaratsınlar.

Müşahidə, xərc bölgüsü və idarəetmə

Müşahidə AWS Distro for OpenTelemetry kollektorundan və idarə olunan CloudWatch tablosundan istifadə edərək token istifadəsi, növbələr, API sorğuları və alət çağırışları kimi Codex müştəri metriklərini toplayır. Amazon Bedrock xidmət metrikləri, AWS identifikasiya qeydləri və Xərc və İstifadə Hesabatı xidmət tərəfli fəaliyyət, atribusiya və fakturalaşdırılmış istifadəni təmin edir. Təlimat bu mənbələri yerləşdirilmiş yol üçün əlaqələndirməyi və token həcmini xərc hesabatı kimi təqdim etməməyi vurğulayır. Nəzarət testlərinə aşkarlama üçün alarmlar, giriş sərhədləri üçün IAM və idarə olunan müştəri nəzarətləri, eləcə də sərt büdcələr və ya sürət məhdudiyyətləri kimi sorğu yolunda tətbiq üçün gateway siyasəti daxildir.

Mərhələli genişlənmə və konfiqurasiya sərhədləri

İnfrastruktur yolu işlədikdən sonra yayılma təşkilata məxsus plugin-lər, hook-lar və təsdiqlənmiş Model Context Protocol serverləri vasitəsilə tərtibatçı təcrübəsini standartlaşdırır. Plugin-lər versiyalaşdırma və nəzərdən keçirmə ilə paylaşılan bacarıqları və MCP integrasiyalarını paylayır. Hook-lar PreToolUse, PostToolUse və ya SessionStart hadisələrində siyasət əmrlərini tətbiq edir. MCP serverləri ayrıca etimad sərhədləri yaradır və məhdud giriş, təsdiqlənmiş etimadnamə idarəsi və xarici dəyişikliklər üçün istifadəçi təsdiqi tələb edir. Administrator işə salma yoxlama siyahısı seçilmiş yolu, məsul komandanı, regionu, modeli və pilot icazələrini qeyd edir və daxil olma, model mövcudluğu və təhlükəsiz Codex tapşırığını əhatə edən qeyri-prodaksiya testi tələb edir. Təmizləmə Codex konfiqurasiyasını, IAM təyinatlarını, gateway girişi, telemetriya kollektorlarını və pilot tablolarını silir, yeni çağırışların rədd edildiyini yoxlayır.

Mənbələr: AWS Machine Learning Blog