Bilim insanları, çift katmanlı Markov DRL mimarisiyle dağıtılmış uydu kümesi lazer ağ algoritması üzerinde çalışıyor

Uydu ağlarının, uzay-hava-yer entegre ağlarının ve Nesnelerin İnterneti’nin gelişmesiyle birlikte geleceğin dev takımyıldızları, yüksek çözünürlüklü Dünya gözlemleri, insanlı uzay araçları, uzay istasyonları ve diğer uzay tabanlı bilgi sistemleri, Büyük kapasiteli alan ağı ve bilgi aktarımına yönelik giderek artan acil talep.

Uzaya dağıtılmış uydu kümesi (DSC), uzayda büyük kapasiteli, yüksek hızlı ağ oluşturma ve bilgi iletimi ve alışverişi sağlamak amacıyla dağıtılmış yüklerle işbirliği yapmak için aynı yörüngede birden fazla heterojen uydu kullanarak tek uydu platformlarının kaynak kısıtlamalarının ve teknik darboğazlarının üstesinden gelir. Yukarıda belirtilen ihtiyaçlara etkili bir çözüm sunmaktadır.

Aynı yörüngedeki çoklu uyduların göreceli konumlarının yüksek hızlı değişimi ve uydu kaynaklı optik faz dizili antenlerin görünür durum kısıtlamaları, DSC topolojisinin dinamik olarak zamanla değişen ve aralıklı bağlantı kesintileri olmasına neden olur. Bu iki durum altında hızlı topoloji yeniden yapılandırması ve dinamik sürekli ağ oluşturma problemlerinin çözülmesi gerekmektedir.

Yakın zamanda yayınlanan bir araştırma makalesinde Uzay: Bilim ve TeknolojiSun Yat-Sen Üniversitesi Sistem Bilimi ve Mühendisliği Okulu ve Sistem Mühendisliği Enstitüsü, AMS’den akademisyenler, birlikte DSC’nin lazer ağı için çok amaçlı bir optimizasyon modeli geliştirdiler ve çift katmanlı bir Markov DRL mimarisi tabanlı DSC lazer ağı önerdiler algoritma.

Bu algoritma, dinamik zamanla değişen topoloji ve DSC’nin aralıklı bağlantı kesintisi koşulları altında hızlı topoloji yeniden yapılandırması ve dinamik sürekli ağ oluşturmayı başarır, ağ bağlantısını ve ağ süresini maksimuma çıkarır ve ağ bağlantı matrisi bozulmasını en aza indirir.

İlk olarak yazarlar sistem modelini ve problem tanımını verirler. DSC’nin N GEO uydu düğümlerinden oluştuğu varsayılmaktadır. DSC’deki her uydu, sırasıyla uydunun kuzey ve güney taraflarında bulunan iki çift optik çok ışınlı antenle yüklenir. i uydusunun k anteni ve j uydusunun l anteni karşılıklı olarak görülebildiğinde ve bit hata oranı kısıtını karşıladığında aralarında kullanılabilir bir bağlantı olduğu kabul edilir.

Tüm uydu düğümlerini analiz ederek, L matrisi olarak gösterilen tüm DSC’nin mevcut bağlantıları elde edilebilir._mürekkep 0 veya 1 elemanlı. L matrisine göre_mürekkepbağlantı matrisi A_nt Her uydunun taşıdığı antenlerin sayısı elde edilebilir ve ayrıca T bağlantı matrisi elde edilebilir._P DSC’nin tamamı elde edilebilir.

DSC ağ oluşturma sürecinde, ağ bağlantısı, ağ süresi ve ağ bağlantı matrisi bozulmasının hedef olarak belirlendiği ağ topolojisinin yeniden yapılandırılması ve sürekli ağ oluşturma için çok amaçlı bir optimizasyon modeli oluşturulur. Bu çok amaçlı optimizasyon probleminin hesaplama karmaşıklığı O(2)^{NdoygunlukNkarınca}). Tipik bir NP-zor problemi olan karışık tamsayılı programlama problemidir.

Daha sonra yazarlar, sorunu çözmek için çift katmanlı Markov karar modeline dayalı bir derin takviyeli öğrenme algoritması DLM-DRL önermektedir.

Optimizasyon süreci, her uydunun konumunu ve lazer bağlantılarının durumunu elde etmek için DSC’nin operasyonel durumunu sürekli olarak takip eder; tüm DSC’nin mevcut bağlantılarını hesaplayın; DSC ağının bağlı olup olmadığını kontrol edin; evet ise sistem DSC’nin çalışma durumunu izlemeye devam eder; aksi takdirde uydular arasındaki lazer bağlantılarını yeniden oluşturmak için DLM-DRL algoritması çağrılacak ve algoritma sonucuna göre DSC ağı yeniden oluşturulacaktır.

DLM-DRL algoritmasında, DSC ağının topoloji değişikliği olayları karar düğümleri olarak modellenir ve çoklu topoloji değişikliği olaylarının kapsamlı topoloji optimizasyon süreci, bir Markov karar süreci olarak modellenir; her topoloji değişikliği olayının optimizasyon kararı, Markov karar süreciyle de tanımlanabilecek bir dizi lazer bağlantı seçim eyleminden oluşur.

Bu nedenle DSC’nin topoloji optimizasyon süreci için iç ve dış Markov karar süreçlerine sahip çift katmanlı bir Markov karar modeli kurulmuştur.

İç katman, DSC’deki mevcut lazer bağlantılarının seçim sürecidir; burada her durum, bir lazer bağlantısının bağlanıp bağlanmayacağını temsil eder; dış katman, DSC’deki farklı ağ topolojisi değişiklik olaylarıdır; burada her olay, iç katman Markov karar sürecinin sonucunu kendi eylemi olarak alır ve onu optimize eder. Bu çift katmanlı Markov süreç modeline dayanarak hiyerarşik bir derin takviyeli öğrenme mimarisi önerilmektedir.

Son olarak yazarlar, tipik bir DSC uygulama senaryosunda DLM-DRL’yi simüle eder ve simülasyon sonuçlarını özetler. Simülasyonlar temel olarak iki bölüme ayrılmıştır: birincisi, DSC’nin çalışma sürecini STK11.2 yazılımı ile simüle etmek için bir uzay ortamı oluşturmak, diğeri ise ortamdaki DLM-DRL algoritmasını eğitmek ve doğrulamaktır.

Sonuçlar, algoritma yakınsaması açısından, önerilen DLM-DRL algoritmasının yakınsamayı nispeten kısa sürede tamamlayabildiğini ve yakınsama hızının hızlı olduğunu göstermektedir. Optimizasyon sonuçları açısından, algoritma, ağ topolojisi yeniden yapılandırmasını hızlı ve verimli bir şekilde tamamlayabilir ve simülasyon döngüsü boyunca dinamik zamanla değişen topoloji ve aralıklı bağlantı kesintileri ile DSC ağlarının bağlantısını tam olarak sağlayabilir.

Bu arada, DLM-DRL algoritması, farklı optimizasyon görevi hedeflerini ayarlayarak, farklı dağıtılmış takımyıldızı ağı gereksinimlerini karşılamak için daha yüksek bağlantı, daha az topoloji değişikliği veya daha uzun topoloji bakım süresi gibi farklı hedeflere sahip optimizasyon sonuçları sağlayabilir.

Ayrıca DLM-DRL algoritmasının NSGA-II ve PSO algoritmalarıyla karşılaştırılması, NSGA-II ve PSO algoritmalarıyla aynı optimizasyon sonuçlarını korurken, DLM-DRL algoritmasının ağ topolojisi optimizasyon süresini önemli ölçüde kısaltabildiğini ve gereksinimlere uyum sağlayabildiğini göstermektedir. Hızlı topoloji yeniden yapılandırması ve DSC’nin dinamik sürekli ağ oluşturması.