SPEC, Intel derleyicisinin belirli bir sürümünü çalıştıran Intel CPU’lar için SPEC CPU 2017 sonuçlarını artık yayınlamayacağını belirterek, belirli bir iş yükü için görünürde hedeflenen optimizasyondan duyulan hoşnutsuzluğu öne sürüyor (üzerinden) ServeTheHome Ve Phoronix) bu aslında hile yapmak anlamına gelir. Soruna neden olan derleyiciyle yayınlanan 2.600’den fazla kıyaslama sonucuna, çoğunlukla 4. Nesil Xeon Sapphire Rapids CPU’ları çalıştıran makinelerden gelen bu sonuçları etkili bir şekilde geçersiz kılan bir not eklendi.
SPEC CPU 2017, çoğunlukla üst düzey sunucular, veri merkezleri ve iş istasyonları/PC’ler için kullanılan bir kıyaslamadır ve farklı bilgisayarların birbirleriyle karşılaştırılabilmesi için çeşitli iş yüklerindeki performansı standartlaştırılmış bir şekilde test eder. SPEC CPU 2017’deki iyi performans yalnızca donanıma değil aynı zamanda yazılıma da bağlıdır. Yazılım tarafı optimizasyonundaki temel faktörlerden biri, temelde yazılı kodu alan ve onu bir işlemcinin en iyi şekilde çalıştırabileceği şekilde yeniden biçimlendiren bir program olan derleyicidir.
Şu anda 2.600’den fazla SPEC CPU 2017 sonucuna bağlı olduğuna dair sorumluluk reddi beyanında şu ifade yer alıyor: “Bu sonuç için kullanılan derleyici, önsel bilgi kullanarak 523.xalancbmk_r / 623.xalancbmk_s kıyaslamalarının performansını özel olarak artıran bir derleme gerçekleştiriyordu.” Bu, derleyicinin (bu durumda Intel’in oneAPI DPC++/C++ Derleyicisi) belirli bir iş yükü türü, hatta belirli uygulamalar için değil, özellikle iki SPEC CPU 2017 karşılaştırması için optimize edildiği anlamına gelir.
Daha fazla performansın açıkça daha iyi olması nedeniyle derleyicilerin optimize edilmesi beklenirken, özellikle kıyaslamalar için optimizasyon yapılması tartışmalıdır ve hoş karşılanmaz. SPEC, kıyaslama ölçütlerinin donanımın gerçek dünyadaki performansını yansıtmasını ve farklı işlemcileri karşılaştırmak için standartlaştırılmış bir yol sağlamasını istiyor. Ancak derleyici optimizasyonu, gerçek dünya senaryosunda değil, yalnızca belirli bir kıyaslamada performansı artırıyorsa, bu durum açıkça gerçek dünyayı yansıtmaz ve yalnızca söz konusu belirli kıyaslamada yansıtılır.
Buna göre Phoronix, optimizasyon SPECint’teki performansı genel olarak %9 artırabilir. Yayın ayrıca Intel oneAPI Derleyicisinin 2022.0 ila 2023.0 sürümlerinin de etkilendiğini, yani artık geçersiz kılınan sonuçların çoğunun 2022’de büyük ölçüde Sapphire Rapids CPU’larda çalıştırıldığı anlamına geldiğini belirtiyor. Beşinci nesil Xeon Emerald Rapids CPU’larının sonuçları, Emerald Rapids’in derleyicinin iyi sürümleri mevcut olduktan sonra ortaya çıkmasından bu yana, derleyicinin yasaklı optimizasyona sahip bir sürümünü çalıştırması pek olası değildir.
Karşılaştırmaya özel optimizasyon yıllardır gündemde olan bir konu. 2003 yılında Nvidia, 3DMark 2003’te GPU’larının performansını artırmak için sürücü tarafında bir optimizasyon yapmakla suçlanmıştı. 2010 yılında Nvidia, AMD’nin, önemli ölçüde olumsuz etki yaratacak bazı sürücü tarafı ayarlarını etkinleştirmeyerek gerçek oyunlarda hile yaptığını iddia etmişti. Performans pahasına görsel kaliteyi artırdı. SPEC bu durumda Intel’i kesinlikle utandırsa da, bugünlerde suçlamalar o kadar da hararetli değil.