Wyniki testów aplikacyjnych pomagają ocenić wydajności zamawianych komputerów

Urząd Zamówień Publicznych wydał w 2010 roku rekomendacje w sprawie „Udzielania zamówień publicznych na dostawę zestawów komputerowych” (zaktualizowane w styczniu 2012 r.).

Jednym z zaleceń był zapis dotyczący określenia wymaganej wydajności komputera poprzez preferowanie odwoływania się do testów aplikacyjnych (punkt 3.4. ww. rekomendacji).

Z danych udostępnionych przez Polską Izbę Informatyki i Telekomunikacji wynika, że w coraz większej liczbie opisów przedmiotu zamówienia jest oczekiwany wynik osiągany w testach syntetycznych takich jak: PassMarkC, PC Mark 05, 3DMark06 i SiSoft Sandra.

W 2014 r. udział procentowy zamówień, w których przewidywano testy syntetyczne w łącznej liczbie zamówień na zestawy komputerowe ilustruje przedstawiona poniżej tabela².

* Obejmuje wszystkie postępowania na zestawy komputerowe, łącznie z tymi, w których nie wykorzystywano testów do oceny wydajności

Przyczyną popularności stosowania testów syntetycznych są prawdopodobnie następujące ich cechy:

1. łatwa dostępność wyników testów na stronach internetowych,
2. bezpłatne wersje (najczęściej 30-dniowe),
3. krótki czas przeprowadzenia testu – zazwyczaj około 10 minut.

Należy jednak wskazać na poniższe okoliczności, które dotyczą znakomitej większości testów syntetycznych:

1. Testy syntetyczne przeważnie nie spełniają wymogu niezależności organizacji opracowującej dany zestaw testów,  gdyż  ich twórcami są firmy komercyjne;
2. Metoda testowa jak i algorytm kalkulacji wyniku nie jest udokumentowany;
3. Wyniki testów nie są powtarzalne;
4. Wyniki testów udostępniane w internecie ustalane są na podstawie testów wysłanych przez  użytkowników indywidualnych;
5. Nie jest znana metoda kalkulacji wyniku testu prezentowanego w internecie;
6. Wyniki testów są silnie uzależnione od konfiguracji całego komputera (pamięć, karta graficzna, dysk, wersje oprogramowania, etc.).

Przy czym należy wskazać, że szczególnie istotna jest okoliczność wymieniona w pkt 5 i 6.

W przypadku większości testów syntetycznych publikowany na stronie internetowej wynik powstaje na podstawie nadesłanych przez użytkowników danych. Im mniejsza jest całkowita liczba przekazanych wyników testów danego procesora, tym łatwiej jest zmienić publikowany średni wynik przez przeprowadzenie testów na odpowiednio dobranej konfiguracji komputera, niekoniecznie tej, która dostarczana jest później w ramach zamówienia publicznego.

Łatwa możliwość zmiany publikowanych wyników testów dotyczy w szczególności nowych procesorów, lub procesorów z krótkich serii. Dobrą ilustrację problemu stanowi wyrok Krajowej Izby Odwoławczej (sygn. akt: KIO 1941/11).

Konsekwencją zastosowania testów syntetycznych może być zakup komputerów, nie odpowiadających wymaganiom zamawiającego. Publikowane na stronach internetowych wyniki testów syntetycznych mogą dotyczyć komputerów zbudowanych z zupełnie innych elementów, niż te użyte w dostarczanym zestawie, a jedynym elementem wspólnym może być typ zastosowanego procesora.

Zgodnie z informacją zawartą w „Rekomendacjach” (punkt 3.4), w znakomitej większości zamówień zestawów komputerowych właściwą metodą oceny wydajności są wyniki odpowiednio dobranych testów aplikacyjnych. Należy zaznaczyć, że metodyka przeprowadzania tych testów oraz sposób udostępniania wyników dają nieporównanie lepszą powtarzalność i stanowią doskonalszy sposób oceny wydajności. Zamawiający jest znacznie mniej narażony na ryzyko zakupu sprzętu, który pomimo formalnej zgodności z wymaganiami odbiega od faktycznych oczekiwań.

Podtrzymując powyższe wnioski, należy jednocześnie wskazać, że rozwój technologii w branży IT od czasu opublikowania ,,Rekomendacji’’, miał znaczący wpływ m.in. na aktualizację powołanych w ich treści wybranych testów aplikacyjnych oraz dodatkowo doprowadził do stworzenia nowych rozwiązań w tym zakresie.

Z tego powodu, zaleca się stosowanie obecnie dostępnych, wymienionych przykładowo w tabeli testów aplikacyjnych:

Z powyższych względów testy aplikacyjne powinny być stosowane przez zamawiających jako podstawowa metoda opisu oczekiwanej wydajności komputera.