KIO 2547/12

Sygn. akt: KIO 2547/12 WYROK z dnia 3 grudnia 2012 r. Krajowa Izba Odwoławcza - w składzie: Przewodniczący: Agnieszka Bartczak-śuraw Protokolant: Paweł Nowosielski po rozpoznaniu na rozprawie w dniu 3 grudnia 2012 r. w Warszawie odwołania wniesionego do Prezesa Krajowej Izby Odwoławczej w dniu 19 listopada 2012 r. przez wykonawcę COMBIDATA Poland Sp. z o.o., ul. E. Plater 12, 81-777 Sopot w postępowaniu prowadzonym przez Polską Agencję Rozwoju Przedsiębiorczości, ul. Pańska 81/83, 00- 834 Warszawa, przy udziale wykonawców wspólnie ubiegających się o udzielenie zamówienia: Instytut Edukacji Interaktywnej Estakada.pl Sp. z o.o., Betacom S.A., ul. Grzybowskiej 80/82, 00-844 Warszawa zgłaszających swoje przystąpienie do postępowania odwoławczego po stronie zamawiającego. orzeka: 1. oddala odwołanie; 2. kosztami postępowania obciąża COMBIDATA Poland Sp. z o.o., ul. E. Plater 12, 81-777 Sopot i zalicza w poczet kosztów postępowania odwoławczego kwotę 15 000 zł 00 gr (słownie: piętnaście tysięcy złotych zero groszy) uiszczoną przez COMBIDATA Poland Sp. z o.o., ul. E. Plater 12, 81-777 Sopot tytułem wpisu od odwołania. Stosownie do art. 198a i 198b ustawy z dnia 29 stycznia 2004 r. - Prawo zamówień publicznych (t.j. Dz. U. z 2010 r. 113, poz. 759 ze zm.) na niniejszy wyrok - w terminie 7 dni od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej Izby Odwoławczej do Sądu Okręgowego w Warszawie. Przewodniczący: …………….. Sygn. akt KIO 2547/12 Uzasadnienie Polska Agencja Rozwoju Przedsiębiorczości ul. Pańska 81/83, 00-834 Warszawa (dalej „Zamawiający”) prowadzi w trybie dialogu konkurencyjnego postępowanie o udzielenie zamówienia publicznego na podstawie ustawy z dnia 29 stycznia 2004 r. Prawo zamówień publicznych (t.j. Dz.U. z 2010 r., Nr 113, poz. 759, z późn. zm.) (dalej „ustawa Pzp”) pn. "Akademia PARP 2102". Wartość przedmiotowego zamówienia na usługi oszacowano na kwotę większą niż wyrażona w złotych równowartość kwoty określonej w przepisach wydanych na podstawie art. 11 ust. 8 ustawy Pzp. Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii Europejskiej z 12 maja 2011 r. pod numerem 2011/S 91-149238 W dniu 19 listopada 2012 r. do Prezesa Krajowej Izby Odwoławczej wpłynęło odwołanie wykonawcy COMBIDATA Poland sp. z o.o. ul. Emilii Plater 12, 81-777 Sopot (dalej „Odwołujący”) wobec czynności Zamawiającego polegającej na dokonaniu oceny oferty Odwołującego niezgodnie z opisanymi zasadami oceny w Specyfikacji Istotnych Warunków Zamówienia (dalej "SIWZ") skutkującej wyborem jako najkorzystniejszej w przedmiotowym postępowaniu oferty złożonej przez Wykonawców wspólnie ubiegających się o udzielenie zamówienia, którymi są: Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą w Warszawie i Betacom S.A. z siedzibą w Warszawie. Opisanym wyżej czynnościom Zamawiającego Odwołujący zarzucał naruszenie art. 91 ust. 1 ustawy Pzp poprzez błędną ocenę oferty Odwołującego. Odwołujący wskazywał, że wiadomość o okolicznościach stanowiących podstawę złożenia odwołania powziął dnia 12 listopada 2012 roku, to jest w dniu odebrania przesłanej pocztą elektroniczną informacji o wyborze oferty najkorzystniejszej w przedmiotowym postępowaniu. Niniejsze odwołanie złożone zostało w dniu 19 listopada 2012 roku. Uwzględniając powyższe, termin na wniesienie niniejszego odwołania został dochowany. Odwołujący podnosił, iż ma interes w uzyskaniu zamówienia, albowiem zaskarżona czynność Zamawiającego poprzez zaniżoną ocenę oferty Odwołującego uniemożliwia Odwołującemu uzyskanie tego zamówienia. Gdyby Zamawiający nie naruszył przepisów ustawy Pzp, oferta Odwołującego powinna być wybrana przez Zamawiającego jako oferta najkorzystniejsza, co oznacza, iż Odwołujący w wyniku naruszenia przez Zamawiającego przepisów ustawy Pzp może ponieść szkodę. Mając na uwadze powyższe, Odwołujący wnosił o: 1) unieważnienie czynności wyboru za najkorzystniejszą oferty złożonej przez Wykonawców wspólnie ubiegających się o udzielenie zamówienia, którymi są: Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą w Warszawie i Betacom S.A. z siedzibą w Warszawie; 2) powtórzenie czynności badania i oceny ofert; 3) powtórzenie czynności wyboru oferty najkorzystniejszej. Odwołujący wskazywał, że Zamawiający, prowadząc przedmiotowe postępowanie o udzielenie zamówienia publicznego „Akademia PARP 2012”, dokonał wyboru oferty najkorzystniejszej i w myśl dyspozycji art. 92 ust. 1 ustawy Pzp przekazał m.in. wyniki oceny ofert, które pokazały, iż oferta nr 1 (złożona przez Odwołującego uzyskała 20 punktów w kryterium „cena”, 43,97 punktu w kryterium „L1” (ocena materiału źródłowego oraz lekcji demo nr 1) oraz 20,74 punktu w kryterium „L2” (ocena lekcji demo nr 2 - tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności), co łącznie daje 84,71 punktu, natomiast uznana za najkorzystniejszą oferta nr 5, złożona przez Wykonawców wspólnie ubiegających się o udzielenie zamówienia, którymi są: Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą w Warszawie i Betacom S.A. z siedzibą w Warszawie, uzyskała 12,50 punktu w kryterium "cena”, 49,67 punktu w kryterium „L1” oraz 30 punktów w kryterium „L2”, co łącznie daje 92,17 punktu. W wyniku analizy kart ocen ofert udostępnionych przez Zamawiającego jako fragment protokołu postępowania o udzielenie zamówienia publicznego Odwołujący ustalił, iż Zamawiający błędnie ocenił jego ofertę. Błędna ocena dotyczy dwóch punków kryterium oceny: 4 i 5 w części „L1” podkryterium a). śadna z osób oceniających ofertę Odwołującego wyniku dokonywania „oceny LI” nie przyznała punktów w podkryterium

1. a)w punktach 4 (czy prawidłowo zoperacjonalizowano cele - max. 4 punkty) i 5 (czy cele zostały prawidłowo sformułowane - max. 3 punkty). Nieprzyznanie punktów oceniający uzasadnili następująco. Oceniający AS: „Cele poszczególnych zagadnień nie zostały określone - 0 pkt. tym samym nie są logicznie powiązane - 0 pkt, czy cele zagadnień nie powielają się? - brak celów 0 pkt. Czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji (w ekranach, ćwiczeniach)? - brak celów 0 pkt. Cele operacyjne nie zostały sformułowane - 0 pkt, Czy nie są zbyt ogólne ani zbyt szczegółowe? - 0 pkt - brak celów, Czy są sformułowane w sposób motywujący uczestnika do nauki? - 0 pkt - brak celów. ”. Oceniający RM: „Cele poszczególnych zagadnień nie zostały określone. - przyznano 0punktów za pytanie „ Czy prawidłowo zoperacjonalizowano cele? ”. Cele operacyjne nie zostały sformułowane - przyznano 0 punktów za prawidłowość sformułowania celów. ” Oceniający ST: „Cele operacyjne nie zostały sformułowane- przyznano 0 punktów za prawidłowość sformułowania celów. Cele operacyjne nie zostały sformułowane w sposób motywujący uczestnika do nauki - przyznano 0 punktów. Cele nie zostały określone, więc nie można ocenić czy nie są zbyt ogólne, ani zbyt szczegółowe - przyznano 0 punktów”. Z powyżej cytowanych uzasadnień oceniających wynikać miałoby, iż Odwołujący w swojej ofercie w ogóle nie wskazał celów. Tymczasem na stronie 19 oferty Odwołującego w punkcie 5.1 przedstawiono cele lekcji, na stronie 20, w punkcie 5.4 przedstawiono informacje dotyczące prawidłowego zoperacjonalizowania celów, a na stronie 21, w punkcie 5.5 przedstawiono informacje dotyczące prawidłowego sformułowania celów. I dalej, na stronie 25 przedstawiającej ekran 2 scenariusza lekcji potwierdzono przedstawienie celów lekcji w tekście przekazywanym przez awatarkę/reporterkę. W tym stanie rzeczy odpowiedzi na 4 pytania kontrolne punktu 4 podkryterium
2. a)kryterium oceny ofert „Koncepcja realizacji usługi”, oraz odpowiedzi na 3 pytania kontrolne punktu 5 tegoż kryterium powinny być twierdzące, co powinno skutkować przyznaniem ofercie Odwołującego przez każdego z oceniających oceny o siedem punktów wyższej. Odwołujący kwestionował także liczbę punków przyznanych za nowatorstwo i interaktywności lekcji Akademii PARP. Liczba zaproponowanych i opisanych nowych multimediów i interaktywności, niewystępujących w innych lekcjach Akademii PARP, przez każdą z osób oceniających oferty z przedstawionych przez Odwołującego 51 propozycji funkcjonalności i interaktywności zakwalifikowała 47 nowości, ponieważ funkcjonalności nr 11 oraz nr 12 zostały uznane jako nowość, jednak jednocześnie potraktowano je jako pojedynczą funkcjonalność, a funkcjonalności o numerach 15, 17 oraz 20 nie zostały uznane jako nowości, ponieważ występują w lekcjach Akademii PARP. Tymczasem funkcjonalność nr 11 sterowana przyciskiem SCHOWAJ MENU umożliwia ukrycie dolnej belki nawigacyjnej z dodatkowymi opcjami, a funkcjonalność nr 12 sterowana przyciskiem POKAś MENU umożliwia ponowne odkrycie dolnej belki nawigacyjnej z dodatkowymi opcjami. Wszystkie ekrany materiałów demonstracyjnych posiadają funkcjonalność umożliwiającą ukrywanie przycisków funkcyjnych znajdujących się na belce nawigacyjnej. W każdej z próbek pasek ten jest domyślnie włączony. Użytkownik ma możliwość ukrywania i odkrywania belki modyfikując tym samym wygląd ekranu. W związku z tym należy przyjąć, że są to dwie odrębne interakcje. Z kolei funkcjonalność nr 15 to przycisk SPRÓBUJ PONOWNIE, który znajduje się na ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może ponownie rozwiązać ćwiczenie. Ekrany ćwiczenia oraz testu w produktach Akademii PARP nie posiadają przycisku SPRÓBUJ PONOWNIE. W teście Akademii PARP dostępny jest przycisk Czyść o jedynie zbliżonej funkcjonalności, jednak nie w pełni odwzorowującej działanie przycisku SPRÓBUJ PONOWNIE. Przycisk Czyść, wyłącznie odznacza (czyści) odpowiedź udzieloną przez użytkownika, przycisk SPRÓBUJ PONOWNIE nie tylko czyści odpowiedzi udzielone przez użytkownika, ale również uruchamia zespół funkcjonalności, które sprawiają, że wszystkie procedury komponentu uruchamiają się od nowa np. losowane są położenia odpowiedzi dla pytania. W przypadku użycia przycisku SPRÓBUJ PONOWNIE w ćwiczeniu udzielone odpowiedzi zostałyby nie tylko wyczyszczone, ale również kolejność poszczególnych odpowiedzi zostałaby ponownie ustalona. Ma to znaczącą zaletę dydaktyczną głównie w ćwiczeniach jednokrotnego wyboru, ponieważ w tym samym pytaniu nie zawsze np. pierwsza odpowiedź od góry będzie prawidłowa. Ponadto przycisk SPRÓBUJ PONOWNIE występuje wyłącznie w ćwiczeniach, w teście jego działanie byłoby nieuzasadnione, tak samo z resztą jak przycisku Czyść w testach PARP, skoro kliknięcie w inną odpowiedź automatycznie czyści tę dotychczas zaznaczoną. Przycisk Czyść jest elementem nadmiarowym w przypadku testów PARP w przeciwieństwie do elementu SPRÓBUJ PONOWNIE w przykładzie ćwiczenia zaproponowanego w produkcie Odwołującego. W związku z powyższym nie można zgodzić się z oceną przedstawioną przez Zamawiającego, iż przedstawiona funkcjonalność występuje w lekcjach Akademii PARP. Funkcjonalność 17 natomiast to przycisk SPRAWDŹ, który znajduje się na ekranach z komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał dane ćwiczenie lub interakcję. Ekrany ćwiczenia oraz testu w produktach Akademii PARP nie posiadają przycisku SPRAWDŹ. W teście Akademii PARP użytkownik, po zatwierdzeniu udzielonej odpowiedzi przechodzi do następnego pytania i nie ma możliwości sprawdzenia, czy udzielona przez niego odpowiedź do obecnie wyświetlonego pytania jest prawidłowa. W testach Odwołującego użytkownik przed przejściem do kolejnego pytania może jednocześnie zatwierdzić i sprawdzić czy udzielił poprawnej czy niepoprawnej odpowiedzi na dane pytanie przyciskiem SPRAWDŹ, co jest absolutną nowością funkcjonalną testów w stosunku do produktu Akademia PARP. Użytkownik w trakcie korzystania z testu może na bieżąco monitorować swoje wyniki, co jest niemożliwe w przypadku testu w Akademii PARP. Sposób działania przycisku ZATWIERDŹ w testach Akademii PARP jest nadmiarowy - z punktu widzenia użytkownika przycisk ten, nic nie wnosi, zmuszając do zwiększenia ilości kliknięć w celu przejścia do kolejnego pytania. Zatwierdzeniem udzielonej odpowiedzi mogłoby być przejście do kolejnego ekranu za pomocą przycisku DALEJ. Tak jak w przypadku testów Odwołującego, gdzie przycisk DALEJ ma funkcjonalność zatwierdzania pytania i przejścia do kolejnego bez jego sprawdzania, co można w tej sytuacji uznać jako nową, niewspomnianą wcześniej funkcjonalność, ale istniejącą w próbce przesłanej Zamawiającemu. W końcu funkcjonalność nr 20 to ekran pojawiający się po kliknięciu przycisku ZAMKNIJ potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu. W szkoleniach Odwołującego ekran potwierdzający chęć wyjścia z testu w trakcie jego trwania ma za zadanie uchronienie użytkownika przed uzyskaniem statusu „failed” w lekcji. W szkoleniach Odwołującego zanim użytkownik dojdzie do części zadaniowej w teście status lekcji jest ustawiony na „incomplete" aż do momentu wejścia na pierwsze pytanie, zgodnie ze standardem SCORM. W testach Akademii PARP ekran ten nie ma takiej funkcjonalności, ponieważ samo uruchomienie lekcji powoduje już zmianę statusu lekcji na „failed”, pomimo że użytkownik nie przeszedł jeszcze do zadaniowej części testu. Rzeczywiście w obu produktach Akademii PARP i Odwołującego ekran ten uruchamiany jest w analogicznych sytuacjach (w części zadaniowej testu) jednak ich przeznaczenie bezsprzecznie się różni. W świetle powyższego oceny przyznane ofercie Odwołującego przez każdego z oceniających powinny być o cztery punkty wyższe. Reasumując po zastosowaniu kryteriów oceny ofert zapisanych w SIWZ przez Zamawiającego oferta Odwołującego powinna uzyskać ocenę w wysokości 92,50 punktu, a oferta uznana przez Zamawiającego za najkorzystniejszą - ocenę w wysokości 91,56 punktu. Nadmienić należy, iż gdyby oferta Odwołującego wybrana została najkorzystniejszą w przedmiotowym postępowaniu, to rozstrzygnięcie takie skutkowałoby oszczędnościami środków publicznych po stronie zamawiającego w wysokości przekraczającej 7 milionów złotych. Skoro zatem Zamawiający ocenił oferty sprzecznie z określonymi w SIWZ kryteriami, a więc dopuścił się złamania art. 91 ust. 1 ustawy Pzp. W świetle powyższego Odwołujący wnosił jak w petitum. Kopia odwołania została przekazana Zamawiającemu 19 listopada 2012 r. W dniu 19 listopada 2012 r. Zamawiający wezwał do wzięcia udziału w postępowaniu odwoławczym i przekazał kopię odwołania. W dniu 22 listopada 2012 r. do Prezesa Krajowej Izby Odwoławczej wpłynęło zgłoszenie przystąpienia do postępowania odwoławczego po stronie Zamawiającego wykonawców wspólnie ubiegających się o udzielenie zamówienia: Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. z siedzibą przy ul. Grzybowskiej 80/82, 00-844 Warszawa oraz Betacom S.A. z siedzibą przy ul. Połczyńskiej 31A, 01-377 Warszawa (dalej także jako "Przystępujący"). Przystępujący wskazywał, że podmioty, których oferta została uznana za najkorzystniejszą w niniejszym postępowaniu o udzielenie zamówienia publicznego posiadają interes w uzyskaniu rozstrzygnięcia na korzyść Zamawiającego. W uzasadnieniu Przystępujący wskazywał, że pismem z dnia 9 listopada 2012 Wykonawcy biorący udział w przedmiotowym postępowaniu o udzielenie zamówienia publicznego prowadzonego w trybie dialogu konkurencyjnego zostali poinformowani przez Zamawiającego o wyborze najkorzystniejszej oferty. Oferta Przystępującego uzyskała największą liczbę punktów w kryteriach oceny ofert (92,17) i została uznana za najlepszą ofertę. Oferta Odwołującego uzyskała 84,71 punktu. Odwołujący zarzuca Zamawiającemu błędną ocenę oferty Odwołującego i wnosi o unieważnienie czynności wyboru oferty Przystępującego, powtórzenie czynności badania i oceny ofert oraz czynności wyboru oferty najkorzystniejszej. Przystępujący wskazywał, że w niniejszej sprawie zgodzić się należy z Zamawiającym. Odnośnie zarzutów odwołania Przystępujący podnosił, co następuje. Liczba punktów w kryterium: Koncepcja realizacji usługi - punktacja materiału źródłowego i lekcji demonstracyjnej nr 1 (ocena L1) W uzasadnieniu odwołania Odwołujący stwierdza, że ocena lekcji demonstracyjnej nr 1 dokonana przez Zamawiającego w oparciu o punkty 4 i 5 oceny L1 jest błędna. Odwołujący uzasadnia, iż Zamawiający miał możliwość dokonania oceny według punktów 4 i 5:... na stronie 19 oferty Odwołującego w punkcie 5.1 przedstawiono cele lekcji, na stronie 20, w punkcie 5.4 przedstawiono informacje dotyczące prawidłowego zoperacjonalizowania celów, a na stronie 21, w punkcie 5.5 przedstawiono informacje dotyczące prawidłowego sformułowania celów. I dalej, na stronie 25 przedstawiającej ekran 2 scenariusza lekcji potwierdzono przedstawienie celów lekcji w tekście przekazywanym przez awatarkę/reporterkę. W tym stanie rzeczy odpowiedzi na 4 pytania kontrolne punktu 4 podkryterium
3. a)kryterium oceny ofert „Koncepcja realizacji usługi", oraz odpowiedzi na 3 pytania kontrolne punktu 5 tegoż kryterium powinny być twierdzące, co powinno skutkować przyznaniem ofercie Odwołującego przez każdego z oceniających oceny o siedem punktów wyższej. Przystępujący zauważał, że jednak ani cele przedstawione na stronie 19 (i 25) oferty Odwołującego, ani informacje ze strony 20 i 21, nie dawały możliwości oceny wg punktów 4 i 5. W punkcie 4 Zamawiający napisał, iż ocenie podlegają cele operacyjne zagadnień, a nie cele lekcji. Punkt 4. Czy prawidłowo zoperacjonalizowano cele: - czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów lekcji? - czy cele poszczególnych zagadnień są ze sobą logicznie powiązane? - czy nie jest tak, że cele zagadnień powielają się (poszczególne zagadnienia przekazują te same informacje, uczą tych samych umiejętności) - czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji (w ekranach, ćwiczeniach) Odwołujący nie przedstawił w żadnym fragmencie swojej oferty (ani w materiale źródłowym, ani w żadnym z opisów, ani w samej lekcji, w tym w celach przekazywanych przez awatarkę/reporterkę) celów operacyjnych do zagadnień. Dlatego Zamawiający nie miał możliwości dokonania ich oceny. Punkt 5. Czy cele zostały prawidłowo sformułowane. W tym punkcie, po ocenie prawidłowości celów zagadnień operacyjnych, Zamawiający oceniał sposób sformułowania tych celów. Podobnie jak w przypadku punktu 4, Zamawiający nie mógł ocenić, czy cele operacyjne zagadnień zostały sformułowane prawidłowo, gdyż cele operacyjne do zagadnień nie zostały przedstawione. Sam Odwołujący przyznaje w cytowanym wyżej uzasadnieniu odwołania, iż jedynymi celami, jakie zostały przedstawione w ofercie, były cele lekcji (przedstawione na str. 19 oraz w scenariuszu na str. 25). Cele nie zostały poddane operacjonalizacji na poziomie zagadnień, co uniemożliwiło dokonanie oceny punktów nr 4 i 5. Cele lekcji były oceniane przez Zamawiającego w Punkcie nr 1. Czy prawidłowo zostały określone cele lekcji. Zamawiający przyznał Odwołującemu w tym punkcie maksymalną liczbę punktów (czyli 2 punkty). Analiza zawartości oferty Odwołującego w odniesieniu do punktów 4 i 5 Zamawiający nie mógł dokonać oceny według punktów 4 i 5, gdyż w materiale źródłowym (ani w samej lekcji) nie zostały sformułowane i przedstawione cele poszczególnych zagadnień. Zagadnienia lekcji demonstracyjnej nr 1 Odwołującego określono w materiale źródłowym w tabeli: Tytuł ekranu Prezentowane zagadnienia Mentoring jako jeden ze sposobów Ekran tytułowy. zarządzania wiedzą w firmie Cele lekcji Ekran prezentujący cele lekcji. Wprowadzenie Zawiązanie fabuły i wskazanie sytuacji problemowej, na podstawie której omawiane będą kolejne zagadnienia poruszane w lekcji Czym jest mentoring? Ekran teoretyczny prezentujący definicję mentoringu. Ćwiczenie 1. Mentoring Ekran z interaktywnym ćwiczeniem polegającym na uzupełnieniu definicji mentoringu. Mądrość zawodowa Ekran teoretyczny z kontynuacją fabuły. Zaprezentowanie zagadnienia mentoringu jako rozwiązania sytuacji problemowej wskazanej na ekranie „Wprowadzenie". Formy mentoringu Ekran teoretyczny z interakcją prezentujący wybrane formy mentoringu. Ćwiczenie2. Formy mentoringu Ekran z interaktywnym ćwiczeniem polegającym na przeanalizowaniu rysunków przedstawiających poznane formy mentoringu i dopasowaniu do nich odpowiednich opisów. Kompetencje mentora Ekran teoretyczny prezentujący kompetencje mentora. Korzyści płynące z Ekran teoretyczny prezentujący korzyści płynące z wdrożenia mentoringu wdrożenia mentoringu w firmie. Ćwiczenie 3. Ekran z interaktywnym ćwiczeniem polegającym Kompetencje mentora na przeanalizowaniu rysunków i dopasowaniu do nich odpowiednich kompetencji mentora. Podsumowanie lekcji Interaktywny ekran z podsumowaniem wiadomości. Jak wynika z opisu w tabeli, Odwołujący każdy ekran traktuje jako zagadnienie. Jednak nigdzie nie zostały sprecyzowane cele do tych zagadnień. Podane są jedynie ogólnikowe opisy, np. Ekran teoretyczny prezentujący definicję mentoringu. Takiego opisu nie można traktować jako celu operacyjnego. Nie mając podanych celów do zagadnień, Zamawiający nie mógł dokonać oceny według punktów 4 i 5. W uzasadnieniu odwołania Odwołujący przytacza, iż w punkcie 5.4 materiału źródłowego przedstawiono informacje dotyczące prawidłowego zoperacjonalizowania celów, a w punkcie 5.5 przedstawiono informacje dotyczące prawidłowego sformułowania celów. Przeanalizowanie tych zapisów wskazuje jedynie na to, że Odwołujący w ofercie zadeklarował, jakoby cele były prawidłowo zoperacjonalizowane i sformułowane, ale nie było możliwe zweryfikowanie tych deklaracji, gdyż cele zagadnień nie zostały przedstawione. Poniżej odnosimy się do deklaracji dotyczących punktów 4 i 5. Punkt 4.1 czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów lekcji? Odwołujący zadeklarował w materiale źródłowym: Cele poszczególnych zagadnień wynikają z ogólnych celów lekcji, więc tym samym przyczyniają się do ich realizacji. Jest to jednak deklaracja niemożliwa do weryfikacji, jako że w materiale przedstawiono jedynie cele lekcji, nie ma natomiast nigdzie celów zagadnień. Punkt 4.2 czy cele poszczególnych zagadnień są ze sobą logicznie powiązane Odwołujący zadeklarował w materiale źródłowym: Cele poszczególnych zagadnień są ze sobą logicznie powiązane. W lekcji zastosowano metodę przedstawienia celów poszczególnych zagadnień opartą na pytaniach: po co, kiedy, co, kto, co z tego wynika? Wynika to z tzw. „reguły lejka". Jest to również deklaracja niemożliwa do zweryfikowania, jako że nigdzie w materiale nie zaprezentowano celów poszczególnych zagadnień. Jedyne cele określone przez Odwołującego to cele lekcji. Warto zauważyć, że nawet cele lekcji nie zostały sformułowane w zadeklarowany sposób. Nie wskazują odpowiedzi na pytania: po co, kiedy, co, kto, co z tego wynika. Również w opisie zagadnień z cytowanej tabeli nigdzie nie znalazły się takie sformułowania. Nie znajdujemy ich także w treściach lekcji. Można też zadać pytanie, w jaki sposób te pytania mają świadczyć o prawidłowej operacjonalizacji celu. Dodatkowo Odwołujący przyznaje niniejszym, iż w formułowaniu celów nie posługiwał się metodą operacjonalizacji celów, zgodnie z którą Zamawiający dokonywał oceny, a własnym sposobem, nazywanym "metodą lejka". Nie jest to metoda stosowana powszechnie w dydaktyce. Można domniemywać, że pod hasłem metody lejka kryje się sposób zadawania pytań - od ogółu do szczegółu - tzw. technika lejka. Polega ona na stopniowym formułowaniu pytań od ogólnych do szczegółowych, aby uzyskać od rozmówcy (kupującego) oczekiwaną odpowiedź. Takie techniki są stosowane np. w sprzedaży, czy asertywnej komunikacji, ale nie do formułowania celów dydaktycznych. Co więcej, z analizy treści lekcji Odwołującego nie wynika, aby zostały one przygotowane w oparciu o tę technikę. Formułowanie celów operacyjnych jest poszukiwaniem odpowiedzi, jakie są pożądane efekty kształcenia, co to znaczy, że ktoś osiągnął cel (np. potrafi coś wykonać). Natomiast cele dydaktyczne nie są pytaniami. Aby formułować efektywne cele należy zbudować je jako konkretny rezultat, wyrazić precyzyjnie i pojedynczo, bez łączenia kilku spraw na raz. Nie chodzi tu o zadawanie pytań w sposób naprowadzający na właściwą odpowiedź. Punkt 4.3 czy nie jest tak, że cele zagadnień powielają się (poszczególne zagadnienia przekazują te same informacje, uczą tych samych umiejętności) Odwołujący zadeklarował w materiale źródłowym: Cele zagadnień nie powielają się, ponieważ są w pełni realizowane i wyczerpywane na ekranach oznaczonych w sylabusie jako teoretyczne. Poszczególne zagadnienia przekazują różne informacje i uczą różnych umiejętności. Nie można stwierdzić, czy cele zagadnień powielają się, jako że nie zostały nigdzie podane. Warto też zauważyć, że jeśli jest tak, jak twierdzi Odwołujący, że cele lekcji są w pełni realizowane i wyczerpywane w ekranach oznaczonych jako teoretyczne, oznacza to, że pozostałe ekrany zostały umieszczone w lekcji bez żadnego celu. Nie mają zatem sensu dydaktycznego, nie powinno się ich umieszczać w lekcji. Punkt 4.4 czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji (w ekranach, ćwiczeniach) Odwołujący zadeklarował w materiale źródłowym: Cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji. Każde z zagadnień jest przedstawione zgodnie z „regułą lejka" - od ogółu do szczegółu. Zarówno sposób omawiania zagadnień, jak i ćwiczenia skłaniają do praktycznego zastosowania nabytej wiedzy. Jest to kolejne twierdzenie niemożliwe do zweryfikowania, jako że cele zagadnień nie zostały nigdzie sformułowane. Nie można zatem stwierdzić, czy treści zawarte w zagadnieniach pozwalają osiągnąć te cele. Jednocześnie można nadmienić, że treści zagadnień nie zostały sformułowane metodą od ogółu do szczegółu. Punkt 5.1 czy cele operacyjne zostały sformułowane prawidłowo? Odwołujący zadeklarował w materiale źródłowym: Cele operacyjne zostały sformułowane prawidłowo. Cele sformułowane w lekcji są: - jednoznaczne, gdyż określają, co kursant w jej toku osiągnie: o umiejętność definiowania, o umiejętność określania kompetencji, o wiedzę w danym zakresie, - wykonalne, ponieważ uczący się może przyswoić sobie zakładane cele, poprzez ćwiczenia i interakcje stanowiące integralną część szkolenia, - logiczne, ponieważ można określić ich zakres i zawartość, - obserwowalne za pomocą wykorzystanych w lekcji mechanizmów weryfikujących postępy kursanta. Z poziomu szkolenia w Spisie treści zamieszczona jest informacja o zaliczeniu bądź niezaliczeniu ćwiczeń sprawdzających opanowanie omawianych zagadnień. Ponadto wyniki testu eksportowane są na platformę edukacyjną. - mierzalne, ponieważ określają, co kursant powinien wiedzieć i rozumieć oraz jak i w jakich sytuacjach wykorzystać zdobytą wiedzę. Deklaracja Odwołującego odnosi się jedynie do celów lekcji, a nie celów operacyjnych zagadnień. Jako że cele zagadnień nie zostały sformułowane, Zamawiający nie mógł dokonać ich oceny. Nawet jednak gdyby pod tym kątem ocenić sposób sformułowania celów lekcji, można zastanawiać się na deklaracją Odwołującego. Tak np. cele powinny być sformułowane jako jednoznaczne zachowania, poprzez stosowanie czasowników operacyjnych. Powinno się unikać wyrażeń wieloznacznych, np. wiedzieć, umieć, znać, przedstawić, podać, nauczyć, zapoznać ucznia, ukształtować itp. (B. N………….) Punkt 5.2 czy cele nie są zbyt ogólne ani zbyt szczegółowe? Odwołujący zadeklarował w materiale źródłowym: Cele nie są zbyt ogólne ani zbyt szczegółowe. Cele przedstawione w lekcji są adekwatne do zawartej w niej treści i wiedzy z zakresu mentoringu. Deklaracja Odwołującego odnosi się ogólnikowo do treści i wiedzy z zakresu mentoringu. Jako że cele zagadnień nie zostały sformułowane, Zamawiający nie mógł dokonać ich oceny. Należy też zauważyć, że na bazie przygotowanego materiału trudno ocenić stopień szczegółowości (ogólności) celów, jako że nie przedstawiono żadnej ich hierarchii. Znając cele ogólne lekcji i szczegółowe cele operacyjne na poziomie zagadnień, można byłoby weryfikować, czy cele szczegółowe zostały sformułowane prawidłowo. Cele kształcenia mogą mieć różny stopień szczegółowości, ponieważ odnoszą się do różnych poziomów planowania szkolenia. W ocenie Przystępującego warto podkreślić, że cele edukacyjne nie powinny być adekwatne do treści, czy wiedzy na jakiś temat. Cele edukacyjne powinny być adekwatne do potrzeb grupy docelowej szkolenia. Natomiast to treści lekcji powinny być adekwatne do celów, nie odwrotnie. Punkt 5.3 czy cele są sformułowane w sposób motywujący uczestnika do nauki? Odwołujący zadeklarował w materiale źródłowym: Cele są sformułowane w sposób motywujący uczestnika do nauki. Cele operacyjne wskazują przydatną wiedzę i umiejętności, które kursant po ukończeniu szkolenia będzie wiedział, umiał i potrafił wykorzystać w swojej praktyce zawodowej. Zgodnie z cyklem uczenia się Kolbe’ a osoby dorosłe uczą się poprzez praktykę i dla praktyki - w lekcji wykorzystano tę zasadę. Deklaracja Odwołującego odnosi się ogólnikowo do celów lekcji. Jako że cele zagadnień nie zostały sformułowane, Zamawiający nie mógł dokonać ich oceny. Zdaniem Przystępującego warto też zauważyć, że na bazie przedstawionego wyjaśnienia trudno ocenić, co Odwołujący rozumie przez sposób motywujący do nauki. Cele lekcji nie zostały sformułowane z punktu widzenia adresata, czyli pracownika małej i średniej firmy. Dość luźno związane są z zadaną przez Zamawiającego tematyką lekcji, jaką miało być "zarządzanie wiekiem a zarządzanie wiedzą" (jedynie trzeci z celów lekcji nawiązuje do tego tematu). Ze względu na sposób sformułowania celów, w którym nie zawsze zostały zastosowane czasowniki operacyjne, trudno stwierdzić, na ile praktyczna może okazać się realizacja celów. Zważywszy na to, że sam Odwołujący twierdzi, iż cele realizowane są jedynie przez ekrany teoretyczne, trudno stwierdzić, w jaki sposób cele odnoszą się do praktyki. Wnioski dotyczące punktów 4 i 5 Cele operacyjne oraz problematyka operacjonalizacji to zagadnienia dobrze znane w dydaktyce. Autorem polskiej wersji taksonomii celów jest prof. dr hab. Bolesław Niemierko. Jej terminologia jest neutralna, niezwiązana z żadną grupą przedmiotów, stosowana w uczeniu dzieci, jak i dorosłych. I tak np. taksonomia celów wg Niemierki jest stosowana do opisu programów kształcenia stosowanych przez Krajowy Ośrodek Wspierania Edukacji Zawodowej i Ustawicznej (publiczną placówkę doskonalenia nauczycieli, której organem prowadzącym jest MEN). Poznają ją nauczyciele i pedagodzy, zajmujący się uczeniem dzieci i młodzieży, jak i zajmujący się kształceniem zawodowym, czy uczeniem osób dorosłych. Powinna być znana podmiotom zajmującym się zawodowo uczeniem. Na etapie składania wniosków w postępowaniu, Odwołujący złożył stosowne oświadczenia dotyczące spełnienia warunku posiadania wiedzy i doświadczenia, w tym dysponowania osobami mającymi doświadczenie metodyczne. Powoływał się przy tym głównie na własne doświadczenia, oraz na wiedzę i doświadczenie własnych pracowników etatowych (5 osób w roli metodyków). Należy zatem oczekiwać, iż zagadnienia dydaktyki, w tym operacjonalizacji celów, były Odwołującemu znane. Gdyby nawet jednak przyjąć, że Odwołujący mógł nie znać zasad formułowania celów operacyjnych, to miał przecież możliwość zadania pytań dotyczących kryteriów oceny po ogłoszeniu treści SIWZ. Jednak nie pojawiły się żadne pytania wskazujące na jakiekolwiek wątpliwości co do formułowania celów. Cele operacyjne można sformułować dla każdej jednostki lekcyjnej i dla każdego z jej elementów. W ofercie Odwołującego nie dokonano podziału celów na cele wyższego i niższego rzędu. Zagadnienia i treści uczenia nie mogą być formułowane bez związku z celami nauczania. Doprowadza to do sytuacji, w której nie ma możliwości jednoznacznego przyporządkowania treści zagadnień do celów. Materiał nie jest uporządkowany wg logicznej kolejności. Na przykład ćwiczenie dotyczące kompetencji mentorów zostało umieszczone po ekranie zatytułowanym "Korzyści płynące z wdrożenia mentoringu", a nie bezpośrednio po ekranie teoretycznym "Kompetencje mentora". Sam Odwołujący przyznaje w ofercie, że cele zostały formułowane w taki sposób, aby były adekwatne do treści (a nie odwrotnie). Świadczy to o tym, że cele, jeśli nawet były formułowane, to dopiero po przygotowaniu treści lekcji, a zatem niezgodnie z zasadami operacjonalizacji i formułowania celów. Cele operacyjne należy najpierw określić i sformułować we właściwy sposób, a dopiero potem przyporządkowywać im treści uczące. Odwołujący nigdzie w materiale źródłowym nie przedstawia celów operacyjnych na poziomie zagadnień. Przedstawia wyłącznie deklaracje, iż zostały one sformułowane: "W lekcji zastosowano metodę przedstawienia celów poszczególnych zagadnień opartą na pytaniach: po co, kiedy, co, kto, co z tego wynika? Wynika to z tzw. „reguły lejka'? Być może Odwołujący zastosował taką metodę przedstawiania celów zagadnień, ale zaniedbał tego, aby umieścić je w materiale źródłowym oraz lekcji demonstracyjnej. Nigdzie bowiem w ofercie Odwołującego nie pojawia się takie przedstawienie. Co więcej, przywołując taką metodę podejścia do formułowania celu, Odwołujący w żaden sposób nie odnosi jej do metody operacjonalizacji celów. Nie wiadomo zatem, jak "reguła lejka" przekłada się na zasady formułowania celów operacyjnych. Zamawiający nie miał zatem możliwości w żaden sposób, ani bezpośrednio, ani pośrednio, dokonać oceny celów operacyjnych na poziomie zagadnień. Zadeklarowano jedynie, iż były one formułowane "metodą lejka", ale nie zostały nigdzie przedstawione. Podsumowanie dotyczące punktów 4 i 5 Odwołujący nie przedstawił w materiale źródłowym celów do poszczególnych zagadnień, a jedynie cele lekcji. Cele lekcji były przez Zamawiającego oceniane w punkcie nr 1. Zamawiający nie miał możliwości dokonania oceny wg punktów nr 4 oraz 5, w których ocenie podlegają cele zagadnień. Odwołujący jedynie deklarował, iż cele zagadnień zostały przygotowane w oparciu o "metodę lejka", ale nigdzie ich nie przedstawił. Dlatego, w opinii Przystępującego, Zamawiający słusznie nie przyznał Odwołującemu siedmiu punktów w punktach nr 4 oraz 5. Liczba punktów w kryterium: Koncepcja realizacji usługi, punktacja lekcji demonstracyjnej nr 2 (ocena L2) Funkcjonalność nr 11 i 12 W odniesieniu do liczby punktów przyznanych za nowatorstwo i interaktywności lekcji zaoferowanej przez Odwołującego, Odwołujący kwestionuje potraktowanie przez Zamawiającego pozycji numer 11 oraz 12 jako jedną funkcjonalność. Funkcjonalność zgłoszona pod nr 11 jest sterowana przyciskiem "schowaj menu", funkcjonalność zgłoszona pod nr 12 jest sterowana przyciskiem "pokaż menu" i jak podsumowuje sam Odwołujący w odwołaniu "Użytkownik ma możliwość ukrywania i odkrywania belki modyfikując tym samym wygląd ekranu". Podobnie zostały opisane te pozycje przez Odwołującego w ofercie (nr 11: "umożliwia ukrycie dolnej belki nawigacyjnej z dodatkowymi opcjami' oraz nr 12: " umożliwia ponowne odkrycie dolnej belki nawigacyjnej z dodatkowymi opcjami'). Modyfikacja ekranu dotyczy samej belki, jedyny skutek wspomnianej modyfikacji to wyświetlenie/ukrycie belki. Przycisk sterujący belką pozostaje w tym samym miejscu, odkryta belka niczego nie zasłania, a jej ukrycie nie zwiększa obszaru widocznego dla użytkownika. Należy podkreślić, że ukrycie belki (nr 11) nie zwiększa możliwości funkcjonalnych dla użytkownika, jest całkowicie zależne od jej wcześniejszego pokazania (nr 12). W załączeniu dowód nr 1 - wynik działania jawnej lekcji demo Odwołującego ze zrzutami ekranu dla belki ukrytej i odkrytej. Tym samym modyfikacja wyglądu interfejsu przez użytkownika polegająca na ukryciu belki nawigacyjnej jest logiczną składową tej samej funkcjonalności uzyskiwanej w związku z pokazaniem belki nawigacyjnej. Nie stwarza żadnej dodatkowej wartości dla użytkownika. Ponadto Przystępujący podkreślał, że jak wynika z analizy porównawczej ofert w postępowaniu jawnych dla Przystępującego - Zamawiający konsekwentnie zastosował takie podejście w ocenie zaoferowanych funkcjonalności wobec innych oferentów, w tym oferty Przystępującego. Funkcjonalność nr 15 "Z kolei funkcjonalność nr 15 to przycisk SPRÓBUJ PONOWNIE, który znajduje się na ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może ponownie rozwiązać ćwiczenie. Ekrany ćwiczenia oraz testu w produktach Akademii PARP nie posiadają przycisku SPRÓBUJ PONOWNIE . W teście Akademii PARP dostępny jest przycisk Czyść o jedynie zbliżonej funkcjonalności, jednak nie w pełni odwzorowującej działanie przycisku SPRÓBUJ PONOWNIE. Przycisk Czyść, wyłącznie odznacza (czyści) odpowiedź udzieloną przez użytkownika, przycisk SPRÓBUJ PONOWNIE nie tylko czyści odpowiedzi udzielone przez użytkownika, ale również uruchamia zespół funkcjonalności, które sprawiają, że wszystkie procedury komponentu uruchamiają się od nowa np. losowane są położenia odpowiedzi dla pytania. W przypadku użycia przycisku SPRÓBUJ PONOWNIE w ćwiczeniu udzielone odpowiedzi zostałyby nie tylko wyczyszczone, ale również kolejność poszczególnych odpowiedzi zostałaby ponownie ustalona. Ma to znaczącą zaletę dydaktyczną głównie w ćwiczeniach jednokrotnego wyboru, ponieważ w tym samym pytaniu nie zawsze np. pierwsza odpowiedź od góry będzie prawidłowa. Ponadto przycisk SPRÓBUJ PONOWNIE występuje wyłącznie w ćwiczeniach, w teście jego działanie byłoby nieuzasadnione, tak samo z resztą jak przycisku Czyść w testach PARP, skoro kliknięcie w inną odpowiedź automatycznie czyści tę dotychczas zaznaczoną. Przycisk Czyść jest elementem nadmiarowym w przypadku testów PARP w przeciwieństwie do elementu SPRÓBUJ PONOWNIE w przykładzie ćwiczenia zaproponowanego w produkcie Odwołującego. W związku z powyższym nie można zgodzić się z oceną przedstawioną przez Zamawiającego, iż przedstawiona funkcjonalność występuje w lekcjach Akademii PARP." Odwołujący w powyższym fragmencie porównuje ćwiczenia z części teoretycznej lekcji Odwołującego z testami Akademii PARP. Jednak aby wykazać nowość, Odwołujący powinien się odnieść nie tylko wybiórczo do testów, ale także do ćwiczeń w lekcjach Akademii PARP - we wszystkich rodzajach występujących w Akademii PARP. Podkreślić należy, że dziedziną interaktywności, względem której Zamawiający dopuścił zgłaszanie nowej funkcjonalności były ćwiczenia w lekcjach oraz pytania testowe w testach. Ćwiczenia wraz z komentarzami mają funkcję uczącą, nie ma nic niewłaściwego w tym, że uczestnik może eksperymentować z różnymi odpowiedziami, "odkrywając" ich znaczenie, powtarzać je. W Akademii PARP stosowane są m.in. ćwiczenia typu "rozsypanka" w których przycisk "Czyść" oprócz możliwości ponownego podejścia powoduje losową zmianę kolejności odpowiedzi. Ten rodzaj ćwiczeń Akademii PARP najwyraźniej nie został przez Odwołującego rozpoznany. Przykładowe wystąpienie ćwiczenia typu "rozsypanka" w szkoleniach Akademii PARP: Szkolenie "Planowanie własnej kariery zawodowej" lekcja 1.2 ekran 10 z 21. W załączeniu przedstawiono dowód nr 2 prezentujący powyższy przykład ćwiczenia typu "rozsypanka" przed i po naciśnięciu przycisku "Czyść" powodującego nie tylko wyczyszczenie wyniku do powtórzenia ćwiczenia ale również ponowne wylosowanie kolejności odpowiedzi. Tym samym, jak zostało wykazane, nie ma żadnej nowości w pozycji nr 15 zgłoszonej przez Odwołującego. Funkcjonalność nr 17 Odwołujący przedstawia następujące stanowisko w związku z oceną zadeklarowanej przez niego funkcjonalności nr 17: "Funkcjonalność 17 natomiast to przycisk SPRAWDŹ, który znajduje się na ekranach z komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał dane ćwiczenie lub interakcję. Ekrany ćwiczenia oraz testu w produktach Akademii PARP nie posiadają przycisku SPRAWDŹ. W teście Akademii PARP użytkownik, po zatwierdzeniu udzielonej odpowiedzi przechodzi do następnego pytania i nie ma możliwości sprawdzenia, czy udzielona przez niego odpowiedź do obecnie wyświetlonego pytania jest prawidłowa. W testach Odwołującego użytkownik przed przejściem do kolejnego pytania może jednocześnie zatwierdzić i sprawdzić czy udzielił poprawnej czy niepoprawnej odpowiedzi na dane pytanie przyciskiem SPRAWDŹ, co jest absolutną nowością funkcjonalną testów w stosunku do produktu Akademia PARP. Użytkownik w trakcie korzystania z testu może na bieżąco monitorować swoje wyniki, co jest niemożliwe w przypadku testu w Akademii PARP. Sposób działania przycisku ZATWIERDŹ w testach Akademii PARP jest nadmiarowy -z punktu widzenia użytkownika przycisk ten, nic nie wnosi zmuszając do zwiększenia ilości kliknięć w celu przejścia do kolejnego pytania. Zatwierdzeniem udzielonej odpowiedzi mogłoby być przejście do kolejnego ekranu za pomocą przycisku DALEJ. Tak jak w przypadku testów Odwołującego, gdzie przycisk DALEJ ma funkcjonalność zatwierdzania pytania i przejścia do kolejnego bez jego sprawdzania, co można w tej sytuacji uznać jako nową, niewspomnianą wcześniej funkcjonalność, ale istniejącą w próbce przesłanej Zamawiającemu." Jeśli chodzi o fakt, że w Akademii PARP w ćwiczeniach pokazują się komentarze, a w pytaniach testowych komentarze są wyłączone, nie wynika on z tego, że w ramach Akademii PARP nie stosowano takiej funkcjonalności, tylko z zamierzonej, wymaganej w e- learningu specjalizacji treści szkolenia. Lekcje z ćwiczeniami służą do uczenia uczestnika, dlatego niezbędna jest natychmiastowa, doskonaląca informacja zwrotna w formie komentarza. Testy z pytaniami testowymi służą do sprawdzania wiedzy, dlatego komentarze nie powinny w nich występować. Przede wszystkim dlatego, że mogą mieć funkcję uczącą (komentarz do odpowiedzi na jedno pytanie może sugerować odpowiedź na kolejne pytanie dotyczące tego samego fragmentu lekcji). Poza tym mogą uczestnika rozpraszać, zajmować odliczany czas itd. Dodać należy, że taka organizacja treści: lekcje oraz testy do każdego modułu została określona w SIWZ. Natomiast zdaniem Przystępującego, że nie jest prawdą, że ekrany ćwiczeń w szkoleniach Akademii PARP nie posiadają przycisku Sprawdź, który wyświetla komentarz. Wszystkie kategorie ćwiczeń w Akademii PARP wyświetlają komentarze. Większość ćwiczeń w Akademii PARP wymaga naciśnięcia przycisku WYNIK (wszystkie ćwiczenia z grafiką) lub SPRAWDŹ (ćwiczenia rodzaju "połącz elementy") po którym następuje wyświetlenie komentarza z informacją, czy udzielona odpowiedź jest prawidłowa czy nie. W załączeniu dowód nr 3 pokazujący przykłady takich ćwiczeń. Odwołujący najwyraźniej przeoczył ten rodzaj ćwiczeń. Jednak, podobnie jak w przypadku pozycji numer 15, aby wykazać nowość, Odwołujący powinien się odnieść nie tylko wybiórczo do testów, ale także do ćwiczeń w lekcjach Akademii PARP - we wszystkich rodzajach występujących w Akademii PARP. Dziedziną interaktywności, względem której Zamawiający dopuścił zgłaszanie nowej funkcjonalności były ćwiczenia w lekcjach oraz pytania testowe w testach. Dlatego podobnie jak w przypadku pozycji numer 15, w przypadku pozycji numer 17 Odwołujący w sposób wybiórczy i nieprawidłowy przyjął zawężoną podstawę do porównania swojej interaktywności ze szkoleniami Akademii PARP. Tym samym nie Odwołujący nie wykazał żadnej nowości w pozycji nr 17. Odwołujący wskazuje też na zmniejszenie liczby kliknięć w swoim przycisku sprawdzania. Pragniemy dodać, że jak wynika z analizy porównawczej ofert w postępowaniu jawnych dla Przystępującego - Zamawiający konsekwentnie nie uznawał innowacji polegających na zmniejszeniu liczby kliknięć w ocenie zaoferowanych funkcjonalności wobec innych oferentów, w tym wobec oferty Przystępującego. Funkcjonalność nr 20 "W końcu funkcjonalność nr 20 to ekran pojawiający się po kliknięciu przycisku ZAMKNIJ potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu. W szkoleniach Odwołującego ekran potwierdzający chęć wyjścia z testu w trakcie jego trwania ma za zadanie uchronienie użytkownika przed uzyskaniem statusu „failed" w lekcji. W szkoleniach Odwołującego zanim użytkownik dojdzie do części zadaniowej w teście status lekcji jest ustawiony na „incomplete" aż do momentu wejścia na pierwsze pytanie, zgodnie ze standardem SCORM. W testach Akademii PARP ekran ten nie ma takiej funkcjonalności, ponieważ samo uruchomienie lekcji powoduje już zmianę statusu lekcji na „failed" pomimo, że użytkownik nie przeszedł jeszcze do zadaniowej części testu. Rzeczywiście w obu produktach Akademii PARP i Odwołującego ekran ten uruchamiany jest w analogicznych sytuacjach ( w części zadaniowej testu) jednak ich przeznaczenie bezsprzecznie się różni." W powyższym fragmencie znalazło się kilka stwierdzeń nieprawdziwych: - nieprawdą jest, że w testach Akademii PARP samo uruchomienie testu powoduje zmianę statusu na "niezaliczone" (ang. failed). Samo uruchomienie testu powoduje zmianę statusu na "nieukończone" (ang. incomplete), - w testach Akademii PARP kliknięcie na nawigator WYJŚCIE w trakcie odpowiadania na pytania testowe wyświetla okienko z pytaniem "czy na pewno chcesz wyjść z egzaminu?". Kliknięcie na "Anuluj" wraca do testu bez wysłania statusu. Kliknięcie na "OK" powoduje wyjście z testu z wysłaniem statusu passed/failed w zależności od uzyskanego wyniku - dopiero wówczas, - nieprawdą jest, że ekran w szkoleniach Odwołującego, pokazujący się po kliknięciu przycisku ZAMKNIJ i potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu, stanowi zabezpieczenie przed wysłaniem wyniku lekcji. Wykonaliśmy weryfikację tego stwierdzenia za pomocą publicznie dostępnej aplikacji testującej komunikację SCORM na lekcji demonstracyjnej Odwołującego, stanowiącej jawną część jego oferty. Lekcja ustawiła status na "passed" za wejście w ekran nr 16, a więc jeszcze przed wywołaniem okna rzekomo zabezpieczającego przed wysłaniem wyniku. W załączeniu dowód nr 4 z odpowiednim fragmentem logu z komunikacji SCORM. Przystępujący zauważał, iż stwierdzona przez niego empirycznie sprzeczność ze stwierdzeniem Odwołującego wynika z samego wywodu Odwołującego. Skoro Odwołujący pisze, że status jego lekcji pozostaje "incomplete" aż do momentu wejścia na pierwsze pytanie, to oznacza, że w już w momencie wejścia na pierwsze pytanie pojawia się zmiana statusu. Zatem w momencie rozpoczęcia testu, jeszcze przed wywołaniem okienka z pytaniem, uczestnik uzyskuje status lekcji. Należy też zaznaczyć, że w standardzie SCORM nie ma nigdzie mowy o "części zadaniowej" lekcji czy testu. Standard SCORM nie określa jako zgodne lub niezgodne, w którym momencie lekcji czy testu powinien być przekazany status. W załączeniu przedstawiał dowód nr 5 - fragment standardu SCORM z odpowiednią specyfikacją. Specyfikacja nie określa żadnej "części zadaniowej" ani szczegółowego sposobu uzyskiwania statusu "failed". Przystępujący odnosił się do standardu SCORM dla porządku, ponieważ wskazał go Odwołujący jako argument za zgodnością, w odróżnieniu od domniemanej niezgodności testów Akademii PARP. Jednak także w tej kwestii Odwołujący nie wykazał jakiejkolwiek nowości. Reasumując, zgłoszona przez Odwołującego "funkcjonalność nr 20" nie jest żadną nowością względem Akademii PARP, a przedstawiony wywód zawiera stwierdzenia niezgodne ze stanem faktycznym. Analogiczne okienko w testach Akademii PARP "chroni" przed uzyskaniem statusu "failed" w trakcie egzaminu, co chciał osiągnąć Odwołujący w lekcji demonstracyjnej nr 2, natomiast w teście Odwołującego tak się nie dzieje, choć zostało to podniesione jako rzekoma nowość. Odwołujący, podsumowując swoje odwołanie, stwierdza "gdyby oferta Odwołującego wybrana została najkorzystniejszą w przedmiotowym postępowaniu, to rozstrzygnięcie takie skutkowałoby oszczędnościami środków publicznych po stronie zamawiającego w wysokości przekraczającej 7 milionów złotych". Trzy niezależne oferty złożone w postępowaniu przekraczają 90% kwoty, jaką Zamawiający zamierzał przeznaczyć na zamówienie. Natomiast oferta najniższa - złożona przez Odwołującego, stanowi 62,35% kwoty, jaką Zamawiający zamierzał przeznaczyć na zamówienie. Odnosząc się do stwierdzenia Odwołującego, należy stwierdzić, że różnica w cenie zaoferowanej przez niego i ofercie wybranej przez Zamawiającego jako najkorzystniejsza w wysokości 6,6 mln zł brutto nie jest oszczędnością, ponieważ różnica ta wynika z zaoferowania przez Odwołującego ceny rażąco niskiej, która uniemożliwia zrealizowanie wymagań określonych przez Zamawiającego. Zgodnie z art. 91 ust. 1 ustawy Pzp, zamawiający wybiera ofertę najkorzystniejszą na podstawie kryteriów oceny ofert określonych w specyfikacji istotnych warunków zamówienia. Kryteriami oceny ofert są cena albo cena i inne kryteria odnoszące się do przedmiotu zamówienia, w szczególności jakość, funkcjonalność, parametry techniczne, zastosowanie najlepszych dostępnych technologii w zakresie oddziaływania na środowisko, koszty eksploatacji, serwis oraz termin wykonania zamówienia. Ponadto, zgodnie z art. 2 pkt 5 ustawy Pzp, ilekroć w ustawie mowa o najkorzystniejszej ofercie - należy przez to rozumieć ofertę, która przedstawia najkorzystniejszy bilans ceny i innych kryteriów odnoszących się do przedmiotu zamówienia publicznego, albo ofertę z najniższą ceną, a w przypadku zamówień publicznych w zakresie działalności twórczej lub naukowej, których przedmiotu nie można z góry opisać w sposób jednoznaczny i wyczerpujący - ofertę, która przedstawia najkorzystniejszy bilans ceny i innych kryteriów odnoszących się do przedmiotu zamówienia publicznego. Z powyższego wynika, że cena nie zawsze musi być podstawowym miernikiem wyboru najkorzystniejszej oferty. Zamawiający może uwarunkować wybór najkorzystniejszej oferty spełnieniem innych kryteriów, poza korzystną ceną, odnoszących się do przedmiotu zamówienia. Taka sytuacja miała miejsce w niniejszej sprawie, dlatego bezzasadny jest zarzut, że wybór oferty Odwołującego prowadziłby do oszczędności. Za powyższym przemawia dodatkowo okoliczność, że, jak zostało podkreślone powyżej, zaoferowana przez Odwołującego cena jest rażąco niska i uniemożliwia zrealizowanie wymagań określonych przez Zamawiającego. Ewentualna oszczędność byłaby zatem pozorna. Wybierając najkorzystniejszą ofertę, Zamawiający może posługiwać się wyłącznie kryteriami oceny ofert opisanymi w SIWZ, zgodnie z art. 36 ust. 1 pkt 13 ustawy Pzp. Jest to podstawowe ograniczenie, jakie przepisy prawa stawiają Zamawiającemu w zakresie wyboru najkorzystniejszej oferty. W niniejszej sprawie Zamawiający dopełnił powyższego obowiązku, albowiem, uzasadniając ocenę, odniósł się do kryteriów oceny wskazanych w SIWZ. W wyniku dokonania oceny ofert wybrana została oferta Przystępującego, ponieważ w sposób najpełniejszy odpowiadała kryteriom wskazanym w SIWZ. Mając na uwadze powyższe rozważania, uznać należy, że zarzut, jakoby Zamawiający, dokonując wyboru najkorzystniejszej oferty, naruszył przepis art. 91 ust. 1 ustawy Pzp jest całkowicie bezzasadny, zaś ewentualny ponowny wybór oferty w oparciu o kryteria oceny wskazane w SIWZ musiałby prowadzić do ponownego wyboru oferty Przystępującego, jako oferty najkorzystniejszej. Do zgłoszenia przystąpienia załączono m.in.: 1. Dowód nr 1. Wynik działania jawnej lekcji demo Odwołującego ze zrzutami ekranu dla belki ukrytej i odkrytej. Ukrycie belki (przez przycisk SCHOWAJ MENU) jest całkowicie zależne od jej wcześniejszego pokazania (przez przycisk POKAś MENU), nie zwiększa obszaru widocznego dla użytkownika - jest więc częścią tej samej funkcjonalności. 2. Dowód nr 2. Przykłady ćwiczeń w Akademii PARP typu "Rozsypanka" przed i po naciśnięciu przycisku "Czyść". Przycisk ten powoduje nie tylko wyczyszczenie wyniku do powtórzenia ćwiczenia ale również ponowne wylosowanie kolejności odpowiedzi. 3. Dowód nr 3. Przykłady ćwiczeń w Akademii PARP z grafiką i "przeciągnij i upuść" które wyświetlają przycisk (WYNIK i SPRAWDŹ) oraz po jego naciśnięciu komentarz z informacją, czy udzielona odpowiedź jest prawidłowa czy nieprawidłowa. 4. Dowód nr 4. Fragment logu z komunikacji SCORM generowanej przez lekcję Odwołującego, uzyskany z oficjalnej aplikacji ADL testującej komunikację SCORM. Z logu wynika, że wbrew twierdzeniu Odwołującego, po wejściu w ekran 16 (pierwsze zadanie testu) lekcja wysyła status inny niż "incomplete", czyli działanie okienka przedstawiane przez Odwołującego jako nowość w rzeczywistości nie zabezpiecza przed wysłaniem statusu. 5. Dowód nr 5. Fragment standardu SCORM dotyczący sposobu uzyskiwania statusu przez lekcję e-learning lub test zgodny z w/w standardem (wersja oryginalna oraz przetłumaczona na język polski). Specyfikacja nie określa żadnej "części zadaniowej" ani szczegółowego sposobu uzyskiwania statusu. Zamawiający i Odwołujący potwierdzili otrzymanie kopii zgłoszenia przystąpienia. W dniu 30 listopada 2012 r. Zamawiający złożył odpowiedź na odwołanie, w której wnosił o jego oddalenie. Zamawiający wskazywał, że podtrzymuje prawidłowość dokonanej przez siebie oceny ofert w całej rozciągłości. Zamawiający podnosił, iż Odwołujący wskazał, iż Zamawiający ocenił jej ofertę w sposób niezgodny z zasadami określonymi w SIWZ. Zastrzeżenia dotyczą oceny w ramach kryterium L1 oraz L2, określonych w §11 SIWZ (Ocena materiału źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji; Ocena Lekcji demo nr 2 (tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności). Zdaniem Zamawiającego należy podnieść, iż w ramach oceny L1 - Ocena materiału źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji), oferta Odwołującego uzyskała 0 punktów w następujących podkryteriach: - podkryterium
4. a)punkt 4 „Czy prawidłowo zoperacjonałizowano cele?", na które składają się pytania: • czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów lekcji? • czy cele poszczególnych zagadnień są ze sobą logicznie powiązane? • czy nie jest tak, że cele zagadnień nie powielają się (poszczególne zagadnienia przekazują te same informacje, uczą tych samych umiejętności)? • czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji (w ekranach, ćwiczeniach)? - podkryterium
5. a)punkt 5 „Czy cele zostały prawidłowo sformułowane?", na które składają się pytania: • czy cele operacyjne zostały sformułowane prawidłowo? (Prawidłowy cel - powinien być: jednoznaczny, wykonalny, logiczny, obserwowalny i mierzalny). • czy cele nie są zbyt ogólne ani zbyt szczegółowe? • czy cele są sformułowane w sposób motywujący uczestnika do nauki? Za każdą z powyższych pozycji Zamawiający nie przyznał Odwołującemu punktów. Odwołujący nie zgodził się z przeprowadzoną przez Zamawiającego oceną jego oferty w tym zakresie i przywołał na potwierdzenie swojego stanowiska następujące fragmenty swojej oferty: • punkt 5.1 (str. 19), • punkt 5.4 (str. 20), • punkt 5.5 (str.21) oraz • „ekran nr 2" na stronie 25 oferty, - gdzie zdaniem Odwołującego znajdują się niezbędne informacje mające wystarczyć do przyznania mu punktów w ww. podkryteriach. Na podstawie powyższego Odwołujący sformułował następującą tezę „Z powyżej cytowanych uzasadnień oceniających wynikać miałoby, iż Odwołujący w swojej ofercie w ogóle nie wskazał celów". Powyższe stwierdzenie Odwołującego nie znajduje żadnych podstaw w przeprowadzonej przez poszczególnych członków komisji przetargowej ocenie. Wskazane powyżej punkty nr 4 i 5 w ramach oceny LI zawierają także ocenę innych aspektów związanych z oceną celów. Należy tu przywołać chociażby punkt 1 w tym podkryterium („Czy prawidłowo zostały określone cele lekcji?"), na które składają się podlegające ocenie pytania: • czy cele lekcji są możliwe do osiągnięcia na bazie materiału w niej zawartego? • czy lekcja przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i nietypowych sytuacjach? Zdaniem Zamawiającego warto zauważyć, że w wyniku oceny tego punktu podkryterium Odwołujący uzyskał dwa punkty (maksymalną ilość), ponieważ na każde z postawionych pytań należało odpowiedzieć twierdząco - cele ogólne lekcji zostały opisane w punkcie 5.1 „Cele lekcji" (str. 19) oferty. Dlatego też niczym nieuzasadnione jest twierdzenie Odwołującego, iż z uzasadnień oceniających wynika, iż w ofercie cele nie zostały wskazane. Zamawiający podczas oceny uwzględnił zapisy punktu 5.1 oferty Odwołującego, a także informacje z „ekranu nr 2" ze strony 25, gdzie zacytowano cele określone uprzednio w punkcie 5.1. W celu dokładnego wyjaśnienia dokonanej przez Zamawiającego oceny, a także wykazania, iż przeprowadzona ocena nie zawiera błędów czy tez niekonsekwencji, trzeba zwrócić uwagę, iż Odwołujący w złożonej ofercie nie wziął pod uwagę zasad operacjonalizacji celów. W treści Specyfikacji Istotnych Warunków Zamówienia (§ 10 ust. 8) wyraźnie wskazano, że oferta ma zawierać materiał źródłowy, w którym podane zostaną m.in.: ■ Cele lekcji możliwe do osiągnięcia na bazie materiału, przy założeniu że lekcja przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i nietypowych sytuacjach. Prawidłowość określenia celów lekcji, zgodnie z Opisem kryteriów, którymi zamawiający będzie się kierował -przy wyborze oferty, wraz z podaniem znaczenia tych kryteriów i sposobu oceny ofert miała zostać zweryfikowana (i oceniona) przy pomocy 2 pytań: 1) Czy cele lekcji są możliwe do osiągnięcia na bazie materiału w niej zawartego? 2) Czy lekcja przygotowuje uczestnika do stosowania wiedzy i umiejętności w typowych i nietypowych sytuacjach!) ■ Prawidłowo sformułowane i zoperacjonalizowane cele. Prawidłowość sformułowania celów miała zostać zweryfikowana przy pomocy 3 pytań: 1) Czy cele operacyjne zostały sformułowane -prawidłowo ? 2) Czy cele nie są zbyt ogólne ani zbyt szczegółowe ? 3) Czy cele są sformułowane w sposób motywujący uczestnika do nauki?. Prawidłowość zoperacjonalizowania celów miała zostać zweryfikowana przy pomocy 4 pytań: 1) Czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów lekcji? 2) Czy cele poszczególnych zagadnień są ze sobą logicznie powiązane? 3) Czy nie jest tak, że cele zagadnień nie powielają się (poszczególne zagadnienia przekazują te same informacje, uczą tych samych umiejętności) ? 4) Czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji (iv ekranach, ćwiczeniach)?). Zamawiający w Specyfikacji Istotnych Warunków Zamówienia poza rozdzieleniem celów ogólnych (odnoszących się do całej lekcji), od celów poszczególnych zagadnień, podkreślił także ich hierarchiczność, przy czym wynikała ona: ■ ze sposobu w jaki zgodnie z SIWZ mają powstać cele operacyjne - przez zoperacjonalizowanie celów ogólnych na cele (jednoznaczne, wykonalne, logiczne, obserwowalne i mierzalne) dotyczące poszczególnych zagadnień; ■ z przesłanki logicznej wskazanej w SIWZ Czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów lekcji? - osiągnięcie celów operacyjnych jest warunkiem koniecznym do osiągnięcia celu ogólnego lekcji. Nie budzi zatem wątpliwości, i tak zostało to również zrozumiane przez pozostałych wykonawców, że w ofercie powinny się znaleźć cele ogólne odnoszące się do lekcji oraz cele operacyjne odnoszące się do poszczególnych zagadnień. Podczas oceny oferty Odwołującego stwierdzono, że prawidłowo zostały przedstawione cele na poziomie ogólnym - czyli na poziomie całej lekcji, brak natomiast w ofercie Odwołującego celów poszczególnych zagadnień, czyli nie została przeprowadzona operacjonalizacja celów. W związku z powyższym przyznano punkty związane z celami ogólnymi lekcji, nie przyznano zaś punktów związanych z celami dotyczącymi poszczególnych zagadnień. Należy podkreślić, iż w punkcie 5.4 na stronie 20 oferty Odwołujący parafrazował zapisy SIWZ przekształcając pytania z (podkryterium
6. a)punkt nr 4 na zdania twierdzące i dodając pewne deklaracje, np.: Zapis SIWZ Zapis z oferty Czy cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów lekcji? Cele poszczególnych zagadnień przyczyniają się do realizacji ogólnych celów lekcji. Cele poszczególnych zagadnień wynikają z ogólnych celów lekcji, więc tym samym przyczyniają się do ich realizacji Czy cele poszczególnych zagadnień są ze sobą logicznie powiązane? Cele poszczególnych zagadnień są ze sobą logicznie powiązane. W lekcji zastosowano metodę przedstawienia celów poszczególnych zagadnień opartą na pytaniach: po co, kiedy, co, kto, co z tego wynikał Wynika to z tzw. „reguły lejka". Czy nie jest tak, że cele zagadnień nie powielają się (poszczególne zagadnienia przekazują te same informacje, uczą tych samych umiejętności)? Cele zagadnień nie powielają się. Cele zagadnień nie powielają się, ponieważ są w pełni realizowane i wyczerpywane na ekranach oznaczonych w sylabusie jako teoretyczne. Poszczególne zagadnienia przekazują różne informacje i uczą różnych umiejętności. Czy cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji (w ekranach, ćwiczeniach)? Cele każdego zagadnienia są rzeczywiście możliwe do osiągnięcia dzięki treściom zawartym w lekcji. Każde z zagadnień jest przedstawione zgodnie z „regułą lejka" - od ogółu do szczegółu. Zarówno sposób omawiania zagadnień, jak i ćwiczenia skłaniają do praktycznego zastosowania nabytej wiedzy. Zdaniem Zamawiającego koniecznie trzeba podkreślić, iż wbrew twierdzeniom Odwołującego na stronie 20 oferty nie wskazano jakiegokolwiek celu. Odwołujący się nie wskazuje produktu (celu), który mógłby zostać oceniony za pomocą pytań sprawdzających. Daje wyłącznie twierdzącą odpowiedź na postawione pytanie, co uniemożliwia sprawdzenie przez zamawiającego celu z uwagi na jego de facto brak. Również w przypadku punktu 5.5 na stronie 21 oferty Odwołujący parafrazował zapisy SIWZ przekształcając pytania z (podkryterium
7. a)punkt nr 5 i uzasadniając poprawność sformułowania celów. Zapis SIWZ Zapis z oferty Czy cele operacyjne zostały Sformułowane prawidłowo operacyjny cel kształcenia powinien być: JEDNOZNACZNY - wyraża to wszystko, co uczący się potrafi zrobić dla wykazania, że "wie". WYKONALNY - to, co uczący się powinien robić musi być wykonalne w określonym czasie i w dostępnych warunkach LOGICZNY - cel powinien być logicznie sprecyzowany OBSERWOWALNY - jeżeli nie znamy sposobu obserwowania postępu w osiąganiu celu (w sposób bezpośredni lub pośredni), to nie jest możliwe stwierdzenie, czy cel został osiągnięty MIERZALNY - cel musi określać wystarczający poziom wykonawstwa ze strony uczącego się Cele operacyjne zostały sformułowane prawidłowo. Cele sformułowane w lekcji są: • jednoznaczne, gdyż określają, co kursant w jej toku osiągnie: o umiejętność definiowania, o umiejętność określania kompetencji, o wiedzę w danym zakresie, • wykonalne, ponieważ uczący się może przyswoić sobie zakładane cele, poprzez ćwiczenia i interakcje stanowiące integralną część szkolenia, • logiczne, ponieważ można określić ich zakres i zawartość, • obserwowalne za pomocą wykorzystanych w lekcji mechanizmów weryfikujących postępy kursanta. Z poziomu szkolenia w Spisie treści zamieszczona jest informacja o zaliczeniu bądź niezaliczeniu ćwiczeń sprawdzających opanowanie omawianych zagadnień. Ponadto wyniki testu eksportowane są na platformę edukacyjną. • mierzalne, ponieważ określają, co kursant powinien wiedzieć i rozumieć oraz jak i w jakich sytuacjach wykorzystać zdobytą wiedzę. Czy cele nie są zbyt ogóle ani zbyt szczegółowe ? Cele nie są zbyt ogólne ani zbyt szczegółowe. Cele przedstawione w lekcji są adekwatne do zawartej w niej treści i wiedzy z zakresu mentoringu. Czy cele są sformułowane w sposób motywujący uczestnika do nauki? Cele są sformułowane w sposób motywujący do nauki. Cele operacyjne wskazują przydatną wiedzę i umiejętności, które kursant po ukończeniu szkolenia będzie wiedział, umiał i potrafił wykorzystać w swojej praktyce zawodowej. Zgodnie z cyklem nauczania Kolbe'a osoby dorosłe uczą się poprzez praktykę i dla praktyki - w lekcji wykorzystano tę zasadę. Zamawiający zwracał uwagę, że w zapisach tych nie określono, jakie są cele operacyjne odnoszące się do poszczególnych zagadnień, co uniemożliwiło Zamawiającemu dokonanie oceny na podstawie przewidzianych kryteriów (podkryteriów) oceny. Należy kategorycznie podkreślić, iż to do Zamawiającego należy ocena przedstawionych przez wykonawców celów operacyjnych. Dlatego też dokonanie samooceny Odwołującego, który parafrazując zapisy SIWZ w zakresie pytań, przy równoczesnym braku przedstawienia wymaganej operacjonalizacji celów nie może zostać uznane za spełnienie wymogów SIWZ i skutkować przyznaniem punktów w postulowanym przez Odwołującego zakresie. Podobnie jak przy wnioskach dotyczących tabeli 20 brak jest wskazania produktu (celu), który mógłby zostać oceniany. Odwołujący daje jedynie twierdzące odpowiedzi na pytania, które miały służyć ustaleniu spełnienia kryteriów przez przedstawiony produkt. Ocena oferty Odwołującego powinna pozostać bez zmian w zakresie oceny podkryterium „Ocena materiału źródłowego oraz lekcji demo nr 1 (tzw. nowej lekcji), tzw. ocena L1". Również w przypadku kryterium L2 - Oceny Lekcji demo nr 2 (tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności) Zamawiający nie znajduje podstaw do uznania argumentacji Odwołującego. Odwołujący w ofercie przedstawił 51 propozycji funkcjonalności i innowacyjności, z czego jedynie w przypadku 47 Zamawiający mógł przyznać punkty, ponieważ: • funkcjonalności nr 11 „Przycisk SCHOWAJ MENU umożliwia ukrycie dolnej belki nawigacyjnej z dodatkowymi opcjami" oraz nr 12 „Przycisk POKAś MENU umożliwia ponowne odkrycie dolnej belki nawigacyjnej z dodatkowymi opcjami" zostały uznane za jedną funkcjonalność „schowaj/pokaż menu", mając na uwadze zapis zawarty w SIWZ „Uwaga: Zamawiający poprzez rodzaje multimediów i funkcjonalności rozumie niepowtarzalne funkcjonalności, czyli np. dwie różne animacje flash będą liczone jako jeden rodzaj multimediów/funkcjonalności" (§ 11 ust 3 lit. b SIWZ); • Funkcjonalność nr 15 „Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może ponownie rozwiązać ćwiczenie" występuje już w Akademii PARP; • Funkcjonalność nr 17 „Przycisk SPRAWDŹ znajduje się na ekranach z komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał dane ćwiczenie lub interakcję" występuje już w Akademii PARP; • Funkcjonalność nr 20 „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu" występuje już w Akademii PARP. Innowacyjność funkcjonalności nr 11 i 12 Odwołujący motywuje tym, że wszystkie ekrany materiałów demonstracyjnych posiadają te funkcjonalności oraz faktem, iż „w każdej z próbek pasek ten jest domyślnie wyłączony. Użytkownik ma możliwość ukrywania i odkrywania belki modyfikując tym samym wygląd ekranu". Z punktu widzenia użytkownika możliwość przełączania (przycisk pokaż/ukryj menu w prawym dolnym rogu) między widokiem ekranu bez paska/belki nawigacyjnej, a widokiem z takim paskiem to jedna funkcjonalność. Podobnie jak w przypadku funkcjonalności 11 i 12 Odwołujący dał możliwość włączenia i wyłączenia funkcjonalności nr 6 (Notatki), 7 (tablica), 8 (Pisak) czy 9 (Lupa) i nie uznał za zasadne sztucznie ich dublować, w celu fikcyjnego stworzenia nowych funkcjonalności. Znamienny jest także poniższy przykład funkcjonalności nr 28 (Wysoki kontrast/zwykły kontrast i widoczny na slajdzie w górnym prawym rogu), gdzie mechanizm jest identyczny, jak w przypadku funkcjonalności 11 i 12, czyli zmienia się opis przycisku, a funkcjonalność przez Odwołującego ciągle wykazywana jest (słusznie) jako jedna. Zamawiający przywoływał w odpowiedzi na odwołanie widok ekranu obrazujący funkcjonalność nr 11 i 12 oraz wysoki/zwykły kontrast. Funkcjonalność nr 15 „Przycisk SPRÓBUJ PONOWNIE znajduje się na ekranach z komponentami w części teoretycznej szkolenia. Po jego kliknięciu użytkownik może ponownie rozwiązać ćwiczenie". Jak sam Odwołujący wskazuje w odwołaniu, w Akademii PARP funkcjonuje przycisk „CZYŚĆ", który od funkcjonalności zaproponowanej przez Odwołującego różni się brakiem możliwości zmiany kolejności odpowiedzi. Zmiana kolejności odpowiedzi realizowana jest przez funkcjonalność nr 18 „Rotowanie kolejności odpowiedzi w ramach poszczególnych pytań w ćwiczeniu lub teście". Odwołujący nie może wymagać od Zamawiającego aby ten przyznał dwa razy punkty za tę samą funkcjonalność - zmianę kolejności odpowiedzi. Zamawiający zauważał, iż Odwołujący krytykuje poprawność zastosowania przycisku CZYŚĆ w testach Akademii PARP, gdzie wykazuje jego nadmiarowość, gdyż „kliknięcie w inną odpowiedź automatyczne czyści tę dotychczas zaznaczoną". Powyższe zdanie jest oczywiście słuszne ale tylko w przypadku pytań jednokrotnego wyboru. Akademia PARP przygotowana jest na stosowanie w testach również pytań wielokrotnego wyboru, gdzie nadmiarowość przycisku CZYŚĆ nie występuje. Poza powyższym wytłumaczeniem warto zauważyć, że rolą Odwołującego nie była krytyka zastosowanych w Akademii PARP rozwiązań, a zaoferowanie innowacyjnych, dotychczas niewystępujących rozwiązań. Zamawiający przedstawiał przykład slajdu z istniejącego szkolenia Akademii PARP na potwierdzenie swojego twierdzenia. Funkcjonalność nr 17 „Przycisk SPRAWDŹ znajduje się na ekranach z komponentami. Po jego kliknięciu użytkownik uzyskuje informację, czy poprawnie wykonał dane ćwiczenie lub interakcję" Zamawiający zwracał uwagę, że w odwołaniu skupiono uwagę na innowacyjności działania przycisku SPRAWDŹ w testach, podczas gdy przycisk ten występuje również w ćwiczeniach stanowiących część lekcji. W lekcjach Akademii PARP w przypadku ćwiczeń informacja o poprawności odpowiedzi ukazuje się: - podczas jej udzielania - np. w ćwiczeniu z odpowiedziami wielokrotnego wyboru (w poniższym przykładzie pierwsza odpowiedź jest nieprawidłowa, trzecia jest prawidłowa, a druga i czwarta nie zostały jeszcze zaznaczone) (widok na slajdzie), - po jej udzieleniu - np. w ćwiczeniu z odpowiedziami jednokrotnego wyboru (przykład na slajdzie), - po skorzystaniu z przycisku WYNIK (slajd). Odwołujący krytykuje poprawność zastosowania przycisku ZATWIERDŹ, w testach Akademii PARP, gdzie wykazuje jego nadmiarowość, gdyż „z punktu widzenia użytkownika przycisk ten, nic nie wnosi zmuszając do zwiększenia ilości kliknięć w celu przejścia do kolejnego pytania. Zatwierdzeniem udzielonej odpowiedzi mogłoby być przejście do kolejnego ekranu za pomocą przycisku DALEJ". Przycisk ZATWIERDŹ w działającej Akademii PARP ma zapewnić, że użytkownik przejdzie do kolejnego pytania dopiero po udzieleniu odpowiedzi, a nie np. po przypadkowym kliknięciu przycisku DALEJ. Kosztem dodatkowego kliknięcia Akademia PARP podwyższa komfort użytkownika podczas potencjalnie stresującego testu. Zdaniem Zamawiającego koszt ten nie jest specjalnie wygórowany, a rolą Odwołującego nie była krytyka zastosowanych w Akademii PARP rozwiązań, a wskazanie innowacyjności. Zamawiający przedstawiał ekran z testu egzaminującego Akademii PARP, który zawiera wyżej opisane przyciski (ZATWIERDŹ, CZYŚĆ oraz DALEJ): Funkcjonalność nr 20 „Ekran pojawiający się po kliknięciu przycisku ZAMKNIJ potwierdzający chęć wyjścia ze szkolenia w trakcie trwania testu". Jak sam Odwołujący przyznaje w Akademii PARP już istnieje taka funkcjonalność, w wyniku której „w analogicznych sytuacjach" (po przyciśnięciu przycisku WYJŚCIE) ukazuje się następujący ekran: (ekran zawiera m.in. pytanie: Czy na pewno chcesz wyjść z egzaminu ?" z przyciskami "OK" i "Anuluj"). Z punktu widzenia użytkownika jest to taka sama reakcja wymagająca podjęcia decyzji, jak w przypadku próby wyjścia z testu przygotowanego przez Odwołującego: - pytanie "Czy na pewno chcesz zamknąć lekcję ?" "TAK", "NIE"). Wprawdzie na załączonym przykładzie widnieje pytanie o chęć zamknięcia lekcji, ale w materiale przygotowanym przez Odwołującego brak ekranu potwierdzającego ze szkolenia, co by było zgodne z opisem funkcjonalności, toteż Zamawiający przyjął, że jest to pomyłka nie mająca wpływu na poprawność działania funkcjonalności. Jednocześnie warto zauważyć, że niepodlegający zmianie schemat szkoleń Akademii PARP jest następujący: szkolenie składa się z modułów, moduły zaś składają się z lekcji i testów (na początku i na końcu modułu). Brak więc testów będących częścią lekcji. W związku z powyższym status lekcji, o którym była mowa w odwołaniu, nie zależy od statusu testu, ponieważ są to dwie oddzielne części lekcji. Jeszcze ważniejszy jest fakt, że dla uczestnika szkoleń nieważne jest czy status lekcji jest „failed" czy „incomplete". Dla uczestnika ważne jest to czy ma możliwość wycofania się z przypadkowego kliknięcia powodującego przerwanie testu na zakończenie całego modułu szkoleniowego, a taka funkcjonalność jest przewidziana zarówno w ofercie Odwołującego, jak i w istniejącej Akademii PARP. Mając powyższe na uwadze zdaniem Zamawiającego należy stwierdzić, iż argumentacja Odwołującego nie znajduje potwierdzenia również w tym przypadku, z czego wynika, iż ocena oferty Odwołującego powinna pozostać bez zmian w zakresie oceny podkryterium „Ocena Lekcji demo nr 2 (tzw. zaktualizowanej - zawierającej nowe rodzaje multimediów i funkcjonalności), tzw. ocena L2". W przypadku gdyby argumentacja Zamawiającego nie znalazła uznania w oczach Izby, Zamawiający z ostrożności procesowej podnosił kwestię, którą zdaje się pomijać Odwołujący, a która ma nader istotne znaczenie przy orzekaniu przez KIO w niniejszej sprawie. Uwzględnienie argumentacji Odwołującego w przypadku oceny podkryterium „Ocena Lekcji demo nr 2 (tzw. zaktualizowanej -zawierającej nowe rodzaje multimediów i funkcjonalności), tzw. ocena L2" i uznanie, iż: • nawet drobne różnice pomiędzy istniejącymi już w Akademii PARP funkcjonalnościami a oferowanymi przez Odwołującego rozwiązania muszą skutkować, uznaniem ich jako nowości, • możliwość włączenia i wyłączenia jednej funkcjonalności winno skutkować uznaniem ich za odrębne, - a tym samym koniecznością przyznania Odwołującemu dodatkowych punktów, skutkować będzie dodatkowymi konsekwencjami przy ponownej ocenie ofert. Otóż, zgodnie z art. 7 ust 1 ustawy jedną z naczelnych zasad systemu zamówień publicznych jest zasada równego traktowania wykonawców, przy czym zasada ta obowiązuje w sposób nie budzący wątpliwości również w przypadku oceny ofert na podstawie przewidzianych ofert. W sytuacji gdyby Izba przychyliła się do słuszności przytoczonych powyżej stwierdzeń Zamawiający zobowiązany będzie do ponownej oceny wszystkich złożonych w postępowaniu ofert w zakresie tego podkryterium i przyznania dodatkowych punktów, a w szczególności ofercie Przystępującego, i dokonania ponownej czynności wyboru jego oferty. Dlatego też uwzględnienie odwołania nie może doprowadzić do wyboru jego oferty jako najkorzystniejszej, a podnoszone przez Odwołującego naruszenia w zakresie oceny złożonej przez niego oferty, nie mogą mieć wpływu na wynik postępowania, co skutkować winno oddaleniem Odwołania zgodnie z treścią art. 192 ust 2 ustawy Pzp. Mając powyższe na uwadze, Zamawiający wnosił jak na wstępie. Uwzględniając dokumentację przedmiotowego postępowania o udzielenie zamówienia publicznego, jak również biorąc pod uwagę oświadczenia i stanowiska Stron i Przystępującego złożone podczas rozprawy, Izby ustaliła i zważyła co następuje. Na wstępie Izba stwierdziła, że nie zachodzi żadna z przesłanek skutkujących odrzuceniem odwołania opisanych w art. 189 ust. 2 ustawy Pzp, odwołanie nie posiada braków formalnych oraz został uiszczony od niego wpis. Izba uznała także, że Odwołujący spełnia przesłanki wniesienia odwołania określone w art. 179 ust. 1 ustawy Pzp. Izba stwierdziła skuteczność przystąpienia do postępowania odwoławczego po stronie Zamawiającego wykonawców wspólnie ubiegających się o udzielenie zamówienia: Instytut Edukacji Interaktywnej estakada.pl sp. z o.o. oraz Betacom S.A. z uwagi na spełnienie przez nich przesłanek skuteczności przystąpienia określonych w art. 185 ust. 2 i 3 ustawy Pzp. W oparciu o zgromadzony w sprawie materiał dowodowy Izba uznała, że odwołanie nie zasługuje na uwzględnienie. Nie potwierdził się bowiem zarzut wadliwej oceny oferty Odwołującego i zaniżenia przyznanej punktacji, co z kolei skutkowało nieprawidłowym wyborem jako najkorzystniejszej oferty Przystępującego. Izba uznała, iż nie potwierdziły się zarzuty dotyczące wadliwej oceny oferty Odwołującego w pkt 4 i 5 tzw. oceny L1. Izba nie podziela stanowiska Odwołującego, iż Zamawiający miał możliwość dokonania takiej oceny w oparciu o informacje zawarte na stronie 19, 20, 21 i 25 oferty. Odwołujący utożsamiał bowiem cele lekcji z celami operacyjnymi zagadnień, podnosząc na rozprawie, iż Zamawiający w SIWZ, opisując elementy, które mają być zawarte w materiale źródłowym podlegającym ocenie w ramach oceny L1, nie wskazał, iż wykonawca ma określić cele zagadnień. Tym samym nie zapewnił, aby w treści ofert znalazły się informacje, które następnie poddane były ocenie. Izba nie zgadza się z powyższym stanowiskiem. Po pierwsze kwestionowanie na obecnym etapie sposobu sporządzenia SIWZ należy uznać za spóźnione. Po drugie SIWZ w § 8 ust. 8 pkt
8. ii)(po modyfikacji) przewidywała: „Wykonawca przekaże w formie wydruku i na nośniku elektronicznym w formie pliku zapisanego w formacie .doc lub ,docx, materiał źródłowy w formie zakresu i scenariusza lekcji na temat: „Zarządzanie wiekiem a zarządzanie wiedzą". Materiał musi zawierać rysunki objaśniające oraz sylabus (z wyjaśnieniem słów kluczowych i powiązań pomiędzy nimi). Materiał musi zawierać: