Критерии оценки этапов проектного цикла. Отличием образовательного проекта от лабораторной работы, практикума, инженерного соревнования и иных интерактивных форматов образовательной деятельности является прохождение по полному циклу проекта вне зависимости от того, какую именно задачу в цикле научно-исследовательских или инженерно-конструкторских работ решает проект (рис. 1).
Рисунок 1. Последовательность действия критериев оценки этапов проектного цикла проектной деятельности обучающихся
Для всех проектов выделяются следующие инвариантные критерии оценки, по каждому из которых оценка осуществляется по шкале от 0 до 2 (0 – не проявлено, 1 – проявлено в неполной мере, 2 – проявлено в полном объеме):
- работа с проблемой – актуальность проблемы и глубина анализа, в том числе с учетом региональной специфики;
- анализ решений и литобзор – полнота и системность анализа проблемного поля, включая обзор современных подходов к решению проблемы, существующих наработок и используемых методов;
- выбор задач и методов – корректность и обоснованность поставленных целей, задач и гипотез, методов разработки;
- инновационность решения – оригинальность и новизна разработки;
- защита – качество доклада и ответов на вопросы по проекту.
Критерии оценки качества проделанной работы. Оценка качества работы, зависит от того, какой этап или этапы в полном жизненном цикле, были реализованы в проектировании (рис. 2).
Рисунок 2 . Этапы жизненного цикла учебного проекта, учитываемые при оценке результатов проекта
Для каждого этапа оценивается отдельно соответствие работы по шкале 0-3 балла (0 – этап не выполнен в ходе работы, 1 – выполнен в неполном объеме, 2 – выполнен в полном объеме, 3 – высочайшее качество выполнения этапа работы).
Таким образом, среднего качества работа выполненная от концептуального проектирования до создания технологии оценивается в 3 балла (1+1+1), т.е. так же как чисто исследовательская работа высочайшего качества (3 балла).
Для каждого этапа характерен свой целевой результат реализации проекта (в терминах реального цикла инновационного проектирования) (табл. 1).
Таблица 1 – Оценка результатов проекта по этапам
Этап | Результат этапа | Что оценивается |
Исследование |
Проведено исследование, имеющее практическую ценность |
- насколько исследование близко к переднему краю науки? - насколько освоен научный метод? - важны ли результаты проекта для дальнейшего использования в научно-исследовательской или разработческой деятельности? |
Концептуальное проектирование |
Проверена применимость существующих наработок для решения реально стоящих в обществе или индустрии задач |
- концепция решения, ее применимость к решению проблемы; - качество проектной документации: расчетов, конструкторской документации, 3D-моделей и т.п. |
Создание опытного образца |
Продукт, демонстрирующий работоспособность в опытной эксплуатации, продукт действительно решает свои задачи |
- насколько образец решает поставленную задачу? - качество проведенных испытаний, отладки и оптимизации образца - качество доработок, сделанных для обеспечения работоспособности образца |
Создание технологии |
Масштабирование опытного образца в тиражируемую технологию, продукт готов к серийному производству и внедрению |
- адаптированность решения к тиражированию; - наличие и качество технологической карты - инфраструктурная и коммерческая доступность |
Введение в эксплуатацию |
Использование технологии в реальном мире, масштабное решение поставленных задач в рамках проектирование |
- фактический результат от внедрения технологии; - качество и масштабируемость доработок, сделанных по ходу эксплуатации; - последствия от введения в эксплуатацию (экологичность, социальные эффекты и т.п.); - коммерческая нагрузка по результатам эксплуатации и утилизации |
Расчет итогового балла по работе. Итоговый балл вычисляется для каждого эксперта по формуле и далее считается среднее значение, которое становится общим баллом.
Для каждого эксперта балл вычисляется по формуле:
Балл = (сумма по критериям этапов проектного цикла) * (сумма по критериям качества проделанной работы)
Смысл произведения в формуле в том, что для образовательного проекта продуктовый результат проекта является в той же степени важным, что и проектная составляющая и степень самостоятельности ребенка. Поэтому проекты, имеющие хорошие значения по обоим наборам критериев должны быть оценены выше, чем проекты в которых западает либо проектная, либо продуктовая часть независимо от того, насколько хорошо проявлена вторая часть.
Рекомендации по оценке:
- Эксперты могут одновременно присутствовать на защите, или она может проходить раздельно для разных экспертов (например, в формате выставки), однако в любом случае важно организовать работу таким образом, чтобы эксперты осуществляли оценку индивидуально, а не коллективно выставляли одинаковый балл. При этом общение между экспертами является принципиально допустимым, но при этом нельзя допускать ситуации изменения баллов по результатам обмена мнениями.
- Качество ответов на вопросы влияет не только на критерий “защита”, но также и на иные критерии, в случае, если ответ на вопрос дает возможность по содержанию прояснить суть работы, ее результаты или иные параметры. В критерии “защита” оценивается только презентационная сторона ответов.
- В этапе проектного цикла “исследование” оценивается научно-исследовательская часть проекта, а не исследование существующих публикаций (для этого есть критерий “анализ решений и литобзор”)
- В случаях, когда ребенок не проявлял самостоятельность и плохо понимает суть проделанной работы, но при этом доклад хорошо отрепетирован, ответы на вопросы бывают очень слабыми. В таких случаях необходимо рекомендовать низко оценивать работу, так как сочетание сильной презентации и слабых ответов – верный признак того, что работу реально делал взрослый, а не дети.
- Как правило, в школьных работах, даже очень качественных, этап “утилизация” не реализуется, и даже этап “введение в эксплуатацию” – так же очень редко. Эти критерии представлены для исключительных случаев, когда работа действительно дает такой результат. По большинству работ нормально, что этот критерий даст 0 баллов.
Таблица 2 – Шаблон экспертного листа
Название работы |
проектный цикл (0 – не проявлено, 1 – проявлено слабо, 2 проявлено в полном объеме) | качество работы (0 – не выполнено, 1 – выполнено слабо, 2 – выполнено в полном объеме, 3 – исключительное качество) | |||||||||
работа с проблемой |
анализ решений и лит. обзор |
выбор задач и методов |
инновационность решения |
защита |
исследование |
концептуальное проектирование |
создание образца |
создание технологии |
введение в эксплуатацию |
утилизация |
|
проект 1 | 1 | 2 | 0 | 0 | 1 | 0 | 2 | 1 | 0 | 0 | 0 |
проект 2 | |||||||||||
проект 3 | |||||||||||
…. |
Пример расчета оценки на примере проекта 1 в таблице:
(1+2+0+0+1) * (0+2+1+0+0+0) = 12 баллов.
Таким образом, представляется возможным сделать сравнительную оценку проектов с позиции этапов жизненного цикла проектов при учете разнокритериальных связей методом экспертных оценок.
Библиографический список
- Аленина Е.Э., Ширяев Д.В., Зюлина В.В. Концепция организации проектной деятельности студентов гуманитарно-экономических направлений подготовки. // Известия МГТУ “МАМИ”. Экономика и управление. Социально- гуманитарные науки. Научный рецензируемый журнал. – М., МГТУ “МАМИ”, №4 (26), 2015, т. 5, С. 185-191.
- Сметанов А.Ю., Носов Ю.Р. Методология экспертизы «электронных» проектов. // Ежемесячный журнал «Высшее образование сегодня» №3 март 2015, С. 67-75.
- Ширяев Д. Выбор оптимальной информационной системы. Открытые системы. СУБД. 2001. № 10. С. 20.
- Ширяев Д.В. Оценка результативности проектной деятельности обучающихся образовательных организаций высшего образования // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 8, №2 (2016) http://naukovedenie.ru/PDF/39EVN216.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/39EVN216
- Ширяев Д.В. Совершенствование методики оценки конкурентоспособности организаций // Экономика и предпринимательство. 2016. № 12-1 (77-1). С. 487-489.
- Ширяева Э.Ю. Методика оценки инновационных бизнес-идей и разработок. В сборнике: Инновационное развитие социально-экономических систем: условия, результаты и возможности Материалы III международной научно-практической конференции. 2015. С. 68.
- “Knowledge Economy” as a Resource for the Intensification of Socio-Economic Transformation of the Regional Economic Space. Dmitry V. Shiryaev, Elena I. Artemova, Maria V. Zelinskaya, Sergey N. Novoselov, Svetlana D. Galiullina, Elena E. Pismennaya. International Review of Management and Marketing, 2016, 6(S1) 232-237. – ISSN: 2146-4405.