• - авторы: David Coghlan, Teresa Brannick
  • - чаще всего исследования организации проводятся снаружи, и исследователь уходит сразу после окончания исследования
  • - ситуация, когда исследователи находятся внутри организации и являются её штатными сотрудниками - чрезвычайно редка
  • - AR - подход к исследованиям, где целью является и действие, и накопление знания в процессе действия
  • - традиционные исследования создают на выходе лишь знания
  • - AR - циклический процесс: планирование - действия - оценка результатов, приводящая к последующим действиям
  • - вторая важная особенность - активное участие членов исследуемой системы в исследовании
  • - в традиционном исследовании члены системы - всего лишь объекты исследования
  • - AR - собирательный термин для целого класса методов, и их обилие может вызывать путаницу у новичков
  • - с другой стороны, это изобилие позволяет подобрать наиболее подходящий метод в конкретной ситуации
  • - AR может применяться только там, где тема исследования - серия последовательных действий, растянутая по времени для группы людей, сообщества или организации
  • - второе требование: члены группы должны желать исследовать свои собственные действия, чтобы изменить или улучшить некоторые аспекты системы, и изучать процесс чтобы учиться у него
  • - соответственно, AR можно назвать "экспериментальным обучением и практикой рефлексии"
  • - выполнение исследования означает, что члены организации берут на себя явные роли исследователя в дополнение к своим обычным функциональным ролям
  • - тут важен этот тонкий баланс между ролями
  • - в дополнение к своим обычным действиям, члены группы также будут диагностировать ситуации, планировать и оценивать свои действия
  • - обычно бывают сложности с получением полномочий и поддержки от начальства и коллег для выполнения этой работы
  • - ещё одна проблема возникает с выбором проблем и областей для исследования
  • - получается, что член группы превращается в этом случае ещё и в "ищейку" в поиске проблем, достойных разрешения
  • - это одновременно и усложняет, и фокусирует задачу
  • - ещё одна проблема: объективность восприятия объективной реальности, тестируемых предположений и интерпретаций
  • - чтобы упростить эту задачу, применяются специальные системы для просмотра и понимания данных
  • - ещё проблема: сложность получения и передачи фидбека начальству и коллегам
  • - основная проблема возникает когда интерпретации или выводы оцениваются организацией негативно
  • - чаще всего AR занимаются сотрудники по своей воле, как часть получения ученой степени
  • - некоторые исследовательские проекты включены в процесс разрешения определённых проблем
  • - другие - работают на более широком, диагностическом уровне
  • - в то же время, согласие организации на выполнение исследования обычно подкрепляется ожиданием получения какого-либо вознаграждения для организации по его итогам
  • - AR можно определить как срочный процесс познания, в котором поведенческая наука интегрируется с существующими знаниями в организации и применяется для решения реальных её проблем
  • - её цели: принести изменения в организацию, выработать навыки самопомощи у её членов и расширить научные знания
  • - это - эволюционный процесс, выполняющийся в духе сотрудничества и совместной проверки друг друга
  • - исследование В действии, а не исследование действия
  • - демократическое сотрудничество
  • - одновременно с действиями
  • - последовательность событий и подход к решению проблем
  • - по сути, AR - не просто очередной метод исследования, а исследовательский подход к решению реальных проблем
  • - ожидаемый выхлоп от AR - не только решение конкретной проблемы, но и попутное обучение, как преднамеренное, так и непреднамеренное, а также вклад в науку
  • - на крайних гранях науки - реалисты и релятивисты, AR - нечто среднее между ними
  • - объективисты считают, что они могут увидеть и описать реальность
  • - релятивисты считают, что наша наука - продукт нашего социума, и мы не можем адекватно описать реальность с её помощью
  • - релятивисты считают, что то, что мы считаем "реальным миром" - всего лишь продукт наших органов чувств, то есть от реальности мы будем всегда очень далеко
  • - рефлексия - попытка понять, как личность исследователя влияет на его восприятие исследуемого объекта
  • - основная проблема тут - в том, что самому исследователю часто сложно понять и принять степень своих заблуждений
  • - систематическая рефлексия - постоянный анализ своих теоретических и методологических заблуждений, что помогает увидеть и понять важность чужих точек зрения и методов
  • - эпистемическая рефлексия фокусируется на системе убеждений исследователя, анализируя и оспаривая его мета-теоретические предубеждения
  • - методологическая рефлексия озабочена влиянием нашего поведения на результат исследований, побуждает использовать наиболее подходящие в каждом конкретном случае протоколы и процедуры
  • - доминантная методология в менеджменте и изучении организаций - позитивизм, то есть исследователи убеждены, что они адекватно воспринимают реальность
  • - "наследники" позитивизма: объяснения, гипотетически-дедуктивный и мульти-методологический эклектизм
  • - "независимый исследователь без убеждений может адекватно воспринимать реальность"
  • - позитивисты адаптируют методологический подход к рефлексии, концентрируясь на улучшении методов и их приложения
  • - цель позитивиста - создание общего знания или покрывающих все случаи законы
  • - открытия оцениваются по логике, измеримости и постоянству, достигаемому постоянством предсказания и контроля
  • - позитивист старается дистанцироваться от объекта исследования, соблюдать нейтральность
  • - конструктивизм - следующий популярный подход
  • - конструктивисты считают, что исследователь неотделим от объекта, поэтому адекватное восприятие невозможно
  • - они также считают, что нет единой для всех объективной реальности, что каждый человек живёт как бы в своём мире
  • - у них есть тенденция к гипер-рефлексии, то есть они, в первую очередь, разбирают свою собственную практику
  • - исследования направлены на разработку конкретных методов, работающих в конкретных ситуациях, а не общих, универсальных
  • - ничто не может быть измерено без изменения, поэтому именно близость к объекту, практика даёт наиболее точные и глубокие данные и знания
  • - третий подход - критический реализм, является основой AR
  • - комбинирует оба вида рефлексии из предыдущих подходов
  • - рефлексия не может быть нейтральной, она неизбежно отражает социум и историю
  • - поскольку цель рефлексии - изменения, она невозможна без демократического сотрудничества и готовности меняться
  • - рефлексивное знание должно укладываться в социальные, экономические и политические реалии
  • - поскольку AR сконцентрировано на познании в действии, получающиеся на выходе знания - ситуауционные, частные, без обобщений
  • - любые данные анализируются в контексте
  • - базис оценки знаний - осознанное и последовательное применение циклов AR
  • - исследователь погружен в этот процесс и не выходит из него
  • - AR - радикальна настолько, что она постоянно пытается оспорить социальные нормы и принципы социальной организации
  • - обычная наука также подвергается сомнению путем конкретных действий
  • - поскольку обычные сотрудники также участвуют в генерации знаний, обычные роли ломаются: в организации уже нет приоритета конкретных людей, отвечающих за знания
  • - любая работа AR-исследователей подразумевает действия и изменения, а не просто накопление знаний
  • - основной вопрос - даже не в знаниях и не в действиях, а кто именно устанавливает вопросы для исследования и кто получает выгоду с их результатов
  • - лучшая аналогия: представить себе обычную науку в виде фотографа, а AR - в виде режиссёра, который сам же играет в своей картине
  • - фотография выхватывает лишь ограниченный кусок мира, причём фотограф выбирает, что именно и когда именно будет на кадре, то есть он не может являться отражением реальности
  • - играющий режиссёр же постоянно меняет роли, и его картина мира получается гораздо ближе к реальности
  • - AR не нуждается в признании своей валидности или роли другими подходами, поскольку находит подтверждение внутри своей области применения
  • - те, кто применяют AR в рамках своей научной работы, вообще не нуждаются ни в чьёй оценке, поскольку результатом является сама эта работа
  • - интегративный подход к исследованию включает в себя три голоса: первое, второе и третье лицо
  • - традиционно, исследователи сфокусированы на третьих лицах: они исследуют третьи лица в пользу третьих лиц
  • - AR работают сразу со всеми:
  • - анализируют себя (первое лицо) путем рефлексии, сомнений в своих убеждения и методах
  • - "вверх по течению": разбор своих жизненных целей, основных убеждений, желаний, намерений и философии
  • - "вниз по течению": поведение, взаимоотношения и действия
  • - второе лицо - через работу и общение с другими
  • - тут важно выстроить правильные взаимоотношения, поскольку если нет демократического сотрудничества и доверия, будет неэффективно
  • - третье лицо - через подключение коммьюнити, за пределами организации или круга общения
  • - работа с третьими лицами - деперсонализированная, ведётся через публикации и экстраполяцию частных случаев
  • - "для других" - публикация обобщенных идей и результатов
  • - "для своих" - решение общих задач
  • - "для себя" - изменение своего восприятия себя в мире
  • - традиционно AR воспринимается как совместная работа заказчика и исследователя, направленная на решение проблем и генерацию новых знаний
  • - Курт Левин - основоположник AR, да и социальной психологии, в принципе
  • - заслуги Левина:
  • - интегрировал теорию с практикой, сделав социальную психологию инструментом решения проблем реальной жизни, соединил проблемы с теорией
  • - разработал методику исследований: очерчивание общего с последующим выделением частностей
  • - разработал конструкты для обобщения и понимания частных случаев, через понимание, что изучение объекта возможно лишь через его изменение
  • - поставил социальную психологию на службу демократии, превратив исследуемых в клиентов, получающих улучшение качества жизни
  • - Левин уделял большое внимание теории, но она всегда эволюционировала вместе с практикой, то есть он не пытался поставить теорию вперёд практики, но и не ставил практику вперёд теории
  • - концепция Левина в AR:
  • - эксперименты по изменению социальных систем, фокус на конкретных проблемах и помощи в их разрешении
  • - итеративные циклы определения проблемы, планирования, действия и оценки результатов
  • - ожидаемое изменение - "переучивание", что означает изменение шаблонов мышления и действий, закрепившихся в группах и их членах
  • - изменение обычно на уровне норм и ценностей, выраженное в действиях
  • - эффективное переобучение зависит от степени вовлеченности клиентов в диагностику, поиск фактов и свободный выбор новых действий
  • - это изменяет статус-кво с точки зрения участников, и это соответствует требованиям эффективного переобучения
  • - направлено на одновременный вклад в социальные науки и социальные действия в повседневной жизни
  • - нельзя жертвовать ни высокими стандартами разработки теории и эмпирического тестирования предположений, ни практической стороной вопроса
  • - в зависимости от роли исследователя, AR может иметь три значения:
  • - диагностическое исследование - сбор данных по определённому вопросу и предоставление их человеку, принимающему решения
  • - выполняется по какому-то отдельному аспекту действий
  • - как правило, выполняется по инициативе исследователя, и он получает доступ к ресурсам в обмен на ожидаемую выгоду для организации
  • - строго говоря, это не является AR
  • - второе значение - процедура сбора данных об участниках системы с немедленной их передачей самим участникам, исследователь выступает в роли помощника
  • - может выступать и просто как сборщик данных, передавая их помощникам
  • - третье значение - сами исследуемые собирают данные о себе и немедленно используют их для изменения своих действий
  • - это и является наивысшей формой AR
  • - некоторые критикуют сложившийся в AR подход использования его в качестве инструмента решения проблем, хотя эффективнее было бы использовать для улучшения того, что уже хорошо работает
  • - называется этот "улучшательский" подход appreciative inquiry
  • - AR - не просто наблюдатели, они реально работают над реализацией того, что они наблюдают
  • - одновременный фокус на теории и практике означает, что AR совмещает роли: он и работает в качестве исполнителя, и смотрит на себя со стороны, рефлексируя по ходу, накапливая знания и внося необходимые коррективы в действия
  • - AR интерактивен, что означает тесное взаимодействие исследователя и ко-исследователей (исследуемых)
  • - AR - серия разворачивающихся непредсказуемых событий, и участники должны работать вместе и быть готовы адаптироваться к новым реалиям
  • - понимание динамической сложности любой организации, причём сложность - не только из-за количества деталей, а больше из-за цепочек причинно-следственных связей, непрерывно накапливающихся со временем
  • - возможность переключаться между разными уровнями видения организации - от её структуры к конкретным деталям исполнения конкретных задач
  • - AR - это про изменения, поэтому необходимо изучение и понимание динамики организационных изменений
  • - нет ограничения по методикам сбора данных
  • - единственное условие - выбор методик и инструментов должен быть хорошо продуман вместе с членами организации и тесно интегрирован в процесс AR
  • - AR требует предварительного понимания корпоративной и организационной среды, особенностей конкретного бизнеса, вместе с теоретическими его проблемами
  • - ошибочно было бы считать, что AR может просто выйти голым в чистое поле и победить
  • - подготовка - половина дела, тут это особенно важно
  • - AR - это про работу в реальном времени, но иногда можно выполнять и ретроспективную работу
  • - изучение case studies реально помогает в рефлексии, если её результаты применяются в реальном времени
  • - в этом случае, AR выступает в роли "знатока истории" и помогает тем самым организации рефлексировать и обучаться
  • - AR требует своих собственных критериев оценки, зависящих от конкретного проекта
  • - оценка критериями позитивизма тут неуместна
  • - есть универсальные циклы для всех видов использования AR, включая бизнес:
  • - планирование, сбор данных, действия, анализ результатов
  • - четыре фактора AR:
  • - контекст - индивидуальные и коллективные цели, ресурсы, история, локальные и глобальные факторы и так далее
  • - качество взаимоотношений между исследователем и членами организации - ими нужно управлять через доверие, заботу о других, равенство влияния, общий язык
  • - качество самого процесса AR - двойной фокус и на теории исследовании, и на практике
  • - результаты на выходе - опять же двойной фокус на результатах и на знаниях
  • - AR - общий термин, относящийся к целому классу видов деятельности и методов
  • - ядро AR - подход к исследованиям, сфокусированный на одновременных действиях и исследованиях в виде сотрудничества
  • - внутри этого подхода есть несколько парадигм или методологий, каждая из которых имеет свои отличительные черты и фокус
  • - некоторые методологии вышли из социологии и фокусируются на изменении сообществ как социо-политических систем
  • - они, как правило, выходят за рамки организации и направлены наружу, а не внутрь
  • - например: образование, социальные феномены, власть и контроль
  • - такой подход обычно применяется в южном полушарии
  • - в северном полушарии AR вырос из прикладной поведенческой науки и развивается в организационном контексте
  • - параллельно с ним - подход, сфокусированный на взаимоотношениях, как на рабочем месте, так и с окружающим миром
  • - центральный процесс установления взаимоотношений - демократический диалог
  • - эта книга посвящена больше тем, кто будет применять AR внутри организации, как часть традиции северного полушария
  • - отличительной чертой всех AR является то, что целью является не сколько накопление знаний или разработка теорий, сколько установление прямой связи между знанием/теорией и действием таким образом, чтобы это напрямую улучшало людей и их сообщества
  • - AR отрицает разделение мысли и действия, как это обычно делается в социальных исследованиях и менеджменте
  • - выполняется процесс совместного прохода по циклам AR, с целью получения на выходе действенного знания
  • - дальше пойдет просто общее описание различных подходов, без фокуса на их нюансах и отличиях, которые при желании можно найти в соответствующей литературе
  • - основной вопрос - ключевые ценности и процессы каждого из них
  • - традиционный AR
  • - пришел из работ Курта Левина 1946-1948 годов
  • - включает в себя совместное управление изменениями или проблемно-решательские взаимоотношения между исследователем и клиентом, направленные на одновременное решение проблем и генерацию новых знаний
  • - исследователь и клиент участвуют в совместных циклах планирования, действия и оценки результатов
  • - эта форма AR - центральная в теории и практике развития организаций, основная тема этой книги
  • - Participatory Action Research
  • - фокусируется вне контекста организации, направлена на сообщества с целью преобразования некоторых аспектов их функционирования и структур
  • - фокусируется на вопросах власти и безвластия, на том, как безвластные исключаются из процесса принятия решений и как дать людям власть создавать и использовать их собственные знания
  • - многие освободительные движения и движения за равные права меньшинств относятся к этой вариации AR
  • - Action Learning
  • - подход к развитию людей в организации, направленный на их обучение
  • - смещает фокус с традиционного подхода к обучению, где человек сначала учится, а потом работает
  • - стартовая точка - действие, а не изучение теории
  • - основан на двух принципах:
  • - не бывает обучения без действия или эффективного действия без обучения
  • - те, кто неспособен изменить себя, не способны изменить окружающий их мир
  • - три цели:
  • - получить полезный прогресс в решении реальных проблем или использовании возможностей
  • - дать избранным менеджерам достаточно полномочий для изучения для самих себя в компании других
  • - побудить учителей и менеджеров помогать другим учиться вместе с другими и у других
  • - форумула обучения: L = P + Q
  • - L - обучение
  • - P - запрограммированное обучение, то есть текущий набор знаний, уже известный участникам, опубликованный в книгах и так далее
  • - Q - инсайты, возникающие в процессе обучения
  • - три основных процесса:
  • - процесс исследования вопроса - его истории, характеристик, что использовалось ранее и что мешает его решить (System Alpha)
  • - процесс исследования вариантов решения через действие и рефлексию (System Beta)
  • - процесс группового взаимодействия, дающий возможности по критической рефлексии для членов группы и их обучения (System Gamma)
  • - участвующие менеджеры берут полную ответственность и контролируют свое собственное обучение, с минимальным подключением внешних экспертов
  • - Action Science
  • - фокус - на когнитивных процессах используемых людьми практических теорий, которые описываются в терминах моделей
  • - Модель I - стратегии контроля и самозащиты
  • - Модель II - стратегии поиска валидной информации, свободного выбора и самоотдачи
  • - внимание к тому, как индивидуальные стратегии самозащиты превращаются в самозащиту организации в целом
  • - Developmental Action Inquiry
  • - вид научного исследования, выполняемого в реальной повседневной жизни
  • - имеет дело с основными данными в реальном времени, в связке восприятия и действия
  • - разработка процесса исследования путем связи способности изучать мир со стадиями развития эго
  • - по мере того, как люди проходят через стадии развития эго, они могут развить скилы, которые будут препятствовать этому на очередных стадиях
  • - Достигатель может эволюционировать в осознающего себя Стратега
  • - только на поздних стадиях развития индивид может участвовать в совместном изучении, когда и он сам рефлексирует по поводу своего поведения, и побуждает других делать то же самое
  • - это - необходимое условие для лидерства и создания сообществ, нацеленных на исследования
  • - Cooperative Inquiry
  • - двое или больше людей исследуют определенную тему через свой собственный опыт, с целями:
  • - понять их мир, чтобы получить цель жизни и выработать новые креативные способы взгляда на привычные вещи
  • - научиться методам изменения людей, команд и процессов, которые могут хотеть измениться, и найти способы делать разные дела лучше
  • - каждый человек выполняет роли и объекта исследования на фазе получения опыта, и исследователя на фазе рефлексии
  • - стадии:
  • - группа обсуждает совместные интересы и задачи, приходит к общему фокусу исследования и совместно вырабатывает набор вопросов или тем для исследования
  • - группа действует в рамках ежедневной работы, наблюдая и записывая результаты и наблюдения и свои, и других членов группы
  • - члены группы полностью погружаются в свой собственный опыт, они могут уйти очень далеко от исходных идей и предложений в новые области, непредсказуемые действия и креативные инсайты
  • - по завершении заранее определенного периода времени, группа собирается снова и пересматривает исходные вопросы в сфере нового опыта
  • - Clinical Inquiry
  • - работа профессиональных помощников с организациями
  • - клинические психологи, социальные работники, бизнес-консультанты
  • - акцент на глубоких наблюдениях процессов обучения и изменений
  • - акцент на эффектах от попыток вмешательств
  • - отталкиваются от идеальных моделей здоровых систем и фокусируются на патологиях, загадках и аномалиях
  • - строят теорию и эмпирические знания через разработку концепций реальной динамики систем
  • - Appreciative Inquiry
  • - фокус - на улучшении того, что уже хорошо работает, вместо попыток компенсировать недостающее
  • - четыре фазы:
  • - изучение - понимание и уважение того, что уже есть
  • - мечта - видение того, как оно могло бы стать еще лучше
  • - дизайн - действия по улучшению
  • - назначение - оценка и анализ того, что реально получилось на выходе
  • - Learning History
  • - документ, создаваемый участниками попытки изменить что-то, с помощью внешних консультантов, выступающих в роли "знатоков истории"
  • - изучение своего и чужого опыта похожих изменений, чтобы помочь компании двигаться вперед
  • - это изучение присходит параллельно с действием, полученные инсайты немедленно применяются на практике, изменяя работу организации
  • - это обычно происходит, когда руководству на стол попадает рассказ о том, как все было хреново раньше и как все будет круто сейчас
  • - этот рассказ - не финальный, он еще дополняется личным опытом и перспективой его читателей, отвечающих за принятие решений
  • - для этого документ имеет две колонки: слева - рассказ экспертов, справа - пустое место для рассказов ответственных лиц
  • - такой формат побуждает обсуждение важных проблем, а не просто дает готовые решения
  • - Reflective Practice
  • - фокусируется на том, как люди критично оценивают свои собственные действия
  • - является одним из измерений AR, но само по себе работает лишь на индивидуальном уровне, не подразумевая организационную динамику или оценку влияния действий индивида на нее
  • - четыре пути:
  • - фрейминг: поиск своих внутренних ограничений ("фреймов") и альтернатив им
  • - построение репертуара: накопление и описание примеров своей рефлексии в действии
  • - исследование фундаментальных методов исследования: поиск эпизодов практики в action science
  • - исследование процесса рефлексии в действии: изучение процессов где практикующиеся рефлексируют в действии
  • - Evaluative Inquiry
  • - фокус на использовании традиционных практик исследования для обучения организации
  • - использует кучу разных процессов в реальном мире, которые могут показаться запутанными для новичка
  • - на практике, все эти процессы не являются взаимоисключающими, и новичок должен научиться подбирать наиболее эффективные инструменты для конкретных типов задач
  • - как отличить хорошее исследование от плохого?
  • - имеет четкую цель
  • - эта цель - значительная и хорошо определена
  • - используются защитные методологические процедуры
  • - реальность и объективность исследователя систематически анализируется
  • - AR - подход к исследованиям, применяющий нетрадиционные методы сбора данных с целью улучшить организации и сообщества
  • - к сожалению, этот термин все чаще используется как маркетинговый инструмент, просто чтобы получить клиента под вообще любые типы исследований, часто даже не имеющие отношения к AR
  • - чтобы не забывать: AR - мощный концептуальный инструмент для поиска истины, на основании которой выполняются конкретные действия
  • - это - вид науки, и наука тут - в фокусе на осторожном наблюдении и изучении эффектов изменений в человеческих системах по мере того, как меняются ее члены
  • - применение цикла AR на практике:
  • - в оригинале, в самой простой форме - один предварительный шаг и три основных вида деятельности: планирование, действие и поиск фактов
  • - предварительный шаг - поиск и формализация цели
  • - планирование подразумевает разработку общего плана и принятие решения по поводу первого конкретного шага в направлении его реализации
  • - действие - реализация этого первого шага на практике
  • - поиск фактов - оценка результатов этого первого шага, поиск того, чему мы научились и подготовка основы для корректировки следующего шага
  • - на выходе, получается спираль шагов, каждый из которых естественным образом вырастает из предыдущего
  • - в разной литературе эта спираль описывается по-разному: от реально простых вариантов, до реально сложных, с кучей вспомогательных шагов и процедур
  • - в этой книге используются следующий цикл:
  • - предварительный шаг в виде поиска контекста и цели
  • - диагностика
  • - планирование действия
  • - реализация действия
  • - оценка действия
  • - изучение этого цикла должно проводиться в контексте четырех факторов: контекста, качества взаимоотношений, качества процесса и его результатов
  • - контекст и цель:
  • - цикл разворачивается в реальном времени и начинается с понимания контекста проекта:
  • - зачем вообще нам нужен или желанен этот проект?
  • - какие внешние силы (экономические, политические и социальные) направляют это изменение?
  • - какие внутренние силы (культурные и структурные) направляют это изменение?
  • - анализ этих сил определяет их источник, потенциал и природу требований к системе
  • - включается также оценка вариантов реакции системы на изменяющие ее силы
  • - на выходе, мы должны понять, что это изменение действительно необходимо или желанно
  • - дальше мы должны определить желаемое будущее состояние
  • - процесс определения желаемого будущего тут критичен, поскольку он устанавливает рамки целей проекта и помогает правильно фокусировать наши усилия на будущих стадиях
  • - важная деталь на этом шаге: мы должны со старта установить взаимоотношения и сотрудничество с теми, кто владеет или нуждается во владении всеми этими вопросами
  • - центральный вопрос работы со вторыми лицами тут - создать группы, с которыми ты будешь работать над проектом
  • - диагностика:
  • - диагностика включает в себя поиск и формализацию проблем и задач, в контексте планирующихся действий
  • - включает в себя поиск теоретической основы для будущих действий, эта работа должна выполняться тщательно и вдумчиво
  • - диагноз может измениться на какой-то из итераций, но мы должны сохранять историю изменений, чтобы иметь возможность понять, какие именно события привели к альтернативному диагнозу, и четко определить доказательства и причины его изменения
  • - важно, чтобы этот шаг выполнялся вместе с группой, то есть не стоит что-то там самому себе придумывать в одиночку
  • - планирование действия:
  • - план разрабатывается в соответствии с контекстом, целью и диагнозом проекта
  • - может фокусироваться лишь на первом шаге или на серии шагов
  • - должен выполняться вместе с группой
  • - реализация действия:
  • - планы реализуются путем вмешательства в работу организации
  • - оценка действия:
  • - оцениваются как ожидаемые, так и неожиданные последствия
  • - цель - увидеть:
  • - был ли правильным исходный диагноз?
  • - было ли правильным выбранное нами действие?
  • - правильно ли мы выполнили это действие?
  • - что это дает нам для следующего цикла?
  • - в любом проекте есть несколько циклов, выполняющихся параллельно
  • - каждый из циклов имеет разную длину
  • - лучшая аналогия - часы: часовая стрелка отвечает за проект в целом, минутная - его фазы или секции, секундная - конкретные действия внутри проекта
  • - циклы нижних уровней позволяют выполнить, определяют и изменяют циклы верхних уровней
  • - не стоит быть слишком формальным и рациональным в работе с циклами
  • - попытка выполнять их рационально и линейно убьет спонтанность и креативность
  • - с другой стороны, слишком высокая погруженность в конкретику может снизить качество результатов на выходе
  • - мета-обучение
  • - в любом проекте всегда есть два цикла, выполняющихся параллельно: сам проект (ядро) и цикл рефлексии по поводу нашей работы над проектом (тезисный цикл)
  • - то есть, параллельно с проектом, нужно вести отдельную работу по диагностике, планированию, действиям и оценке их результатов на уровне своей AR-работы и извлеченных из нее уроков
  • - этот процесс непрерывного улучшения своей работы - центральный в развитии своих навыков и знаний
  • - именно он включает процесс обучения и позволяет исследователю выйти за рамки решения ежедневных проблем
  • - мы как бы учимся учиться, то есть выполняем процесс мета-обучения
  • - три формы рефлексии: контент, процесс и убеждения
  • - рефлексия по поводу контента - процесс раздумий над конкретными задачами, событиями и так далее
  • - рефлексия по поводу процесса - раздумия над стратегиями, процедурами и методами работы
  • - рефлексия по поводу убеждений - попытка критиковать основные предположения и точки зрения
  • - все эти три формы рефлексии важны и нужны
  • - когда они применяются к AR-циклу, получается мета-цикл исследования
  • - контент - что именно мы диагностируем, планируем, как действуем и оцениваем результаты
  • - процесс - как мы выполняем диагностику, какие процессы исходят из нее, как именно мы их выполняем, какие именно действия следуют за ней, как именно мы выполняем оценку результатов
  • - рефлексия по поводу процесса - критична для развития своих AR-навыков, наш основной фокус должен быть всегда именно тут
  • - убеждения - поиск того, что мы еще не знаем, часто неосознанных, скрытых предубеждений, управляющих нашими взглядами и поведением
  • - для примера, сложившаяся культура в организации имеет мощное влияние на то, как ее члены видят и обсуждают задачи и проблемы, при этом они даже не подозревают о своих предубеждениях
  • - четыре вида опыта, использующихся в AR:
  • - намерения: смысл, цели и видение
  • - планирование: планы, стратегия, тактика, схемы
  • - действия: реализация, продуктивность
  • - результаты: конкретика на выходе, последствия и эффекты
  • - AR нацелен на познание, понимание и выработку навыков во всех этих областях
  • - мы стараемся понять свои намерения, разработать подходящие планы и стратегии, получить опыт их реализации, рефлексировать над исполнением и оценивать результаты
  • - мы можем также исследовать связи между этими областями и фазами
  • - мы можем, для примера, начать с результатов и исследовать как именно наши действия вызвали их
  • - можно пойти еще дальше, и попытаться понять связь между нашими намерениями и действиями
  • - мы не должны ограничиваться нашей личной эволюцией, а работать в группах, используя их для помощи самому себе и помогая им
  • - активная реализация мета-цикла AR поможет не просто улучшить свое поведение, она также изменит взгляд на формулировку задач, сбор и анализ данных и результатов
  • - со временем нам станут понятны связи и несовместимости между практическим и мета-подходом
  • - вопросы оценки качества AR:
  • - AR не должно оцениваться по критериям позитивизма, но использовать свои собственные критерии
  • - насколько хорошо исследователь взаимодействует с членами организации?
  • - нацелен ли он на практические результаты на выходе?
  • - является ли его проект отражением постоянной и итеративной эволюции организации?
  • - включает ли исследование плюрализм мнений?
  • - является ли оно целостным с концептуальной, теоретический и методологической точки зрения?
  • - расширяет ли оно наши пути познания мира?
  • - является ли оно значимым? это - важнейшее качество
  • - получаем ли мы на выходе новые инфраструктуры?
  • - другими словами: являются ли результаты на выходе устойчивыми изменениями?
  • - насколько качественно мы выполняем сбор и анализ данных?
  • - насколько хорошо наши данные отражают реальность?
  • - как именно мы сомневались и проверяли наши личные предположения и интерпретации происходящего?
  • - использовали ли мы для этого все виды рефлексии?
  • - как именно мы использовали другие точки зрения?
  • - как мы относились к подтверждающим и опровергающим наши убеждения фактам и их интерпретациям?
  • - насколько наши интерпретации и диагнозы основаны на теории и насколько качественно мы эту теорию реализовали?
  • - насколько глубоко мы сомневались в результатах и выводах?
  • - ценность AR - не только в том, был ли процесс изменений успешным или нет, но больше в изучении данных того, как именно происходило это изменение
  • - именно это дает интересные теории, которые позволяют нам стать лучше в теме управления изменениями и реализовывать следующие проекты
  • - фундаментальные характеристики хорошего исследования:
  • - намерение исследователя изменить организацию
  • - были сложности кроме тех, что подразумевались в рамках проекта
  • - осознанная цель разработать и подтвердить теорию того, что было бы полезно организации
  • - теория должна лежать в основе планирования и реализации действий
  • - систематическое следование методологии и систематическая же рефлексия по поводу результатов каждого цикла и разработки последующих циклов
  • - хороший проект содержит три основных элемента:
  • - хорошая история
  • - глубокая рефлексия по поводу этой истории
  • - экстраполяция полезных знаний или теории из этой рефлексии
  • - это можно выразить в трех основных вопросах:
  • - что случилось?
  • - как именно мы поняли то, что случилось?
  • - и что?
  • - AR - это про изменения в реальном времени, соответственно мы обращаем внимание на реальные события, которые разворачивались в прошлом или происходят прямо сейчас
  • - эта история должна представлять факты в нейтральном виде, как будто мы просматриваем видеозапись, чтобы все актеры согласились с тем, что именно это они и наблюдали
  • - короче, история основана на непосредственно наблюдаемом поведении
  • - соответственно, нам нужны доказательства для любого нашего утверждения
  • - журналы и документация организации - важный источник подтверждающих доказательств
  • - факты должны быть отделены от их оценки, то есть базовая история не должна включать в себя мнения и интерпретации автора, или, по крайней мере, прямо указывать, что они - личное мнение автора, а не факты
  • - допустим, если есть утверждение, что какая-то команда близка к провалу проекта, нужно расписать доказательства этого, а не вести рассказ с позиции убежденного в этом факте или жертвы действий этой команды
  • - критический процесс выражения своего понимания ситуации - озвучивать свои неявные для других знания в этом вопросе
  • - то есть, не только анализировать саму историю, но и объяснять подробно, почему именно мы видим там определенный смысл
  • - процесс поиска смысла в истории выполняется параллельно с ее написанием и влияет на то, что именно получится на выходе
  • - тут нам стоит представлять себя в роли играющего режиссера
  • - когда мы озвучиваем любые предположения, мы должны указывать также и то, как именно мы тестировали их, особенно если они - плод нашего личного творчества
  • - допустим, в приведенном выше примере, исследователь обязан протестировать, действительно ли группа намеревается провалить проект
  • - "и что?" относится к генерации теории или полезного знания на выходе
  • - любой AR-проект жестко привязан к контексту, и желательно сделать его понятным для далекого от этого контекста читателя, для третьего лица
  • - "и что?" можно также перефразировать как "если ... то ..."
  • - точность исследования сильно зависит от желания исследователя открывать свою деятельность для сторонней критики и от того, насколько быстро он эволюционирует с точки зрения разработки теории и полезного знания
  • - упражнение для лучшего понимания темы:
  • - выбери проблему или задачу, над которой ты работал или работаешь в одиночку или с командой
  • - какой контекст у этой задачи?
  • - почему он важен?
  • - что стоит на кону?
  • - опиши, как ты выполнял диагностику задачи
  • - как ты решил, что нужно вмешательство?
  • - что именно хотелось или было неправильно до этого момента?
  • - какие причины этого?
  • - как ты поступил с конфликтующими диагнозами в своей команде?
  • - какие действия были запланированы?
  • - что случилось, когда эти действия были выполнены?
  • - какие были результаты, намеренные и непреднамеренные?
  • - как команда рассматривала эти результаты?
  • - что именно было диагностировано, запланировано, реализовано и так далее?
  • - какое мета-обучение получилось по итогам этого упражнения?
  • - когда ты смотришь на это, что сильнее всего поражает в контенте задачи?
  • - был ли диагноз корректным?
  • - назвал ли ты правильную причину проблемы?
  • - что ты знаешь об этой проблеме в своей организации?
  • - что поразило тебя больше всего в процессе?
  • - как именно команда работала над этой проблемой?
  • - что именно ты узнал по поводу планирования, исполнения и оценки результатов?
  • - были ли какие-то сложности с твоими уже существующими предположениями по поводу ситуации:
  • - было ли что-то, побудившее команду задавать другие вопросы?
  • - увидели ли вы проблему по-другому, в другой категории?
  • - изучение в действии
  • - фокус - именно на изучении в действии, а не на изучении действия
  • - четыре вида знания, отражающие наши способы взаимодействия с окружающим миром:
  • - опытное знание: возникает в столкновении с объективной реальностью
  • - презентационное знание: знание, полученное через язык, изображения, музыку, рисование и тому подобное
  • - пропозиционное знание: объединение опытного и презентационного знания в теории, утверждения и предположения
  • - практическое знание: объединение всех трех типов в реальной практике, компетентно и с использованием соответствующих навыков
  • - цель AR - производить именно практические знания на выходе
  • - это знание непрерывно улучшает наши текущие действия
  • - основной вопрос: как именно мы получаем эти знания или как именно мы учимся в действии?
  • - "рефлексирующий практик" - основа знания-в-действии и рефлексии-в-действии
  • - знание-в-действии дает нам границы того, что мы считаем нормальным
  • - рефлексия-в-действии случается когда мы задаем себе вопросы по поводу того, что именно мы делаем, в процессе своей работы
  • - результаты рефлексии-в-действии - немедленные, поскольку они сразу влияют на все наши последующие действия
  • - исследование может быть направлено наружу (что происходит в организации?) и внутрь (что происходит со мной?)
  • - индивидуальное обучение - "исследование как способ бытия"
  • - изучение/практика от первого лица, в контексте сомнений по поводу внутренних и внешних границ внимания, вовлеченность в циклы действий и рефлексии, быть активным и принимающим мир
  • - обучение через опыт
  • - в отличие от обычного исследователя, ты - активный сотрудник организации и участник процесса изменений, реализующий те самые изменения
  • - критический вопрос тут - как именно ты изучаешь сам себя в действии, когда работаешь со всеми типами лиц
  • - взрослые учатся через четыре вида деятельности: опыт, рефлексию, интерпретацию и действия
  • - опыт накапливается как запланированно, так и незапланированно
  • - часть опыта приходит от наших действий в отношении других, другая часть - когнитивная, через процесс раздумий и понимания
  • - часть - через чувства и эмоции
  • - иногда мы чувствуем возбуждение, злость, фрустрацию, разочарование, одиночество и так далее
  • - часть - через тело: энергия, апатия, пустота в животе, головные боли и слабость
  • - эти три области - когнитивная, чувства и тело - то, где происходит накопление опыта и мы можем научиться следить за ними
  • - рефлексия
  • - получение опыта - первый шаг в обучении
  • - второй шаг - посмотреть на этот опыт снаружи и исследовать его
  • - что именно заставляет меня чувствовать злость?
  • - что именно я еще не понимаю?
  • - мы рефлексируем по поводу нашего опыта диагностики, планирования, реализации и оценки результатов
  • - интерпретация
  • - интерпретация - поиск ответов на вопросы, возникшие в ходе рефлексии
  • - мы выдвигаем теории и конструкты, помогающие найти смысл нашего опыта
  • - как мы понимаем, что именно происходит в цикле AR?
  • - действие
  • - что именно мы делаем в результате рефлексии и интерпретации?
  • - мы можем решить действовать по-другому в следующий раз в похожей ситуации, чтобы избежать повторения предыдущего опыта или получить другой результат на выходе
  • - какие именно действия мы предпринимаем в результате рефлексии по поводу циклов AR?
  • - эти четыре вида деятельности формируют последовательные циклы, где каждый последующий цикл возникает из предыдущего
  • - обучение - непрерывный цикл на всю жизнь
  • - обучение - не какой-то из этих видов по отдельности, но их сумма
  • - нам требуется получить навыки в каждом из этих видов: научиться получать непосредственный опыт, научиться смотреть на себя со стороны и задавать вопросы, научиться давать концептуальные ответы к своим вопросам и научиться брать на себя риски и экспериментировать в похожих или новых ситуациях
  • - типичная ошибка - закрыть себя для обучения, посчитав любой из видов деятельности не особо важным
  • - допустим, получение опыта может быть воспринято как нечто предсказуемое, рутинное, восприниматься отстраненно
  • - рефлексия может восприниматься как роскошь, для которой у нас нет времени
  • - концептуализация может восприниматься как удел ученых и слишком далекой от "реального мира"
  • - мы можем избегать действий из-за боязни брать на себя риски или нежелания раскачивать лодку
  • - мы всегда действуем на двух уровнях: своего проекта и уровне своего обучения AR
  • - рефлексия - процесс взгляда со стороны на свой опыт для поиска смысла, с целью применить результаты на этапе планирования следующих действий
  • - она - критичная связь между конкретным опытом, его интерпретацией и новыми действиями
  • - она - ключ к обучению, поскольку позволяет нам выработать способность открывать и делать явным для самих себя, что именно мы там себе напланировали, открыли и достигли на практике
  • - рефлексия должна быть открытой, она должна идти гораздо дальше принимаемых за аксиому предположений и помогать увидеть, как именно у нас возникают знания
  • - в AR, рефлексия интегрируется в действия и исследования
  • - рефлексия по поводу контента, процесса и предположений критична и для уровня проекта, и для мета-обучения
  • - большая часть рефлексии - рефлексия по поводу действий, то есть ретроспективный взгляд на то, что произошло
  • - AAR - After Action Review - метод оценки прошлых событий в американской армии, процесс разбора ошибок и превращения их в будущую практику чтобы предотвратить повторение инцидентов и получить срочное обучение в действии
  • - action science и developmental action inquiry - сфокусированные подходы к индивидуальному обучению в действии
  • - в action science, мы сфокусированы на том, как наши действия дают защитные реакции и нежелательные результаты, противоположные желаемым
  • - это происходит потому, что мы имеем предположения, управляющие нашим поведением, мы склонны давать внутренние оценки мотивам и мыслям других без соответствующего тестирования
  • - соответственно, ядро action science - изучение как искать свои предположения и вырабатывать навыки их тестирования, в то же время предоставляя свои внутренние теории на публичное тестирование
  • - "лестница интерференции": когда мы придаем какому-то событию свое собственное мнение и предположения, и впоследствии лишь идем дальше по этой лестнице в неправильном направлении, хотя для нас это выглядит вполне естественным и адекватным
  • - допустим, если на совещании кто-нибудь молчит, мы можем сделать вывод, что он не согласен с тем, что мы говорим, соответственно впоследствии исключим его из обсуждения вопроса, а поскольку мы уже не обсуждаем с ним важные вопросы, мы можем вообще его уволить
  • - в данном конкретном случае мы сделали глубоко идущие выводы из одного маленького факта, поскольку сотрудник мог молчать из-за усталости, из-за раздумий над более важными вопросами, и так далее
  • - проблема тут - не в самом наблюдаемом нами событии, а в нашей его интерпретации и последующих интерпретациях, основанных на вроде как безобидной изначальной
  • - метод "двух колонок" в стенографировании совещаний позволяет научиться справляться с этой проблемой: мы пишем слева - то, что реально на нем прозвучало или как себя вели участники, а справа - то, как именно мы это восприняли
  • - мы выполняем эту работу для самих себя, чтобы научиться отделять факты от своего мнения и интерпретации
  • - можно не делить страницу на колонки, а писать два отдельных документа: факты и мнения
  • - особое внимание - тому, что мы подумали, но не озвучили на совещании
  • - это позволяет также увидеть со стороны нашу реакцию на наши собственные интерпретации, очень полезное упражнение
  • - другой полезный метод обучения - изучать когнитивные искажения и искать их в своем мышлении и действиях
  • - мы особенно подвержены им под давлением и стрессом
  • - обобщение, все-или-ничего, ментальная фильтрация, слишком быстрый прыжок к выводам, эмоциональная аргументация, предсказания и другие подобные проблемы
  • - это - не просто "полезный метод", а необходимый, поскольку без этой работы мы не сможем расти в AR
  • - эмоции играют огромную роль в рефлексии, поэтому мы должны научиться замечать и понимать роль чувств в наших суждениях и действиях
  • - стоит обращать внимание на то, как наше тело реагирует на те или иные события и мысли
  • - тело сложно обмануть, оно - проводник реакции нашего подсознания
  • - ведение дневника - важный механизм для выработки навыков рефлексии
  • - естественным путем, мы учимся замечать разницу между нашим опытом и нашими реакциями на него
  • - это позволяет предсказывать наши реакции на будущие события и быть готовым к адекватному контролю над собой
  • - можно связать информацию и опыт, и если этот момент хорошо понять и почувствовать, можно понять и контролировать свой процесс принятия решений и выбора вариантов поведения
  • - регулярное ведение дневника требует дисциплины, чтобы мы записывали свои мысли и ощущения как можно ближе к их возникновению и не поддавались на неизбежные искажения наших воспоминаний о самих себе
  • - полезные функции дневника:
  • - систематическая запись событий, дат и людей
  • - отчет о личном опыте, мыслях и чувствах, их интерпретация и самооценка, с попыткой понять причины тех или иных своих действий
  • - полезный способ сбросить с себя болезненные переживания
  • - инструмент рефлексии, где можно поиграться со своими интерпретациями
  • - аналитический инструмент для сбора и анализа данных
  • - дневники могут быть с определенной структурой
  • - допустим, Kolb 1984 - дневник опытного обучения, с фокусом на опыт, рефлексию, концептуализацию и эксперименты, из этого формируются соответствующие заголовки
  • - можно научиться обращать внимание на детали ситуации и, с практикой, научиться выделять критические инциденты, влияющие на свои реакции на события, суждения, слова или действия
  • - вырабатывается навык осознанности и взгляда внутрь себя
  • - при этом оспаривается свое знание теории и она изучается практическим способом
  • - приучаем себя воспринимать обучение как непрерывную задачу на всю жизнь с применением выученного к будущим ситуациям
  • - еще один вариант дневника - Schein 1999a - модель ORJI (наблюдение, реакция, суждение, вмешательство)
  • - фокус - на том, что происходит у нас в голове и как это влияет на неосознанное поведение
  • - мы - наблюдаем, реагируем эмоционально на это, анализируем, обрабатываем и выносим суждения на основании наблюдений и чувств, затем вмешиваемся, чтобы добиться определенного эффекта
  • - основной упор - на переход от наблюдений к суждениям, поскольку мы часто не уделяем внимание стадии перехода от наблюдения к реакции
  • - мы не обращаем внимания на чувства, игнорируем их и сразу переходим к суждениям и реакции
  • - какое-то событие может вызвать у нас мысль: "это тупо!" при этом мы пропустим, допустим, чувство угрозы, исходящее от него
  • - если мы все-таки начнем обращать внимания на свои чувства и исходные реакции как источники влияния на наши решения, мы сможем лучше их контролировать
  • - если же мы продолжаем игнорировать чувства, это всего лишь означает, что мы все равно принимаем эмоциональные решения, просто теперь уже неосознанно
  • - фактически, без этого невозможно обучение и изменения
  • - ORJI углубляет цикл обучения через опыт двумя путями:
  • - фокусом на спонтанной реакции на событие, где мы можем научиться распознавать чувства и отделять их от мыслительных процессов
  • - добавлением структурированного процесса рефлексии, работающего в обратном направлении, от действий к суждениям, и дальше к реакциям и наблюдениям
  • - допустим, когда наш взгляд на ситуацию не соответствует развитию событий, мы можем усомниться в оригинальном суждении, которое, в свою очередь, основано на эмоциональной реакции, и мы можем усомниться в источнике этой реакции
  • - с практикой, мы сможем не только анализировать наши эмоциональные реакции постфактум, но и распознавать их в реальном времени
  • - работа со вторыми лицами требует навыков общения с другими
  • - несколько типов проверок:
  • - чистая проверка - вопрос исследователя/помощника испытуемому "что случилось?" и внимательное, нейтральное выслушивание ответа
  • - диагностическая проверка - помощник/консультант начинает управлять процессом анализа контента другими, изучая эмоциональные процессы, объяснения причин и действия
  • - возможные вопросы: "Что ты по этому поводу чувствуешь?", "Как ты думаешь, что случилось?", "Что ты сделал?", "Что ты собираешься сделать?" и так далее
  • - конфронтационная проверка - помощник/консультант озвучивает свои идеи, побуждая других посмотреть на ситуацию с другой стороны
  • - эти идеи могут относиться к процессу и контенту, допустим: "Тебе не приходило в голову попробовать это?", "А как насчет вот этого?", "Может, это будет лучше?"
  • - работа в команде подразумевает изучение и практику командного решения проблем и управления изменениями
  • - в отличие от внешнего консультанта, ты являешься частью ситуации, то есть ты - не просто "менеджер" изменений
  • - у тебя уже есть свое понимание текущей ситуации и того, что в ней нужно изменить, и ожидается, что ты будешь делиться и защищать свою точку зрения
  • - критичный навык для внутреннего AR - уметь объединять защиту с проверкой, то есть предоставлять свои собственные мнения, убеждения и точки зрения на всеобщее обозрение, тестирование и критику
  • - это включает в себя доказательство своих убеждений с помощью наглядных и доступных всем данных, с полной логической цепочкой, чтобы другие могли увидеть возможные ошибки в этом процессе
  • - семь правил тестирования гипотез:
  • - комбинация защиты и проверки
  • - иллюстрация причин своих выводов с помощью наглядных данных
  • - показывать полную цепочку рассуждений и давать возможность другим критиковать ее в целом и по отдельности
  • - активно искать опровергающие данные и альтернативные объяснения
  • - быть готовым признать свои ошибки, ради обучения
  • - активно проверять свое влияние на контекст общения
  • - разрабатывать эксперименты для проверки альтернативных точек зрения
  • - четыре "части речи", полезные для роли проверяющего:
  • - фрейминг - четкое описание причины разговора: какую дилемму мы пытаемся разрешить и какие предположения у нас есть на входе
  • - защита - четкое описание цели, которую мы пытаемся решить, ожидая мнений, предположений, ощущений или предложений к действию
  • - иллюстрация - рассказ части истории, что побуждает к защите в рамках конкретной задачи
  • - проверка - вопросы других с целью понять их видение ситуации и перспектив
  • - вопросы для помощи другим в понимании ими их процессов принятия решений:
  • - Что мешает тебе ...?
  • - Что я такого сказал, что ты решил, что ...?
  • - они побуждают сфокусироваться на непосредственно наблюдаемом поведении, а не мнениях или суждениях
  • - их можно употреблять как один-на-один, так и в группах
  • - оказывается, что для каждого из шагов циклов реального мира диагноз-планирование-действие-анализ стоит выполнять отдельные циклы обучения вида интерпретация-действие-опыт-рефлексия
  • - мы сами, как исследователи, являемся инструментом генерации данных
  • - когда мы проверяем, что происходит, когда показываем направление наших мыслей и отдаем наши гипотезы на тестирование команде, мы генерируем данные
  • - наши ключевые навыки - понимание самого себя, методов нашего мышления, наших чувство и способом восприятия реальности, поддержанное концептуальным аналитическим фреймворком, на котором мы основываем наши наблюдения и интерпретации
  • - в этом свете, наши знания о поведении организации - всегда в центре
  • - в программах, основанных на AR, исследователям предоставляются образование и тренинги по межличностным коммуникациям, проверке и помощи
  • - 42