Обучение с подкреплением в машинном обучении

Почему положительное подкрепление не работает?

Если вы думаете: «Я попробовал положительное подкрепление, и это не сработало!», то для этого есть несколько возможных причин.

Возможно, наиболее распространенной причиной является использование неподходящей награды, чтобы мотивировать собаку. Вернитесь к списку лакомств, и подберите что-нибудь повкуснее.

Но есть и ряд других возможных причин.

Возможно, вы не планируете занятия. Вы получите лучшие результаты, если будете составлять план занятий и следовать ему.

Возможно, вы недостаточно быстро даете лакомство. Например, вы просите собаку лечь, но к тому моменту, когда вы достанете лакомство, она уже вскочила, так что вы вознаградили неправильное поведение. Вам нужно научиться давать награду, как можно быстрее вслед за нужным поведением.

Может быть, наоборот, зная, что вам нужно как можно быстрее вознаградить собаку, вы на самом деле перемещаете свою руку к сумке с лакомством прежде, чем собака выполнит команду. Это может ее запутать. Собака реагирует на движение вашей руки как на подсказку.

Или, может быть, вы дали собаке слишком сложное задание. Очень часто кажется, что собака уже научилась нужному поведению после нескольких повторов. Это как если бы вы учились танцевать вальс, разучивая движения, но несколько удачных попыток недостаточно, чтобы научиться вальсировать; это требует больше практики. Ваша собака точно также нуждается в большей практике.

Это все, над чем вы можете работать, но дрессировка собак — это сложное мастерство, и вам нечего стыдиться, если у вас не получается. Вам может потребоваться обратиться за помощью к квалифицированному тренеру собак или записаться в группу дрессировки. Поскольку дрессировка собак не регулируется, убедитесь, что тренер, к которому вы хотите обратиться, не использует аверсивные методы, а работает на положительном подкреплении.

Также вы можете воспользоваться списком литературы и интернет-ресурсов, которые я рекомендую.

Должен ли я всегда использовать положительное подкрепление?

Это частый вопрос, и на него легко ответить другим вопросом: хотите ли вы, чтобы ваша собака продолжала это поведение? Если ответ «да», то вам следует продолжать вознаграждать его.

Теперь вы можете вознаграждать не каждый раз. Использование прерывистого графика подкрепления (когда поведение иногда вознаграждается, а иногда нет) может помочь повысить устойчивость поведения к угасанию (именно тогда поведение может прекратиться). Это полезно, потому что в реальной жизни может возникнуть ситуация, когда вы забудете взять с собой лакомство.

Но это очень распространенная ошибка, когда человек полностью прекращает поощрять поведение. Конечным результатом является то, что собака перестает выполнять команду, и люди говорят: «Я пробовал, и это не сработало». На самом деле, это называется угасание: т.е. вы отучили собаку делать что-то, потому что перестали поощрять это поведение.

Другая очень распространенная ошибка заключается в том, что вы недостаточно поощряете поведение.

Помните, что собак любят работать за еду, и вам все равно следует кормить собаку. Тренировка с получением лакомства — хороший способ тренировать мозг вашей собаки и обеспечить обогащение среды. Вместо того, чтобы прекращать поощрять, лучше продолжайте думать о новых вещах, которым вы можете обучить свою собаку.

Алгоритмы[править]

Теперь, когда была определена функция выигрыша, нужно определить алгоритм, который будет использоваться для нахождения стратегии, обеспечивающей наилучший результат.

Наивный подход к решению этой задачи подразумевает следующие шаги:

• опробовать все возможные стратегии;
• выбрать стратегию с наибольшим ожидаемым выигрышем.

Первая проблема такого подхода заключается в том, что количество доступных стратегий может быть очень велико или бесконечно.
Вторая проблема возникает, если выигрыши стохастические — чтобы точно оценить выигрыш от каждой стратегии потребуется многократно применить каждую из них.
Этих проблем можно избежать, если допустить некоторую структуризацию и, возможно, позволить результатам, полученным от пробы одной стратегии, влиять на оценку для другой.
Двумя основными подходами для реализации этих идей являются оценка функций полезности и прямая оптимизация стратегий.

Подход с использованием функции полезности использует множество оценок ожидаемого выигрыша только для одной стратегии (либо текущей, либо оптимальной).
При этом пытаются оценить либо ожидаемый выигрыш, начиная с состояния , при дальнейшем следовании стратегии ,

,

либо ожидаемый выигрыш, при принятии решения в состоянии и дальнейшем соблюдении ,

,

Если для выбора оптимальной стратегии используется функция полезности , то оптимальные действия всегда можно выбрать как действия, максимизирующие полезность.

Если же мы пользуемся функцией , необходимо либо иметь модель окружения в виде вероятностей , что позволяет построить функцию полезности вида

,

либо применить т.н. метод исполнитель-критик, в котором модель делится на две части: критик, оценивающий полезность состояния , и исполнитель, выбирающий подходящее действие в каждом состоянии.

Имея фиксированную стратегию , оценить при можно просто усреднив непосредственные выигрыши.
Наиболее очевидный способ оценки при — усреднить суммарный выигрыш после каждого состояния.
Однако для этого требуется, чтобы МППР достиг терминального состояния (завершился).

Поэтому построение искомой оценки при неочевидно. Однако, можно заметить, что образуют рекурсивное уравнение Беллмана:

,

Что такое условное подкрепление?

Подкрепление может быть как безусловным, так и условным.

Безусловное подкрепление – то, что удовлетворяет естественные потребности собаки (к примеру, еда или игра).

Однако главный инструмент в дрессировке собаки – условное подкрепление.Условное
подкрепление – это сигнал, который сам по себе не имеет для собаки
никакого смысла. Например, это может быть слово-маркер (часто
используется «Да!») или щелчок кликера. Но мы связываем его для собаки с
безусловным подкреплением (за щелчком кликера следует лакомство).

То
есть условное подкрепление – это связующее звено между действиями
собаки, которые нам нравятся, и безусловным подкреплением (лакомым
кусочком).

Важно
правильно выбрать безусловное подкрепление здесь и сейчас. В какой-то
момент для собаки самой желанной будет еда, а в какой-то – мячик,
возможность поиграть с другими собаками или погонять ворон

Нужно ли использовать кликер?

Это решать вам.

Кликер используют, чтобы отметить момент, когда собака совершает правильное поведение. Это очень быстро, поэтому он дает вам возможно отсрочить момент дачи собаке лакомства (не в ту же секунду, а несколько секунд спустя).

Некоторым людям очень нравится пользоваться кликером

Они также считают, что это помогает улучшить их технику (возможно потому, что они уделяют пристальное внимание тому, когда нужно щелкнуть, и не двигаются до этого)

Некоторым людям не нравится кликер. Они находят его неуклюжим и неудобным или слишком сложным. К счастью для них, есть исследование, которое обнаружило, что для успешного обучения нет разницы в использовании кликера, вербального маркера или отсутствии маркера (только лакомства).

Для поведения, которое очень быстрое и мимолетное, маркер (клик или ваш голос) действительно поможет. Но для многих других команд, которым мы обучаем собаку, например, сидеть или лежать, вполне можно обойтись только лакомством.

Самое главное — это использовать пищевое подкрепление для обучения вашей собаки. Если вы попробуете кликер, возможно, вам понравится им пользоваться. Но если вам он не подойдет, не беспокойтесь об этом. Просто продолжайте использовать лакомство.

Какие аргументы приводят противники положительного подкрепления и почему эти аргументы несостоятельны?

У положительного подкрепления есть и сторонники, и противники. Основные аргументы против использования исключительно положительного подкрепления:

• «Положительное подкрепление – это подкуп собаки».
• «Положительное подкрепление не формирует стабильный навык».
• «Положительное подкрепление – это вседозволенность».

Однако ни один из этих аргументов не является хоть сколько-нибудь состоятельным.

Если говорить о подкупе, то противники положительного подкрепления подменяют понятия. Подкуп – это когда вы показываете собаке лакомство или игрушку и подзываете. Да, во время обучения, чтобы собака поняла, что от нее требуется, мы, безусловно, учим ее подбегать на вкусный кусочек или игрушку – но только на этапе объяснения. А если вы позвали собаку, не подманивая ее, похвалили в момент, когда она отвернулась от других собак или от интересных запахов в траве и побежала к вам, а когда подбежала, играете с ней или угощаете – это не подкуп, а оплата.

Так что о подкупе речь точно не идет.

Те, кто говорят «Мы пробовали положительное подкрепление, но оно не формирует стабильный навык», вероятно, допускали ошибки в дрессировке собак. И одна из таких ошибок – резкое усложнение задачи.

Прежде чем переходить к следующему этапу, нужно убедиться в том, что собака понимает задачу. Если задачу усложнять постепенно, не пропускать важные этапы обучения и правильно выбирать способ мотивации, собака будет показывать отличный результат при обучении методом положительного подкрепления, причем стабильно.

К тому же, в положительном подкреплении используется метод «вариативного подкрепления», когда награда выдается не каждый раз, и собака не знает, получит ли она бонус за выполнение команды. Вариативное подкрепление более действенно, чем выдача приза после каждой команды. Разумеется, этот способ используется, когда навык уже сформирован, и собака точно понимает, чего вы от нее хотите. Это тоже обеспечивает стабильность выполнения команд.

Еще один аргумент противников положительного подкрепления – это «вседозволенность». «Собака сядет на шею!» — возмущаются они. Но вседозволенность – это когда владелец не вмешивается в поведение собаки, и она делает что хочет (хочет – ловит кошек, хочет – грызет обувь и т.п.) Однако, используя положительное подкрепление, мы обучаем собаку, объясняем правила совместного проживания и помогаем приспособиться к разумным ограничениям, подсказывая, каким образом она может удовлетворить свои потребности – просто делаем это гуманно. То есть с вседозволенностью положительное подкрепление тоже не имеет ничего общего.

Метод группового подкрепления

Суть метода заключается в том, что мы некритично относимся к концепциям и идеям, которые часто повторяются. Причем совсем не обязательно, чтобы высказываемые идеи были истинными.

Ярким примером этой концепции являются мифы, идеологии, религиозные постулаты, существующие в обществе из поколения в поколение. Черная кошка, перешедшая дорогу, приносит неудачу — эту примету знают все, и многие в нее верят, избегая черных кошек. Верят даже тогда, когда кошка не раз перебежала дорогу, а неудач так и не последовало.

Правители государств и СМИ часто используют это правило. Тексты всех речей и презентаций всегда построены так, чтобы основной тезис, который нужно внушить людям, повторялся множество раз.

Программы подкрепления Скиннера

Как обсуждалось в начале статьи, помимо теоретизирования о поведении человека, Скиннер стремился воплотить эти теории в жизнь , Для этого он разработал серию конкретных программ армирования, наиболее выдающимися из которых являются программы непрерывного и прерывистого усиления (интервальное усиление и усиление по причине).

1. Непрерывное усиление

В непрерывном усилении человек постоянно вознагражден за действие или поведение , Основным преимуществом является то, что партнерство формируется быстро и эффективно; однако, как только подкрепление устранено, поведение также быстро исчезает.

2. Прерывистое усиление

В этих случаях в определенных случаях усиливается только поведение человека , Эта программа в свою очередь подразделяется на две категории: интервальное усиление (фиксированное или переменное) или коэффициентное усиление (фиксированное или переменное)

При усилении интервала поведение усиливается после ранее установленного периода времени (фиксированный) или случайного периода времени (переменный). В то время как в подкрепление разума человек должен выполнить определенное количество поведений, прежде чем оно будет усилено. Как и при усилении интервала, это количество ответов может быть предварительно согласовано (фиксировано) или не согласовано (случайно).

Типы положительных усилителей

Первичные усилители

Существует несколько типов усилителей, таких как первичные или безусловные усилители, которые не нуждаются в предварительном обучении, чтобы действовать как таковые. В качестве примера такого типа у нас будет еда или секс.

Вторичные усилители

Усилитель другого типа будет вторичным или обусловленным, что потребовало предварительного обучения или ассоциации, чтобы действовать в качестве усилителя

Этот тип усилителей обобщен и связан с первичным или вторичным усилителем, таким как деньги или внимание.

Натуральные усилители

С другой стороны, существуют усилители, которые могут быть естественными или которые используются обычным образом в контексте человека. Напротив, искусственные усилители и это поощряют поведение в какой-то игре. 

Усилители материалов

В свою очередь, существуют также материальные усилители, такие как игрушки, книги и одежда. И в рамках этой категории мы выделяем других подкреплений социального характера, таких как похвала. Эти последние позволяют получить положительную информативную обратную связь, которая позволяет информировать человека о его поведении.

В другой области выделяются усилители активности, где субъект выполняет ряд действий, приведенных в движение самостоятельно, чтобы получить вознаграждение. 

Внешнее и внутреннее армирование

В этом списке также определены усилители внешней природы, поведение которых усиливается внешними факторами..

С другой стороны, мы различаем внутренний усилитель, где поведение поддерживается и выполняется без появления внешних усилителей. В этом случае поведение действует само по себе как подкрепление из-за предшествующей истории внешнего подкрепления.

В общем, связь между поведением и усилителем будет более сильной, когда время между ними меньше. 

В свою очередь, они также влияют на различные факторы, которые позволяют подкреплению быть положительным или отрицательным по таким предметам, как, например, тип программы подкрепления, ее интенсивность, величина и продолжительность. Таким образом, желательно адаптировать названные усилители к типу человека и ситуации, в которой будет проводиться подготовка..

Чтобы упростить предыдущее задание, я дам вам практическое руководство по применению положительного подкрепления:

• Определите поведение или поведение, которое вы хотите увеличить.
• Выберите усилители, адаптированные к конкретному человеку.
• Выбирайте подкрепление, которое часто недоступно этому человеку.
• Информировать о непредвиденных обстоятельствах или взаимосвязи между стимулом, ответом и последующим (подкрепление).
• Если предполагаемое поведение не существует в поведенческом репертуаре человека, могут использоваться такие методы, как формирование, инструкции или рекомендации..
• Усилитель должен зависеть от реакции или поведения субъекта..
• Усилитель должен быть доставлен сразу же после поведения, например, если это материал. 
• Также используйте социальные подкрепления, а также укажите правильное поведение.
• Используйте непрерывное усиление в начале подготовки, а затем переходите к программе прерывистого усиления, которая поддерживает поведение.

Что такое положительное подкрепление?

Положительное подкрепление — это очень эффективный способ дрессировки собак (и других животных).

Положительное подкрепление означает добавление чего-то сразу после того, как происходит поведение, что увеличивает частоту возникновения этого поведения.

Технически, этот термин состоит из двух частей. Подкрепление означает, что поведение продолжается или увеличивается его частота. (Если поведение угасает и не повторяется — это не подкрепление).

И положительное означает, что что-то добавлено.

Например, вы просите собаку сесть, собака садится, и вы даете ей лакомство (что-то добавлено). И в следующий раз, когда вы попросите, собака сядет с большей вероятностью (частота проявления поведения возрастает).

Что такое теория подкрепления?

Теория подкрепления, разработанная Скиннером, также известная как оперантная обусловленность или инструментальная обусловленность, пытается объяснить поведение человека в соответствии с окружающей средой или стимулами, которые ее окружают.

С помощью экспериментального метода Скиннер приходит к выводу, что появление стимула вызывает реакцию у человека. Если этот ответ обусловлен с использованием положительных или отрицательных усилителей, на эту реакцию или оперантное поведение может быть оказано влияние, которое может быть усилено или подавлено.

Скиннер установил, что поведение поддерживается из одного контекста или ситуации в другой при условии, что последствия, т. Е. Усилители, не меняются или не изменяются в соответствии с определенной логикой, «правилами», которые должны быть обнаружены. Как следствие, Поведение человека и животных может быть обусловлено или модифицированные с использованием ряда стимулов, которые субъект может считать удовлетворительными или нет.

Объясненная более просто, Теория подкрепления подчеркивает, что человек с большей вероятностью будет повторять поведение, которое положительно подкреплено, и будет с большей вероятностью повторять то, что связано с отрицательными стимулами или подкреплениями.

Может быть, вы заинтересованы: «Б. Ф. Скиннер: жизнь и работа радикального бихевиориста»

Отрицательное подкрепление

С помощью этой процедуры вы можете заставить человека увеличить скорость реагирования на определенное поведение, чтобы избежать появления отрицательного стимула или последующего. В этом смысле ответ отзывает или предотвращает неприятное событие.

Существует два типа отрицательных процедур подкрепления: избегание и побег. Избегание означает выполнение инструментального ответа, который предотвращает появление неприятного раздражителя. Примером этого может служить молодой человек, который размещает компьютер в своей комнате, чтобы его родители не беспокоили его. Аверсивные раздражители включают физический и психологический дискомфорт.

Важным фактом является то, что отрицательное подкрепление не следует путать с наказанием; все более частая ошибка. 

Наказание — это процедура, которая ослабляет или уменьшает частоту ответов у человека, предоставляя неприятный стимул (положительное наказание) или устраняя приятный или положительный стимул (отрицательное наказание). По этой ссылке вы можете ознакомиться с некоторыми формами эффективного наказания. 

Как и в случае с положительным подкреплением, я оставляю вам очень полезное руководство для запуска этого последнего типа подкрепления:

Определите поведение, которое вы хотите увеличить.
Выберите стимул или неприятные стимулы для человека.
В случае процедуры побега устраняйте отвращающий стимул каждый раз, когда возникает такое поведение

И во избежание каждый раз, когда человек не выполняет свое поведение, применяют отвращающий стимул.
Процедура избегания лучше, чем процедура побега, поскольку вначале отрицательный стимул появляется только тогда, когда поведение не происходит, и здесь поведение имеет тенденцию сохраняться, несмотря на непредставление этого отрицательного стимула..
Использование стимулов, таких как устные или письменные инструкции, чтобы объяснить человеку, что, если он испускает определенное поведение, он может предотвратить или устранить этот раздражающий стимул для него.
Эти процедуры, включающие отвращающие стимулы, следует использовать с осторожностью, поскольку они могут быть вредными для человека, вызывая побочные эффекты, такие как враждебность или агрессия..
Чтобы усилить и увеличить вероятность появления желаемого поведения и уменьшить возможные побочные эффекты этих процедур, их следует использовать в сочетании с методами положительного подкрепления.

Виды подкрепления

Как отмечалось ранее, под подкреплением понимается какое-либо действие, призванное усилить определенную реакцию

Хотя оперантное обусловливание опирается в первую очередь на использование подкрепления с положительной валентностью, основанных на приближении организма к, такого, как пища, деньги или похвала, последователи Скиннера подчеркивают также важность подкреплений, основанных на бегстве организма от, или на избегании им отвращающих (неприятных) стимулов. В таких случаях реакции подкрепляются устранением неприятных стимулов или возможностью их избежать, а не появлением приятных стимулов

Во всех этих случаях результатом должно быть сохранение или усиление реакции. В связи с этим различают два вида подкреплений: — Позитивное подкрепление — это приятный стимул, который следуя за желательной реакцией, усиливает ее или поддерживает на том же уровне, т.е. повышает вероятность ее повторения. — Негативное подкрепление — это неприятный стимул, устранение которого усиливает желательную реакцию.

Вместе с тем существует и множество самих способов подкрепления. К наиболее распространенным относятся поощрение (предъявление приятных стимулов) и наказание (предъявление неприятных стимулов).

Как поощрение, так и наказание могут выполняться двумя способами, это зависит от того, что следует за реакцией: предъявление или устранение приятного или неприятного стимула. Подкрепление усиливает реакцию; наказание — ослабляет ее.

Таким образом, в практике воспитания чаще всего используются четыре разновидности подкрепления: — если вслед за желательной реакцией ребенка следует вызывающий приятные ощущения и переживания подкрепляющий стимул, то результат — положительное поощрение; — если за нежелательной реакцией следует не вызывающий приятных ощущений и переживаний подкрепляющий стимул, то результат — положительное наказание; — если вызывающий неприятные ощущения и переживания подкрепляющий стимул устраняется после получения желательной реакции, то результат — отрицательное поощрение; — если приятный стимул устраняется после той или иной нежелательной реакции ребенка, то результат — отрицательное наказание.

Что такое положительное подкрепление?

В процессе обучения положительным подкреплением выполнение поведения связано с получением приятного следствия. Это не должен быть объект, даже не ощутимый ; пища, вещества, улыбка, словесное послание или появление приятных эмоций, вероятно, будут восприниматься как положительные подкрепления во многих контекстах.

Отец, который поздравляет свою маленькую дочь каждый раз, когда он правильно пользуется туалетом, усиливает обучение положительным подкреплением; То же самое происходит, когда компания дает экономические бонусы своим наиболее продуктивным работникам, и даже когда мы получаем пакет с чипсами после помещения монеты в торговый автомат.

Понятие «положительное подкрепление» относится к награде это следует за поведением в то время как положительное подкрепление — это процедура, с помощью которой изучающий субъект создает ассоциацию. Однако термины «подкрепление» и «подкрепление» часто используются взаимозаменяемо, вероятно потому, что в английском языке такого различия нет.

С технической точки зрения мы можем сказать, что в положительном подкреплении существует положительная связь между конкретной реакцией и стимулом аппетита. Осознание этой непредвиденной ситуации побуждает субъекта выполнить поведение, чтобы получить вознаграждение (или подкрепление).

Что используется в качестве награды в положительном подкреплении?

Для дрессировки собак лучшая награда — это еда. Потому что все собаки любят есть, и это эффективно, потому что вы можете быстро ее дать.

Игра также иногда используется в качестве подкрепления в дрессировке. Например, игра в перетягивание или апортировка игрушек. Возможно, вы даже видели, как некоторых рабочих собак или собак-спортсменов в аджилити поощряют игрой в перетягивание.

Однако, на практике еда лучше всего подходит для большинства повседневных тренировочных ситуаций. Вы можете ее быстро достать (подумайте, сколько времени требуется для игры в перетягивание, по сравнению с тем, как быстро лакомство исчезнет в пасти собаки). Это означает, что вы можете делать несколько повторов за короткий промежуток времени. Кроме того, иногда игра может мешать учебному процессу.

Ласка и похвала также иногда предлагаются в качестве награды. Но вы должны думать об этом с точки зрения собаки — и да, ученые тоже подумали об этом. Одно исследование показало, что собаки могут быть не заинтересованы в похвале. Она всегда должна что-то значить для собаки. Например, если «молодец!» всегда сопровождается лакомством, тогда они узнают, что это предвещает удовольствие; но в противном случае, это может быть бессмысленно.

Большинство собак любят ласку, но те же ученые обнаружили, что собаки предпочитают еду ласкам при дрессировке. И если вам интересно, есть и другие исследования, которые сравнивали еду с ласками в качестве награды в дрессировке собак. Они также обнаружили, что еда приводит к лучшим результатам.

Проблема эффективности также актуальна: еда быстрее.

Таким образом, еда является лучшей наградой в качестве положительного подкрепления.

Обучение с подкреплением[править]

В обучении с подкреплением существует агент (agent) взаимодействует с окружающей средой (environment), предпринимая действия (actions). Окружающая среда дает награду (reward) за эти действия, а агент продолжает их предпринимать.

Алгоритмы с частичным обучением пытаются найти стратегию, приписывающую состояниям (states) окружающей среды действия, одно из которых может выбрать агент в этих состояниях.

Формально простейшая модель обучения с подкреплением состоит из:

• множества состояний окружения (states) ;
• множества действий (actions) ;
• множества вещественнозначных скалярных «выигрышей» (rewards).

В произвольный момент времени агент характеризуется состоянием и множеством возможных действий .
Выбирая действие , он переходит в состояние и получает выигрыш .
Основываясь на таком взаимодействии с окружающей средой, агент, обучающийся с подкреплением, должен выработать стратегию , которая максимизирует величину в случае МППР, имеющего терминальное состояние, или величину:

,

для МППР без терминальных состояний (где — дисконтирующий множитель для «предстоящего выигрыша»).

Таким образом, обучение с подкреплением особенно хорошо подходит для решения задач, связанных с выбором между долгосрочной и краткосрочной выгодой.

Постановка задачи обучения с подкреплениемправить

Взаимодействие агента со средой

— множество состояний среды

Игра агента со средой:

• инициализация стратегии и состояния среды ;
• для всех :
  • агент выбирает действие ;
  • среда генерирует награду и новое состояние ;
  • агент корректирует стратегию .

Это марковский процесс принятия решений (МППР), если
,

МППР называется финитным, если ,

Какое условное подкрепление использовать: слово-маркер или кликер?

Каждый выбирает тот вариант условного подкрепления, который удобнее лично ему. И кликер, и слово-маркер имеют свои преимущества.

Кликер в качестве условного подкрепления	Слово-маркер как условное подкрепление
Короткий, быстрый щелчок, максимально точно указывает на нужное действие.	Необходим вдох, а значит, вы немного проигрываете в скорости и можете запоздать с подкреплением нужного действия.
Щелчок всегда звучит одинаково.	Интонации меняются. Это может быть как плюсом, так и минусом – в зависимости от ситуации.
Необходимо носить с собой.	Всегда наготове.
Требует некоторой предварительной тренировки, чтобы научиться точно маркировать нужное действие.

Если вы используете слово-маркер, оно может быть любым, но главное, чтобы оно было коротким.

Некоторые
предпочитают выбирать такое слово, которое не используется в обычной
жизни, чтобы не смущать собаку, но этот пункт не обязателен.

Но моя собака не пищевик!

Это то, что каждому тренеру приходится выслушивать время от времени. Если это действительно так и ваша собака не заинтересована в еде, вам следует отвезти ее к ветеринару. Если ваша собака не ест, у нее может быть какая-то медицинская проблема, требующая обследования и лечения.

Чаще, когда люди говорят об этом, оказывается, что еда, которую они используют, не особо мотивирует собаку. Например, они предлагают ей гранулы сухого корма, которые она и так получает 2 раза в день — этого может быть недостаточно для мотивации собаки.

Это распространенная ошибка людей, которые новички в дрессировке. Если это относится к вам, проверьте список выше, чтобы найти там некоторые варианты лакомств. Скорее всего вам придется перепробовать несколько вариантов, чтобы узнать, какие больше нравятся вашей собаке, и помните, что разнообразие тоже может помочь.

Иногда люди неохотно используют еду для обучения собак, и именно поэтому используют сухой корм. Некоторые люди беспокоятся, что это может повлиять на их отношения с собакой — возможно, они боятся, что их собака на самом деле не любит их, если нужно использовать еду, чтобы она слушалась. Но ваша собака может любить и вас и еду, есть даже исследование фМРТ, доказывающее это.

А когда вы видите счастливый ожидающий взгляд вашей собаки, когда она хочет получить печенье, разве это не наполняет вас прекрасными теплыми чувствами?