Не... за гроши я не нанимался работать. Действительно, много работы за сущие копейки и она того не стоит. Это напомнило какой-то сеоспринт но от Яндекса. Очень разочарован в них, а учитывая, что они как ПС ужасны так вообще ужас какой-то получается. Много заданий за которые платят менее доллара, мало заданий, где оплата солидная и то видел пару раз. Да фигня это, которая сделана на быструю руку и не более, как понимаю. Что касательно структуры в целом - все свалено в кучу и выбирай себе, как в каком-то секонд-хенде... Фильтры слабенькие, нужно определенно расширить отсеивание предлагаемой работы ибо копаться в этом дерьме вовсе не хочется, да и в целом оно какое-то убогое и непонятно для кого это сделано... Да даже на дурацком сеоспринте и т.п лучше работать, чем в этом унылом, непонятном месте, где творится непонятно что. Ах да, там есть продвижение ПФ, но Яндекс так двигать не позволяет и в фильтр сайты из-за этого попадают, т.е сами заказчики в сети идут, смешно аж.

Зарегистрировалась одной из первых, наверное. Интересно было узнать какого рода задания будут в системе, как оценивать и т.д. Стать асессором Яндекса, в конце концов. В результате так увлеклась, что на пару часов залипла на толоке:D Заработала целых $10. В первые дни были довольно интересные задания с цено до $2 за каждое. На днях заглянула, сервис все еще жив, заданий море, цены от $0.1. Вполне реальный способ заработать студентам и домохозяйкам. Важный момент! Для вывода средств необходимо пройти идентификацию кошелька Яндекс.Деньги. А еще можно добавить свой PayPal.

Тружусь на Толоке уже вторую неделю, узнал о сервисе уже давно. Но усиленно стал трудиться только недавно. Заданий много, с повышением рейтинга от 300 попадаются даже интересные задания от заказчиков не из Яндекса. С ростом рейтинга и навыка заданий становится больше и соответственно оплата растет. Сервис для тех кто внимателен, воспринимает нормально монотонную работу. В среднем долларов 5 выводить можно в день. На выходных заданий становиться очень мало, особенно под вечер. Недавно видел задания с краудтестированием, где оплата уже повыше, но нужно и мозгами думать, а не просто тыкать релевантности на автомате.

Я не пользовался Толокой в качестве агента-пешехода, потому как просто лень. Однако могу рассказать про удачный опыт выполнения заданий онлайн. Есть сравнение сайтов, проверка релевантности поисковых запросов, определение в выдаче картинок каких-либо недостатков по заданию. Заработок тут есть, хоть они не высок, но, друзья, желающих тоже не мало – ведь для выполнения заданий вам требуется только голова и выход в Интернет. Заработать за несколько дней я смог три сотни, но чем быстрее вы усваиваете инструкции и набиваете руку, тем выше будет ваш заработок. Рекомендую для тех, кто по каким-либо причинам привязан к дому и способен к монотонной деятельности.

Пока что толока это лучший заработок, ищу и другие. Ля-ля не буду, на скрине всё видно. Особенно мне лично интересны полевые задания, фото здания, фасад магазина, график работы. В моём городе, глянул на карту, 237 заданий от 10 до 15 центов. Я свой район закрыл, а на нем новые появились. Гуляй - не хочу. Новичкам что не нравится? При входе уровень навыка дают 150. Почти все задания делаются через обучение 1-3 штуки и экзамен, они 0 центов. И уровень навыка при неумелом выполнении сразу падает, у меня снизился до 40. Сейчас у меня 270. 38 баксов я заработал с середины декабря не напрягаясь. Сделал карту Яндекса, с заработанных денег отдал за нее 300 р. Она на три года. В сберовском банкомате в месяц можно снимать до 10 000 без комиссии. В магазинах принимают, прикладываю, расплачиваюсь. С пенсии на пиво и чекушку я ни копейки не истратил.

Данный сервис на, котором особо не заработаешь, а вот время потерять это да. Постоянные технические проблемы и крайне низкая оценка заданий уж никак не располагают.
От всех этих заданий быстро устают глаза, монотонность и скукота и все это за сущие копейки.
После двух недель бросила это все о чем ничуть не жалею. Единственное жаль потраченного времени тратила по три-четыре часа в день и не заработала даже одного доллара. Как оказалась некоторые задания и вовсе не оплачивают.
По началу кажется, что на Яндекс. Толока можно неплохо заработать, причем за короткий промежуток времени, но в данном случае первые впечатления обманчивы.

Работаю асессором Яндекса по договору (не в Толоке), потому знаю всю кухню, как говорится, изнутри. Что могу сказать конкретно о Толоке?
Проект достойный. Не ровня копеечным буксам. Даже учитывая, что в самой Толоке я проработал всего пару недель, а цены на задания там гораздо ниже, чем у штатных асессоров, мне удалось вывести больше пятидесяти баксов. Для проекта такого уровня, считаю, вполне достойно. Более того, с увеличением рейтинга открывается доступ к более дорогим заданиям. А что самое главное - оттуда прямиком можно устроиться в асессоры Яндекса, где платится уже очень и очень неплохая зарплата.

Повелась на положительные отзывы и скрины выплат. Зарегистрировалась.
Вывод-не моё.
Во первых, слишком низкая оплата. Начинается с 0,01 цента. Задания, конечно, легкие. И чем они легче, тем меньше оплата. Достойных в плане оплаты и интересных очень мало.
Во вторых, задания простенькие без интеллектуальной подоплеки. Просто скучные.
Эта работа возможно подойдёт только школьникам и домохозяйкам.
Меня данный сайт разочаровал. Ожидала большего. Не знаю откуда у людей такие заработки. По моему опыту, там можно заработать слишком маленькие деньги, а времени потратить очень много.

Хотя о Толоке от Яндекса не так много негативных отзывов (думаю, большинство их он блокирует) мне это не нравится. Считаю, что это занятие для скучающих без работы, не обладающих какими-то профессиональными навыками, какие можно применить для заработка в Интернете. Что касается Толоки, то здесь особо не озолотишься, как впрочем, и на других проектах Яндекса. Тем более что как условия работы, так и оплата, сильно отличаются в действительности от заявленных. Большинство заданий чрезвычайно простые – нужно анализировать и оценивать представленный контент путём сравнения, но платят за это сущие гроши.

В поисках все новых сайтах для работы, я набрела на этот. Конечно, меня сразу привлекли отзывы, в которых шла речь о том, что здесь можно хорошо заработать. Люди вылаживали свои фотографии заработка, и я поверила. Отправилась за "большими деньгами" и лёгкой работой. Как-то не сложилось с данным ресурсом, но свои копеечки я вывела. На сайте работы не так уж и много, наверное, многое зависит именно от рейтинга. Сам рейтинг,это здесь загадка. Я до сих пор не поняла, как он уменьшается. Просто сидишь выполняешь задания, и тут раз, а уже твой рейтинг понизился. Оплата заданий здесь от 0.01 цента и выше. Дороже всего оплачиваются полевые задания, то есть нужно ходить, и выполнять различные действия. Такое подходит людям, которые живут а больших городах. А так, есть даже интересные задания, и не очень. Это аннотирование аудиозаписей, переворот фотографий, оценка автомобилей. Вывод осуществляется на ЯндексДеньги, ПейПал, а для жителей Украины на карту ПриватБанка. За время своей работы, а это примерно 5 дней, я вывела всего 11 гривен, очень мало.

Заработок Яндекс Толока не лучший, так как там не понятно как выводить деньги, да и заработать там очень сложно. Спасибо что хоть без вложений.
У меня на счету 131 рубль. Я не знаю как их вывести. Я планирую забросить этот сайт.
Я понимаю, этот заработок от Яндекса, но непонятный какой-то.
Я нашла более качественный и приятный заработок чем этот. Там я зарабатываю гораздо больше и легче. Я конечно восхищаюсь эти заработком, но он не покатит для исполнения моей мечты. Я ставлю среднюю оценку этому сайту.

Для того, чтобы зарабатывать более-менее нормально, очень придирчиво отбираю предлагаемые задания. По большей части стараюсь брать с моментальной проверкой. Деньги на счет капают после выполнения, сразу же их можно вывести. Но почему-то минимальная сумма вывода средств динамическая. То 1$ минимум, то почему-то 2$. Связь с выполнением определенных заданий или временем прибывания на сервисе не уловил. Задания с отложенной проверкой беру только если оплата хорошая, иначе смысла нет морочиться. Опытным путем нашел надежных заказчиков, которые пишут четкие задания и быстро проверяют работы. Удобная функция - отсеивания заданий 18+. Платят за такое самый минимум, а увидеть можно всякую гадость. Частенько сервис не работает с браузером Mozilla, с другими все нормально. Регулярно захожу на форум, почерпнул там много полезной информации для работы. Вывод денег возможен только на идентифицированный по всем правилам кошелек. За месяц набегает до 3 000 рублей, на оплату телефона и интернета хватает. Самый большой плюс заключается в том, что для работы не нужно иметь никаких специальных навыков.

Детище Яндекса для улучшения поисковой выдачи, повышения качества навигационных карт, отделение контента для взрослых от контента обычного. Все это, по словам разработчиков, робот сделать не может, для этого привлекаются обычные пользователи или по-простому толокеры. В данной статье остановимся только на мобильном приложении, для компьютеров будет отдельная статья.

Приложение Яндекс Толока для мобильных телефонов доступно на русском языке. То, что это бета-версия никак не влияет на удобство использования и работу приложения. Доступ к приложению есть только у пользователей Android телефонов, скачать его можно в Google Play.

Для регистрации в системе понадобиться аккаунт в Яндекс Почте. У кого ее нет, рекомендую сделать – 5 минут и все готово. Далее необходимо заполнить данные о себе и нажать кнопку присоединиться.

Меню программы и сколько можно заработать

Меню Яндекс Толока постоянно дорабатывается и меняется разработчиками. На данный момент оно выглядит так:

Здесь указаны все задания, которые можно брать и начать выполнять. Доступных вариантов от 5 до 15 штук, но это меньше, чем в версии программы для компьютера. Здесь 70-80% заданий, на выполнение которых понадобиться выбраться на улицу.

Виды заданий в Яндекс Толока:

Описания к некоторым заданиям достаточно сложное для понимания: но выполнив пару штук таких все становиться понятно. Так же у сервиса яндекс толока есть форум где можно задать вопросы и разобрать непонятные моменты в работе сервиса.

Так же для каждого задания доступно обучение.

Зарезервированные и выполненные

Зарезервированные это находящиеся в процессе выполнения. Для разных задач разное количество времени дается на выполнение.

Выполненные – отчет о заданиях и суммы оплаты за них. Так же здесь отображаются невыполненные и отклонённые.

Способы вывода денег

Отображается состояние вашего счета, проведенные выплаты и способы вывода заработанных денег.

Способы вывода: , ЯД, Papara и ПриватБанк.

Обработка вывода заявлена до 30 дней. Но по опыту скажу, что деньги идут не более 3-5 дней. Вывод доступен от 0,02$.

Рейтинги и навыки

Один из самых важных пунктов меню. При увеличении рейтинга – увеличивается стоимость и количество задач. Соответственно растет и ваш доход. При уменьшении рейтинга задания стоят по минимуму. А если рейтинг опуститься ниже красной черты (процент выполненных правильно задач менее 60-70%) то применяются санкции и необходимо проходить вновь обучающие программы.

После сданного теста доступ – возобновляют. Если опустить рейтинг пять раз ниже красной черты, то это задание перестает быть доступным. Попытки обращения в техническую поддержку ни к чему не приведут, доступ будет закрыт навечно в аккаунте.

Настройки

Доступно редактирование профиля, настройка отображения контента для взрослых, загрузки фото только по WI-FI, уведомления и загрузка офлайн карт для экономии трафика вашего смартфона.

Вывод и отзыв о приложении Яндекс Толока

То, что разработчик программы Яндекс уже вызывает доверие. Доход зависит от вашего желания и наличия свободного времени (неплохой доход в и приложении). Мой максимальный доход в месяц составил 17$ — 1000р, но времени затрачено было минимум. Так что доход до 3000-4000р в месяц вполне возможен, но придется попотеть.

Вывод — однозначно рекомендую для небольшой подработки! В последнем обновлении в сервисе появились бонусы за друзей так что кому интересно регистрируйтесь по ссылке и вам и мне будет приятно. В обновленном приложении добавлено большое количество новых здания — дерзайте!

Поисковые системы постоянно пытаются улучшить свои алгоритмы, но боты не всегда могут определить релевантность контента.



Иногда требуется подключать людей, чтобы они определяли, подходящий ли материал выдается пользователям по разным запросам. Специально для этого был создан сервис Толока от Яндекса.

Толока на русском, простой заработок

Появился этот сервис давно, но из-за отсутствия заданий, им мало кто пользовался. Сейчас там куча работы и она разная. Выполнять её легко, поэтому вознаграждения не большие.

Чтобы подробно рассказать о работе с Яндекс.Толока, мы подготовили пошаговую инструкцию:

Вот так просто русская толока помогает собирать деньги в интернете. Пока система доступна только для жителей России, Украины, Беларуси, Турции и Казахстана.

В будущем система точно расширится и станет доступной в других странах. По мнению опытных пользователей, за день здесь вполне реально собрать 5-10 долларов.

Задания в Яндекс.Толока не всегда есть, поэтому старайтесь чаще обновлять страницу, чтобы не упустить выгодные предложения.

Выше уже говорилось, что задания, связанные с мобильными устройствами приносят больше денег. Чтобы их выполнять, устанавливайте на свои смартфоны специальное приложение .

Сложностей при выполнении поручений с мобильных устройств возникать не должно, так как они тоже простые:

Пока нельзя сказать, что Толока способна стать основным источником прибыли, но то, что с ней реально зарабатывать, это точно.

Только помните, что нужно стараться выполнять поручения, иначе ваш рейтинг будет низким и задания перестанут приходить. Проверить его можно в своем профиле.

Яндекс Толока аналоги

К сожалению, в системе слишком мало поручений и их приходится долго ждать. Не теряйте времени, используйте другие системы с простыми заданиями.

Создано их довольно много, а называются они кликовыми спонсорами. Там вас могут попросить не только сравнить результаты поиска, картинки, видео или выразить мнение по поводу каких-то компаний.

На почтовиках тысячи задач, выполнять их можно круглые сутки, они никогда не закончатся. Делать это также просто, после обычной регистрации, переходишь в раздел с заданиями и выбираешь подходящую работу:

Через такие системы рекламируются разные сайты и заказываются всевозможные накрутки. В каждом заказе вас ждет подробное описание, а также указывается, что нужно отправить для проверки. После изучения требований, жмите на кнопку для старта:

В этом примере требуется простая регистрация, а в отчете должен быть логин, который указывается при создании профиля. С таким заказом справится даже новичок, а когда нажимаешь на зеленую кнопку, сразу появляется форма, где указывается отчет (в нашем случае, это логин):

Жмешь «Отправить отчет» и в течение нескольких часов средства начисляются на баланс. Всё предельно просто, а деньги также выводятся в разные платежные системы. Если вас заинтересовала подработка, используйте эти проекты:

1. Wmmail – надежный и самый старый букс, где с недавнего времени добавили вывод на Яндекс.Деньги, Payeer и номер телефона.

Яндекс Толока — приложение предназначено для заработка в интернете. Входите в личный кабинет, выбирайте задания, выполняйте их в удобное время и получайте вознаграждение. Специальных знаний не требуется!

Toloka Yandex — скриншоты

Яндекс Толока — видео

Основные возможности Яндекс Толока для Андроид

Вы можете анализировать контент веб-страниц или проверять точность карты – например, по дороге домой или во время прогулки.

Приложение Толока позволяет выполнить вход в личный кабинет и одновременно выполнять несколько заданий. Например, можно взять пару-тройку заданий на проверку карты, которые удобно сделать по пути. В приложении есть офлайн-режим: задания и карту города можно сохранить, чтобы просматривать без интернета. Сэкономить трафик поможет также новая опция «Отправлять задания по WiFi».

Как и в обычной версии Yandex Toloka, вывести деньги легко через платежные системы , PayPal или Skrill. Пользователи из Украины могут перечислить их также на карту ПриватБанка.

Версия: 1.17.0
Разработчик: Yandex Services AG
Официальный сайт.

Машинное обучение

Вот уже полтора года в Яндексе для совершенствования поисковых алгоритмов и технологий машинного интеллекта применяется платформа Толока . Может показаться удивительным, но все современные технологии машинного обучения в той или иной степени нуждаются в человеческих оценках.

Люди оценивают релевантность эталонных документов поисковым запросам, чтобы на них ориентировались формулы ранжирования в поиске; люди переписывают аудиозаписи в текст, чтобы на этих данных настроился алгоритм голосового распознавания; люди размечают изображения по категориям, чтобы, натренировавшись на этих примерах, нейронная сеть дальше делала это без людей и лучше людей.

Все это можно делать в Толоке, которая является краудсорсинговой платформой и помогает найти тех, кто решит вашу задачу. Сегодня она переходит в статус беты и отныне открыта для всех внешних заказчиков. Так что пришло время рассказать вам подробно о самой платформе и о том, с какими неожиданными сложностями мы сталкивались в процессе работы над ней, поделимся своими наблюдениями и объясним, как Толока может помочь именно вам.

Задачи, о которых мы говорили выше, в Яндексе традиционно решаются с помощью обученных специалистов - асессоров. Асессоры смотрят, насколько результаты поиска соответствуют запросу, находят среди найденных веб-страниц спам, классифицируют его, решают схожие задачи и в других сервисах.

Ирония заключается в том, что чем больше новых технологий мы запускаем, тем сильнее растет потребность в человеческих оценках. Недостаточно просто определить релевантность страницы поисковому запросу. Важно понимать, не замусорена ли страница вредоносной рекламой? Не содержит ли страница контент для взрослых? А если содержит, то подразумевает ли запрос пользователя, что он искал именно такой контент? Для того чтобы автоматически учитывать все эти факторы, нужно собрать достаточное количество примеров для обучения поисковой машины. А так как все в интернете постоянно меняется, то и обучающие наборы нужно постоянно обновлять и поддерживать в актуальном состоянии. В общем, только для задач поиска потребность в человеческих оценках измерялась миллионами в месяц, и с каждым годом это число только растет.

Привлекать все больше и больше асессоров в каждой из стран присутствия Яндекса организационно непросто. При этом далеко не все новые задачи требуют специального обучения. Со многими заданиями может справиться практически любой человек, а часто даже более полезно собрать мнения обычных пользователей, не натренированных профессионально оценивать ранжирование. Подобное разделение задач привело нас к выводу, что в дополнение к асессорам нам нужен еще один более гибкий и масштабируемый источник получения человеческих оценок.

Краудсорсинг

В дополнение к сложным задачам, выполняемым асессорами, нам нужно было научиться собирать миллионы простых оценок в любой интересующей нас стране. Большинство заданий, о которых мы говорим, довольно простые и мелкие: на их выполнение не требуется больше 30 секунд. Зато количество этих заданий очень большое. Обычные фриланс-биржи, на которых можно связаться напрямую с несколькими исполнителями и объяснить им суть задания лично, для нас не подходили. Для промышленных масштабов нам нужно было привлекать тысячи исполнителей, оплачивать их работу без бумажной волокиты и контролировать результат.

Ближайшим аналогом того, что нам на самом деле было нужно, были краудсорсинговые платформы Amazon Mechanical Turk, Clickworker и CrowdFlower. Именно с помощью них, как правило, собирают простые человеческие оценки академические исследователи в области Machine Learning и крупные поисковые компании, например, Bing.

Вот только все эти платформы не работали в интересующих нас странах. К тому же мы уже успели накопить определенный опыт для того, чтобы решить задачу собственными силами.

Толока

В принципиальной логике работы любой краудсорсинговой платформы и, в частности, Толоки нет ничего сложного. С одной стороны, мы работаем с исполнителями, распределяем задания, производим оплату, а с другой – помогаем заказчикам получить результат с минимальными трудозатратами.

Кстати, что это за слово такое «Толока»? Над названием думали довольно долго, искали международные варианты, но в итоге вышло совсем наоборот. Идея назвать сервис «Толокой» родилась в нашем минском офисе, в котором, кстати, и сосредоточено ядро разработки платформы. Это слово (по-белорусски «талака») распространено в Беларуси примерно в 30 раз сильнее, чем в России, и означает совместную полезную работу на общий результат, а это отлично сочетается с краудсорсингом. Хотя выбор названия – это далеко не самый сложный вопрос, с которым мы столкнулись при разработке сервиса.

Какими могут быть задания? Потенциально они могут быть любыми по исходным данным, интерфейсу, ожидаемым ответам. Одному нужно загрузить картинки и попросить их классифицировать, другому - отобразить аудио-плеер и попросить написать, что слышно на записи, третьему - показать карту с расположением пользователя.

Несколько примеров

Поэтому был выбран путь максимальной гибкости: используя json для входных и выходных параметров и html/css/js - для интерфейса, заказчик может создать практически любое задание. А для тех задач, которые требуют работу «в поле» (например, пойти по адресу и проверить актуальность информации об организации), мы подготовили мобильную версию Толоки для Android.

У гибкости в настройках есть и обратная сторона – высокий порог вхождения. Далеко не каждый человек умеет верстать интерфейс. Эту проблему мы решаем с помощью готовых шаблонов, общее количество которых планируем увеличить.

Как платить толокерам? Успешный вывод кровно заработанных - один из главных мотиваторов для человека возвращаться и продолжать выполнять задания. Сложная и долгая процедура вывода может похоронить платформу. Поэтому мы выстроили систему, в которой достаточно добавить свой кошелек в PayPal или Яндекс.Деньгах. На этапе отладки процессов со стороны Толоки вывод денег мог занимать до 30 дней, сейчас - пару дней, а то и минут. При этом и толокеры, и заказчики освобождаются от бумажной волокиты.

Как обеспечить качество выполнения? Этот вопрос - главная головная боль любой краудсорсинговой платформы. В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть - ленивые, недобросовестные и при этом умеющие писать скрипты. Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей. У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других. Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.

Кстати, а что мы знаем о самих толокерах?

Толокеры

В Толоке регистрируются и выполняют задания самые разные люди. Больше всего исполнителей (как и заданий) у нас в России, Украине и Турции. Большинство толокеров - это молодые люди до 35 лет (как правило, студенты технических ВУЗов или мамы в декрете). В основном исполнители рассматривают Толоку в качестве дополнительного источника денег, хотя многие отмечают, что им нравится выполнять полезную работу, делать интернет чище. Вот, например, что они сами пишут о себе, обсуждая Толоку в интернете:

Мне на кошелек уже упало 790,41 рублей. Если что, то в регионе, где я живу, зарплата, к примеру, учителя-молодого специалиста, составляет 2800 рублей. Обратите внимание, что это все набито между делом, в свободное время, в перерывах между выполнением основной работы, когда хотелось отдохнуть и немного переключиться.

И вообще не чувствуешь себя тупым кликающим роботом. Есть какое-то ощущение полезности своей работы.

Толока в Яндексе

Толока сейчас - это почти 270 тысяч исполнителей из пяти стран мира, 80 тысяч выполняемых заданий в день, 400 уже опробованных разных типов заданий, 1 миллиард собранных оценок.

В момент открытия мы стартовали с тремя основными типами заданий, и интересно, что именно они по-прежнему остаются самыми любимыми заданиями для большинства толокеров: оценка качества поиска картинок, разметка контента для взрослых и попарное сравнение объектов (например, страниц в разном дизайне).

Использование краудсорсинга для сбора оценок в этих проектах позволило командам существенно сократить время ожидания оценок для построения метрик. Где асессорам требуется несколько дней на оценку набора объектов, толокеры справляются за пару часов. За счет снижения стоимости оценки удалось заметно увеличить размеры обучающих наборов и повысить качество алгоритмов классификации. К примеру, после перехода на Толоку качество определения контента для взрослых выросло на 30%.

Заказчиками оценок в Толоке выступают десятки разных команд Яндекса. С помощью этого сервиса собираются данные для технологий компьютерного зрения и распознавания речи, совершенствуются рекомендательные технологии, пополняется база справочника организаций, решаются многие другие внутренние задачи. Но их все равно недостаточно для того, чтобы обеспечить всех толокеров заданиями. Нужно двигаться дальше.

Первые внешние заказчики

Договорившись с несколькими внешними партнерами, мы организовали закрытое альфа-тестирование, чтобы проверить соответствие платформы потребностям извне. Внешние заказчики пришли как со знакомыми для нас типами задач, так и с новыми, специфичным для их бизнеса. За время тестирования были запущены задания по расшифровке ценников товаров с фото, аудиту торговых точек, категоризации товаров, поиску характеристик.

В заключение хотелось бы рассказать об основных рекомендациях, которые мы сформулировали на основе собственного опыта работы с толокерами.

Wisdom of crowd (мудрость толпы) - вовсе не философский, а вполне статистически проверяемый феномен. Даже если мнение одного человека недостаточно компетентно, а его оценка - недостаточно точна, объединение оценок от многих разных людей может давать более точные результаты, чем оценка одного профессионального эксперта. Главное здесь - правильно организовать процесс сбора и агрегирования отдельных оценок.

1. Краудсорсинг - очень мощный инструмент, он отлично подходит, когда речь идет о больших объемах и необходимости масштабировать и стандартизировать процессы. Но если у вас разовая задача, которая решается одним человеком за пару часов, то именно так ее и проще решить.
2. Многократно проверено, что любую сложную задачу можно и нужно декомпозировать на набор мелких независимых подзадач. Это позволит существенно повысить качество итоговых данных без увеличения стоимости общей разметки.
3. Большинство заданий в краудсорсинге запускаются с перекрытием (когда несколько исполнителей делают одно и то же задание). Популярное заблуждение: чем больше перекрытие, тем выше качество результатов. Как правило, это не так. Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.
4. Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок. Зачастую завышение ставки может даже навредить качеству, так как толокеры в погоне за деньгами перестают уделять заданиям достаточное внимание.
5. А вот главное, от чего реально зависит качество оценок – это от организации задания. Чем понятнее написана инструкция и спроектирован интерфейс, тем выше качество результата. И не забываем о проверочных заданиях («ханипоты»), которые помогут выявить недобросовестных толокеров.
6. Большинства проектов в Толоке не требуют от исполнителя специальных знаний. Тем не менее иногда приходится «тренировать» толокеров выполнять задание именно так, как нужно заказчику. В этом случае следует создавать специальные обучающие пулы и использовать дополнительные настройки (например, допускать до задания только тех толокеров, которые успешно прошли тренировку).
7. Правильное таргетирование заданий на определенных исполнителей часто помогает заметно улучшить результаты разметки. Например, если для разметки каталога обуви вам требуется оценить пантолеты, то это задание лучше сразу отдать толокерам-девушкам.
8. Далеко не все задачи можно отдать на откуп мудрости толпы. Всегда найдется задание, которое требует профессиональной подготовки и предельной внимательности. Но практически всегда в этих случаях с помощью предварительной фильтрации краудом можно упростить жизнь профессиональным экспертам, заметно снизить стоимость получения оценок и увеличить пропускную способность вашего рабочего процесса.

Были бы благодарны сообществу Хабрахабра за отзывы о работе бета-версии Толоки. Мы продолжаем работать над тем, чтобы любой заказчик мог получить максимально качественный результат без необходимости писать код, а каждый ответственный исполнитель – поощрение и достаточное количество заданий. И ваши отзывы помогут нашей команде в этой работе. Спасибо!