Скейпинг и кленнинг по фото разбор терминов реальная работа и как отличить честного работодателя от мошенников

В последнее время в интернете всё чаще встречаются вакансии с заманчивыми названиями: «Скейпинг по фото», «Кленнинг данных по изображениям», «Разметка фото для нейросетей — высокий доход, без опыта»․ Соискатели, ищущие удаленную работу, часто сталкиваются с непониманием: что скрывается за этими терминами? Это легальная IT-профессия, рутинная microtasks-работа или развод на деньги?

В этой статье мы подробно разберем, что такое скейпинг и кленнинг в контексте работы с изображениями, как выглядит реальный рабочий процесс, какие навыки нужны, и, самое главное, как отличить честного работодателя от мошенников․

Терминология: что есть что?

Прежде всего, нужно прояснить термины․ В профессиональной среде Data Science и Data Engineering используются английские оригиналы, а «скейпинг» и «кленнинг» — это русифицированный сленг (транслитерация), который часто используют HR-менеджеры или авторы курсов по заработку в интернете․

Скейпинг (от англ․ Scraping), Сбор данных

Классическое определение: Web Scraping, это автоматизированный сбор информации с веб-страниц с помощью скриптов (ботов, парсеров)․

В контексте «по фото»: Часто под этим понимают не написание кода для парсинга, а ручной или полуавтоматический сбор датасета․ Задача: найти в интернете (или в закрытых базах) изображения по заданным критериям (например, «фото счетов за электричество 2023 года», «селфи в очках», «поврежденные автомобили») и скачать их в структурированную папку/таблицу․

Кленнинг (от англ․ Cleaning) — Очистка данных

Классическое определение: Data Cleaning — процесс обнаружения и исправления (или удаления) поврежденных, неточных, неполных или дублирующихся записей в наборе данных․

В контексте «по фото»: Это работа с уже собранным набором изображений (датасетом)․ Задачи:

• Удаление дублей (точных и почти точных — near-duplicates)․
• Удаление битых файлов, нечитаемых форматов, поврежденных загрузок․
• Фильтрация по качеству: размытость, низкое разрешение, водяные знаки, скриншоты вместо оригиналов․
• Проверка соответствия метке (если папка «Коты», а там лежит «Пес» — удалить или переместить)․
• Анонимизация: размытие лиц, номеров авто, персональных данных (GDPR/152-ФЗ compliance)․

Важное уточнение: Разметка (Labeling/Annotation) ≠ Кленнинг

В 90% вакансий «кленнинг по фото» на самом деле имеют в виду разметку данных (Data Annotation) — нанесение bounding boxes (рамок), полигонов, ключевых точек (keypoints) или присвоение тегов классам․ Это самый массовый вид удаленной работы с фото для обучения нейросетей (Computer Vision)․

Как выглядит реальная работа: от стажера до Data Engineer

Реальность удаленной работы в этой сфере сильно зависит от уровня позиции․

Уровень 1: Краудсорсинг / Микрозадачи (Microtasks) — «Работа для всех»

Платформы: Toloka (Яндекс), Label Studio (cloud), CVAT, Amazon MTurk, Appen, TeMate, российские биржи типа «Разметка․ру»․

• Суть: Вам выдают порцию фото (100–1000 шт․) и инструкцию (гайдлайн) на 10–50 страниц․ Нужно нажать «Кот»/«Не кот», навести рамку на машину, обвести полигоном дорожный знак․
• Оплата: За задачу (копейки/центы)․ В час новичек получает $1–3, профи, до $5–10 на простых проектах․
• Скейпинг/Кленнинг здесь: Почти отсутствует․ Вы работаете с готовым интерфейсом и готовыми данными․
• Реальность: Легально, платежи приходят, но это скучная, монотонная работа с низким порогом входа и высокой конкуренцией․ Карьерного роста нет․

Уровень 2: Data Annotator / Data Labeler (Штатный удаленник) — «Junior позиция»

Работодатели: AI-стартапы, аутсорсинговые компании (Data labeling services), отделы данных крупных корпораций (Яндекс, Сбер, VK, Wildberries, автопром)․

• Суть: Работа в корпоративных инструментах (Label Studio Enterprise, Supervisely, CVAT, внутренние тулы)․ Сложные гайдлайны (100+ стр․), контроль качества (QA), обратная связь от кураторов․
• Кленнинг: Часто часть задачи — «прочистить» партию от брака перед разметкой или после авто-разметки моделью (Human-in-the-loop)․
• Скейпинг: Редко․ Иногда просят помочь собрать датасет для редкого класса (hard negative mining)․
• Зарплата: 30 000 – 70 000 руб․/мес (в РФ), часто почасовая или сдельная с гарантированным минимумом․
• Перспективы: Можно вырасти в QA-лида, менеджера проектов разметки, Data Curator․

Уровень 3: Data Engineer / ML Engineer / Data Curator — «Профессиональная разработка»

Здесь «скейпинг» и «кленнинг» — это программирование на Python․

• Инструменты: Python (Requests, Selenium, Playwright, Scrapy, BeautifulSoup), API (Google Images, Bing, Unsplash, LAION), библиотеки для кленнинга: OpenCV, Pillow, scikit-image, pandas, deduplication libraries (например, imagededup), FiftyOne, Cleanlab․
• Задачи: Написать парсер, который качает 1 млн фото с определенными лицензиями; написать пайплайн, который автоматически удаляет размытые фото, конвертирует в WebP, считает хеши (pHash/dHash) для поиска дублей, балансирует классы․
• Зарплата: 150 000 – 400 000+ руб․/мес․
• Удаленка: Стандарт для IT․

Мифы и реальность: Чек-лист для соискателя

Юридические и этические риски «Скейпинга по фото»

Если вы решаете заниматься сбором данных (скрейпингом) самостоятельно или по заданию заказчика, вы должны знать риски:

1. Авторское право (ст․ 1259-1260 ГК РФ, DMCA за рубежом): Изображения в интернете — это чья-то интеллектуальная собственность․ Скачивание для коммерческого обучения нейросетей без лицензии — серое/черное поле․ Суды (Getty Images vs Stability AI, NYT vs OpenAI) идут сейчас․
2. Персональные данные (152-ФЗ, GDPR): Сбор фото лиц, машин с номерами, документов — это обработка ПДн/биометрии․ Требуется согласие субъектов или законные основания․ Нарушение — штрафы до 18 млн руб․ (в РФ) или 20 млн евро (GDPR)․
3. Условия использования сайтов (ToS): Почти у всех крупных сайтов (Instagram, VK, Avito, Google Images) в ToS запрещен автоматический сбор․ Нарушение — бан IP, аккаунтов, претензии к заказчику․
4. Этика датасетов: Сбор датасетов с предвзятостью (bias), токсичным контентом, CSAM (детская порнография — уголовная статья) несет криминальную ответственность для заказчика и исполнителя․

Как войти в профессию правильно: Дорожная карта

Шаг 1․ Определите цель

• Хочу подработку на кофе/проезд (Low effort, Low pay): Регистрируйтесь на Toloka (Яндекс), Label Studio Cloud, TeMate․ Проходите обучающие задания (exam), читайте гайдлайны․ Не платите за вход․
• Хочу карьеру в Data Science / AI (High effort, High pay): Вам нужно учить Python․

Шаг 2․ Базовый стек для «Кленнинга/Скейпинга» на уровне Junior Data Engineer

1. Python: Базовый синтаксис, ООП, виртуальные окружения (venv/conda), работа с Git․
2. Библиотеки для фото: Pillow (PIL) (базовая манипуляция), OpenCV (cv2) (фильтры, детекция размытости, цветовые пространства), scikit-image (метрики качества)․
3. Парсинг (Скейпинг): Requests + BeautifulSoup (статика), Playwright / Selenium (динамика, JS, скролл, логины), Scrapy (фреймворк для больших проектов)․ Понимание: User-Agent, Headers, Прокси (rotating), Cookies, CAPTCHA solving (2Captcha, CapMonster, этично только для своих задач)․
4. Данные и таблицы: Pandas (CSV, Parquet, JSONL), SQLAlchemy (БД)․
5. Дедупликация и Кленнинг: Понимание хешей (MD5, SHA256 для точных дублей; pHash, dHash, CLIP embeddings для семантических/near-duplicates)․ Инструменты: imagededup, dedup, FiftyOne (визуализация и кленнинг датасетов UI)․
6. Форматы датасетов: COCO JSON, YOLO TXT, Pascal VOC XML, TFRecord, Parquet (WebDataset)․

Шаг 3․ Портфолио (Pet-проекты на GitHub)

Сделайте 2-3 проекта и выложите код с README:

• Проект 1 (Scraping): Спарсить 5000 фото определенной категории с открытого источника (например, Unsplash API или открытый каталог товаров), сохранить в структуру class_name/image․jpg, собрать метаданные в CSV (URL, размер, лицензия, хеш)․
• Проект 2 (Cleaning): Взять «грязный» датасет (например, с Kaggle, где есть дубли, битые файлы, не тот класс)․ Написать пайплайн: проверка целостности -> удаление точных дублей (MD5) -> удаление near-duplicates (pHash) -> фильтр размытости (Laplacian variance OpenCV) -> балансировка классов -> отчет (до/после)․
• Проект 3 (Annotation prep): Подготовить данные под YOLO: конвертация разметки из COCO в YOLO, сплит train/val/test, визуализация разметки на фото для проверки․

Шаг 4․ Поиск работы

• Ключевые слова для HH․ru / LinkedIn / Telegram-каналов: Data Annotator, Data Labeler, Junior Data Engineer, ML Data Operations, Data Curator, Computer Vision Data Engineer․
• Изучайте компанию: есть ли сайт, отзывы на Glassdoor/Habr Career, адекватное ТЗ на собеседовании (тестовое задание на парсинг/кленнинг — нормой, но оно не должно решать боевую задачу заказчика бесплатно)․

Чек-лист безопасности: Как не попасться на удумку

Перед тем как начать работу или платить за курс, проверьте предложение по этим пунктам:

• ✅ Безопасно: Работодатель заключает ГПХ/Трудовой договор / Оферту через биржу (Kwork, FL․ru, Хабр Фриланс) или ЭДО (СБИС, Диадок)․ Оплата на карту СБП/банк по договору․
• ✅ Безопасно: Доступ к данным через VPN/VDI/Корпоративный Label Studio / CVAT / S3 бакет с временными ключами (pre-signed URLs)․ Данные не скачиваются к вам на диск в открытом виде․
• 🚩 Красный флаг: «Переведи 500₽ на верификацию карты / страховку / доступ к закрытой базе / оплату обучения»․
• 🚩 Красный флаг: «Скинь фото паспорта/селфи с паспортом для регистрации в системе» (если это не официальное оформление в кадровый отдел через Госуслуги/ЭДО)․
• 🚩 Красный флаг: Задание: «Скачай все фото профилей из ВК/Инстаграм по этим никам» или «Распознай текст на фото паспортов/прав» без NDA и защищенного контура․
• 🚩 Красный флаг: Коммуникация только в Телеграме, анонимный рекрутер, компания «ООО Рога и Копыта» зарегистрирована вчера, сайт на конструкторе без контактов․