Увеличение объема данных – это процесс искусственного увеличения объема данных путем генерации новых точек из существующих наборов данных.
Эта техника находит все большее применение в алгоритмах машинного обучения для классификации изображений.
Алгоритмы машинного обучения для классификации изображений обычно требуют большого набора данных, содержащего различные изображения. Однако во многих случаях доступные наборы данных очень ограничены. Это может привести к «чрезмерной подгонке данных».
(Переподгонка данных – это статистическая ошибка, когда функция очень точно соответствует ограниченному набору данных).
Размытие, поворот и наложение изображений с помощью расширения данных. Всё это позволяет создать больше изображений в рамках существующего набора данных.
Увеличение объема данных – что дальше?
Увеличение объема данных является частью мета-тренда «Альтернативные обучающие наборы данных ИИ».
Обучение моделей ИИ становится все более дорогим. И одна из главных причин этого – сложность получения надежных наборов данных.
Для многих стартапов и других небольших организаций стоимость сбора реальных наборов данных для ИИ часто превышает все их бюджеты на вычисления.
В связи с этим возникла необходимость поиска альтернативных способов получения наборов данных, необходимых для обучения моделей ИИ.
Например, синтетические данные – это модная техника, используемая для создания более дешевых наборов данных.
По прогнозам Gartner, к 2030 году синтетические данные станут основным источником данных, используемых для обучения моделей ИИ.
Посмотрите больше постов про искусственный интеллект в моём блоге.
Разве это хорошо, когда увеличивается объем данных? Это же требует увеличения ресурсной базы.
Спасибо за комментарий! Я думаю это не хорошо и не плохо, просто сейчас время такое. Живём дальше.
Мне эта тема интересна, тем более она развивается и становится все более обширной. А ИИ ее дополняет.
Благодаря материалу получил более плотное понимание темы. Теперь смог действовать более эффективно.
Впервые услышал о синтетических данных. Тема интересная, буду следить за ней. И конечно увеличение объёма хранения это актуально последние годы.