Приводимые в книге паттерны проектирования отражают лучшие практические подходы к решению типичных задач машинного обучения. Указанные паттерны, реализованные в программном коде, сконцентрировали опыт сотен экспертов в простые и легкодоступные советы. Книга содержит подробный разбор 30 паттернов, служащих для представления данных и задач, тренировки моделей, отказоустойчивого обслуживания, обеспечения воспроизводимости и искусственного интеллекта.
Каждый паттерн включает в себя постановку задачи, ряд потенциальных решений и рекомендации по выбору технического приема, наилучшим образом подходящего к данной ситуации.
Code https://github.com/GoogleCloudPlatform/ml-design-patterns

lgrsnf/Лакшманан - Машинное обучение. Паттерны проектирования - 2022.pdf

Machine learning design patterns : solutions to common challenges in data preparation, model building, and MLOps

Lakshmanan, Valliappa, Robinson, Sara, Munn, Michael

Valliappa Lakshmanan; Sara Robinson; Michael Munn

Валлиаппа Лакшманан, Сара Робинсон, Майкл Мунии

Лакшманан, Валлиаппа

O'Reilly Media, Incorporated

BXV-Peterburg

United States, United States of America

O'Reilly Media, Sebastopol, CA, 2020

First edition, Sebastopol, CA, 2020

Russia, Russian Federation

1, 2020-11-03

Beijing, 2020

1, PT, 2020

Пер.: Lakshmanan, Valliappa Machine learning design patterns 978-1-098-11578-4
Предм. указ.: с. 433-444

РГБ

Russian State Library [rgb] MARC:
=001 011020765
=005 20220404132846.0
=008 220321s2022\\\\ru\a\\\\\\\\\\000\|\rus|d
=017 \\ $a КН-П-22-019057 $b RuMoRKP
=020 \\ $a 978-5-9775-6797-8 (рус.) $c 1200 экз.
=040 \\ $a RuMoRKP $b rus $d RuMoRGB
=041 1\ $a rus $h eng
=044 \\ $a ru
=080 \\ $a 004.42'236 $2 4
=084 \\ $a 32.973 $2 rubbks
=084 \\ $a З973.236-01,07 $2 rubbk
=084 \\ $a З973.233-018-5-05,07 $2 rubbk
=100 1\ $a Лакшманан, Валлиаппа
=245 00 $a Машинное обучение. Паттерны проектирования : $b перевод с английского $c Валлиаппа Лакшманан, Сара Робинсон, Майкл Мунии
=246 20 $a Паттерны проектирования
=260 \\ $a Санкт-Петербург $b БХВ-Петербург $c 2022 $e Чехов, Московская область
=300 \\ $a 444 с. $b ил. $c 24 см
=336 \\ $a Текст (визуальный)
=337 \\ $a непосредственный
=490 0\ $a O'Reilly
=520 \\ $a Приводимые в книге паттерны проектирования отражают лучшие практические подходы к решению типичных задач машинного обучения. Указанные паттерны, реализованные в программном коде, сконцентрировали опыт сотен экспертов в простые и легкодоступные советы. Книга содержит подробный разбор 30 паттернов, служащих для представления данных и задач, тренировки моделей, отказоустойчивого обслуживания, обеспечения воспроизводимости и искусственного интеллекта. Каждый паттерн включает в себя постановку задачи, ряд потенциальных решений и рекомендации по выбору технического приема, наилучшим образом подходящего к данной ситуации. Для программистов в области машинного обучения
=534 \\ $p Пер.: $a Lakshmanan, Valliappa $t Machine learning design patterns $z 978-1-098-11578-4
=555 \\ $a Предм. указ.: с. 433-444
=650 \7 $a Компьютеризация обучения $2 RuMoRKP
=650 \7 $a Техника. Технические науки -- Энергетика. Радиоэлектроника -- Радиоэлектроника -- Вычислительная техника -- Вычислительные машины электронные цифровые -- Специализированные компьютеры и системы. Отдельные информационные технологии -- Образовательные системы -- Теория -- Пособие для специалиста $2 rubbk
=650 \7 $a Техника. Технические науки -- Энергетика. Радиоэлектроника -- Радиоэлектроника -- Вычислительная техника -- Вычислительные машины электронные цифровые -- Автоматическая обработка информации -- Программирование -- Автоматизация -- Пособие для специалиста $2 rubbk
=700 1\ $a Робинсон, Сара
=700 1\ $a Мунн, Майкл
=852 7\ $a РГБ $b CZ2 $h З813/Л19 $x 83
=852 \\ $a РГБ $b FB $j 2 22-16/295 $x 90

Аннотация
Оглавление
Об авторах
Предисловие
Для кого эта книга предназначена?
Чего в книге нет
Примеры исходного кода
Условные обозначения, принятые в книге
Благодарности
Глава 1. Потребность в паттернах машинного обучения"
Что такое паттерны?
Как пользоваться этой книгой
Терминология машинного обучения
Модели и фреймворки
Данные и инженерия признаков
Рабочий поток машинного обучения
Инструментарий для работы с данными и моделями
Роли
Распространенные проблемы машинного обучения
Качество данных
Воспроизводимость
Смещение данных
Масштаб
Несколько целевых установок
Резюме
Глава 2. Паттерны для представления данных"
Простые представления данных
Числовые входные значения
Почему желательно выполнять нормализацию
Линейная нормализация
Не выбрасывайте "выбросы"
Нелинейные преобразования
Массив чисел
Категориальные входные значения
Кодирование с одним активным состоянием
Кодирование с использованием фиктивных переменных или кодирование с одним активным состоянием?
Массив категориальных переменных
ПАТТЕРН 1. Хешированный признак
Постановка задачи
Решение
Почему это работает
Входные значения за пределами словаря
Высокая кардинальность
Холодный пуск
Компромиссы и альтернативы
Коллизия корзин
Асимметрия
Агрегатный признак
Гиперпараметрическая настройка
Криптографический хеш
Порядок операций
Пустые хеш-корзины
ПАТТЕРН 2. Векторные вложения
Постановка задачи
Решение
Векторные вложения текста
Векторные вложения снимков
Почему это работает
Компромиссы и альтернативы
Выбор размерности вложения
Автокодировщики
Контекстно-языковые модели
Векторные вложения на хранилище данных
ПАТТЕРН 3. Синтетический признак
Постановка задачи
Решение
Соединения признаков в BigQuery ML
Соединение признаков в TensorFlow
Почему это работает
Компромиссы и альтернативы
Манипулирование числовыми признаками
Манипулирование высокой кардинальностью
Потребность в регуляризации
ПАТТЕРН 4. Мультимодальный вход
Постановка задачи
Решение
Компромиссы и альтернативы
Табличные данные самыми разными способами
Мультимодальное представление текста
Как работает мешок слов
Мультимодальное представление снимков
Сверточная нейронная сеть
Мультимодальные представления признаков и интерпретируем ость модели
Резюме
Глава 3. Паттерны для представления задачи
ПАТТЕРН 5. Переформулировка
Постановка задачи
Решение
Почему это работает
Улавливание неопределенности
Изменение целевой установки
Компромиссы и альтернативы
Сгруппированные результаты
Другие подходы к улавливанию неопределенности
Прецизионность предсказаний
Ограничение предсказательного диапазона
Искаженность в метке
Многозадачное обучение
ПАТТЕРН 6. Мультиметка
Постановка задачи
Решение
Сигмоидная активация против активации с функцией мягкого максимума
Компромиссы и альтернативы
Сигмоидный результат для моделей с двумя классами
Какую функцию потери следует использовать?
Разбор сигмоидных результатов
Соображения в отношении наборов данных
Входные данные с перекрывающимися метками
Один против всех
ПАТТЕРН 7. Ансамбли
Постановка задачи
Решение
Бэггинг
Бустинг
Стэкинг
Почему это работает
Бэггинг
Бустинг
Стэкинг
Компромиссы и альтернативы
Увеличенное время тренировки и проектирования
Отсев в качестве бэггинга
Снижение модельной интерпретируемости
Выбор правильного инструмента для задачи
Другие ансамблевые методы
ПАТТЕРН 8. Каскад
Постановка задачи
Решение
Компромиссы и альтернативы
Детерминированные входные данные
Одиночная модель
Внутренняя согласованность
Предварительно натренированные модели
Изменение контекста вместо каскада
Регрессия в редких ситуациях
ПАТТЕРН 9. Нейтральный класс
Постановка задачи
Решение
Почему это работает
Синтетические данные
В реальном мире
Компромиссы и альтернативы
Когда эксперты расходятся во мнениях
Удовлетворенность клиента
В качестве подхода к улучшению векторных вложений
Переформулировка с использованием нейтрального класса
ПАТТЕРН 10. Перебалансировка
Постановка задачи
Решение
Выбор метрики оценивания
Понижающий отбор
Взвешенные классы
Смещенность выходного слоя
Повышающий отбор
Компромиссы и альтернативы
Переформулировка и каскад
Обнаружение аномалий
Число примеров миноритарного класса
Сочетание разных технических приемов
Выбор архитектуры модели
Важность объяснимости
Резюме
Глава 4. Паттерны для тренировки моделей
Типичный цикл тренировки
Стохастический градиентный спуск
Цикл тренировки в Keras
Паперны для выполнения тренировки
ПАТТЕРН 11. Полезное переобучение
Постановка задачи
Решение
Почему это работает
Компромиссы и альтернативы
Интерполяция и теория хаоса
Методы Монте-Карло
Дискретизации под управлением данных
Глубокий метод Галеркина
Неограниченные области
Дистиллирование знаний нейронной сети
Переобучение на пакете данных
ПАТТЕРН 12. Контрольные точки
Постановка задачи
Решение
Контрольные точки в PyTorch
Почему это работает
Компромиссы и альтернативы
Досрочная остановка
Тонкая настройка
Переопределение эпохи
ПАТТЕРН 13. Трансферное обучение
Постановка задачи
Решение
Узкий слой
Реализация трансферного обучения
Предварительно натренированные векторные вложения
Почему это работает
Компромиссы и альтернативы
Тонкая настройка против извлечения признаков
Фокус внимания на снимковых и текстовых моделях
Векторные вложения слов и предложений
ПАТТЕРН 14. Распределительная стратегия
Постановка задачи
Решение
Синхронная тренировка
Параллелизм распределенных данных в PyTorch
Асинхронная тренировка
Почему это работает
Компромиссы и альтернативы
Параллелизм модели
Параллелизм модели или параллелизм данных?
Микросхемы ASIC для более высокой производительности при меньших затратах
Выбор размера пакета
Минимизация ожидания ввода-вывода
ПАТТЕРН 15. Гиперпараметрическая настройка
Постановка задачи
Ручная настройка
Поиск по сетке и комбинаторный взрыв
Решение
Почему это работает
Нелинейная оптимизация
Байесова оптимизация
Компромиссы и альтернативы
Полноуправляемая гиперпараметрическая настройка
Генетические алгоритмы
Резюме
Глава 5. Паттерны для отказоустойчивой обработки
ПАТТЕРН 16. Функция обслуживания без поддержки состояния
Функции без поддержки состояния
Постановка задачи
Решение
Экспорт модели
Предсказательный вывод на языке Python
Создание сервиса
Почему это работает
Автомасштабируемость
Полная управляемость
Языковая нейтральность
Мощная экосистема
Компромиссы и альтернативы
Прикладная функция обслуживания
Несколько сигнатур
Онлайновое предсказание
Предсказательная библиотека
ПАТТЕРН 17. Пакетное обслуживание
Постановка задачи
Решение
Почему это работает
Компромиссы и альтернативы
Пакетные и потоковые конвейерь1
Кэшированные результаты пакетного обслуживания
Лямбда-архитектура
ПАТТЕРН 18. Непрерывное оценивание модели
Постановка задачи
Решение
Концепция
Развертывание модели
Сохранение предсказаний
Улавливание эмпирического наблюдения
Оценивание результативности модели
Непрерывное оценивание
Почему это работает
Компромиссы и альтернативы
Триггеры для перетренировки
Бессерверные триггеры
Плановая перетренировка
Валидация данных с помощью TFX
Оценивание интервала перетренировки
ПАТТЕРН 19. Двухфазные предсказания
Постановка задачи
Решение
Фаза 1: построение офлайновой модели
Какие модели подходят для периферии?
Фаза 2: построение облачной модели
Компромиссы и альтернативы
Автономная однофазная модель
Офлайновая поддержка для специфических вариантов исполыования
Манипулирование многочисленными предсказаниями почти в режиме реального времени
Непрерывное оценивание для офлайновых моделей
ПАТТЕРН 20. Предсказания по ключу
Постановка задачи
Решение
Как проносить сквозные ключи в Keras
Добавление возможности предсказания по ключу в существующую модель
Компромиссы и альтернативы
Асинхронное обслуживание
Непрерывное оценивание
Резюме
Глава 6. Паттерны обеспечения воспроизводимости
ПАТТЕРН 21. Преобразователь
Постановка задачи
Решение
Компромиссы и альтернативы
Преобразования в TensorFlow и Keras
Эффективные преобразования с помощью библиотеки tf.transform
Преобразования текста и снимков
Альтернативные подходы
ПАТТЕРН 22. Повторяемая разбивка
Постановка задачи
Решение
Компромиссы и альтернативы
Единый запрос
Случайная разбивка
Разбивка по нескольким столбцам
Повторяемая разбивка
Последовательная разбивка
Стратифицированная разбивка
Неструктурированные данные
ПАТТЕРН 23. Мостовая схема
Постановка задачи
Решение
Схема с наведенным мостом
Аугментированные данные
Компромиссы и альтернативы
Объединенная схема
Каскадный метод
Манипулирование новыми признаками
Манипулирование увеличениями прецизионности
ПАТТЕРН 24. Оконный предсказательный вывод
Постановка задачи
Решение
Компромиссы и альтернативы
Сокращение вычислительных затрат
Потоковый SQL
Модели на основе последовательностей
Признаки с подцержкой состояния
Упаковывание предсказательных запросов
ПАТТЕРН 25. Конвейер рабочего потока
Постановка задачи
Решение
Разработка конвейера TFX
Исполнение конвейера на платформе Cloud AI Platform
Почему это работает
Компромиссы и альтернативы
Разработка компонентов
Интеграция Cl/CD с конвейерами
Платформы Apache Airflow и Kubeflow Pipelines
Конвейер разработки и промышленный конвейер
Отслеживание линии преемственности в конвейерах ML
ПАТТЕРН 26. Хранилище признаков
Постановка задачи
Решение
Хранилище Feast
Определение источников потоковых данных при создании экземпляра FeatureSet
Получение данных из хранилища Feast
Почему это работает
Компромиссы и альтернативы
Альтернативные реализации
Паперн "Преобразователь"
ПАТТЕРН 27. Управление версиями
Постановка задачи
Решение
Типы пользователей модели
Управление версиями модели с помощью сервиса
Управление версиями для манипулирования новыми данными
Компромиссы и альтернативы
Другие бессерверные инструменты управления версиями
Инструмент Tensorflow Serving
Несколько функций обработки
Новые модели против новых версий моделей
Резюме
Глава 7. Ответственный искусственный интеллект
ПАТТЕРН 28. Эвристический эталон
Постановка задачи
Решение
Компромиссы и альтернативы
Проверка разработки
Эксперты-люди
Величина полезности
ПАТТЕРН 29. Объяснимые предсказания
Постановка задачи
Решение
Базовый уровень модели
Определение базовых уровней
Эвристические эталоны и модельные базовые уровни
Библиотека SHAP
Объяснения из развернутых моделей
Компромиссы и альтернативы
Искаженность отбора данных
Контрфактический анализ и объяснения на основе примеров
Пределы объяснений
ПАТТЕРН 30. Призма объективности
Постановка задачи
Решение
До тренировки
Искаженность в других формах данных
После тренировки
Компромиссы и альтернативы
Инструментарий Fairness lndicators
Автоматизирование оценивания данных
Списки разрешений и запретов
Аугментация данных
Модельные карточки
Объективность против объяснимости
Резюме
Глава 8. Взаимосвязанность паттернов
Справочник папернов
Взаимодействие паттернов
Паперны в рамках проектов машинного обучения
Жизненный цикл машинного обучения
Обнаружение
Разработка
Развертывание
Готовность к искусственному интеллекту
Тактическая фаза: ручная разработка
Стратегическая фаза: эффективное использование конвейеров
Трансформационная фаза: полноавтоматизированные процессы
Распространенные паттерны с группировкой по варианту использования и типу данных
Понимание естественного языка
Компьютерное зрение
Предсказательная аналитика
Рекомендательные системы
Обнаружение мошенничества и аномалий
Предметный указатель

The design patterns in this book capture best practices and solutions to recurring problems in machine learning. Authors Valliappa Lakshmanan, Sara Robinson, and Michael Munn catalog the first tried-and-proven methods to help engineers tackle problems that frequently crop up during the ML process. These design patterns codify the experience of hundreds of experts into advice you can easily follow.
The authors, three Google Cloud engineers, describe 30 patterns for data and problem representation, operationalization, repeatability, reproducibility, flexibility, explainability, and fairness. Each pattern includes a description of the problem, a variety of potential solutions, and recommendations for choosing the most appropriate remedy for your situation.
Youll learn how to:
Identify and mitigate common challenges when training, evaluating, and deploying ML models
Represent data for different ML model types, including embeddings, feature crosses, and more
Choose the right model type for specific problems
Build a robust training loop that uses checkpoints, distribution strategy, and hyperparameter tuning
Deploy scalable ML systems that you can retrain and update to reflect new data
Interpret model predictions for stakeholders and ensure that models are treating users fairly

The design patterns in this book capture best practices and solutions to recurring problems in machine learning. The authors, three Google engineers, catalog proven methods to help data scientists tackle common problems throughout the ML process. These design patterns codify the experience of hundreds of experts into straightforward, approachable advice.In this book, you will find detailed explanations of 30 patterns for data and problem representation, operationalization, repeatability, reproducibility, flexibility, explainability, and fairness. Each pattern includes a description of the problem, a variety of potential solutions, and recommendations for choosing the best technique for your situation.You'll learn how to:- Identify and mitigate common challenges when training, evaluating, and deploying ML models- Represent data for different ML model types, including embeddings, feature crosses, and more- Choose the right model type for specific problems- Build a robust training loop that uses checkpoints, distribution strategy, and hyperparameter tuning- Deploy scalable ML systems that you can retrain and update to reflect new data- Interpret model predictions for stakeholders and ensure models are treating users fairly

The design patterns in this book capture best practices and solutions to recurring problems in machine learning. The authors, three Google engineers, catalog proven methods to help data scientists tackle common problems throughout the ML process. These design patterns codify the experience of hundreds of experts into straightforward, approachable advice. In this book, you will find detailed explanations of 30 patterns for data and problem representation, operationalization, repeatability, reproducibility, flexibility, explainability, and fairness. Each pattern includes a description of the problem, a variety of potential solutions, and recommendations for choosing the best technique for your situation.-- Source other than the Library of Congress

Приводимые в книге паттерны проектирования отражают лучшие практические подходы к решению типичных задач машинного обучения. Указанные паттерны, реализованные в программном коде, сконцентрировали опыт сотен экспертов в простые и легкодоступные советы. Книга содержит подробный разбор 30 паттернов, служащих для представления данных и задач, тренировки моделей, отказоустойчивого обслуживания, обеспечения воспроизводимости и искусственного интеллекта. Каждый паттерн включает в себя постановку задачи, ряд потенциальных решений и рекомендации по выбору технического приема, наилучшим образом подходящего к данной ситуации. Для программистов в области машинного обучения

2024-06-03