Принципы построения интеграций

ETL-слой для построения интеграций необходим, когда нужно настроить обмен между несколькими сервисами

Почему не прямая интеграция, а ETL? ETL-слой избавляет сервис от необходимости «думать» об обмене с другими сервисами. Сервис сконцентрирован только на том, чтобы обеспечить свой ценный конечный продукт.

Принципы использования хранилища (Data Warehouse/DWH, общего контекста)

• Данные должны храниться в хранилище в виде, не требующем сложных преобразований со стороны потребителя (логика потребителя должна быть большой).

• В одну таблицу/брокер может записывать только один коннектор сервиса, коннекторы других сервисов могут только читать.

• Старайтесь не использовать хранилище одновременно для всех данных сервиса (и нужных в общем контексте, и ненужных), потому что это превращает хранилище данных в «болото данных» (data swamp).

‍