Як спроєктувати кластер на MongoDB?

Повне пояснення

Що це і навіщо

• Кластер MongoDB – сукупність вузлів, що працюють як єдиний логічний сервер. Він забезпечує high availability через реплікаційні набори (replica sets) і масштабованість за рахунок шардінгу.

Ключові принципи/терміни

• Replica set – primary + secondaries, автоматичний fail‑over.
• Shard – окремий вузол або реплікаційний набір, що зберігає частину даних.
• Shard key – поле, за яким розподіляються документи між шард‑ами.
• Config servers – зберігають метадані кластера (шард‑ключі, розподіл).
• mongos – роутер, який приймає запити від клієнтів і пересилає їх до відповідних шард‑ів.

Як це працює

1. Клієнт підключається до mongos.
2. mongos читає метадані з config servers, визначає, до якого шард‑у слід направити запит.
3. Запит надсилається до primary шард‑у, який реплікує дані на свої secondaries.
4. При збій primary – автоматичний вибір нового primary.

Практика й реалізація

• Replica set: rs.initiate({ _id: "rs0", members: [{_id:0, host:"node1:27017"},{_id:1, host:"node2:27017"}] })
• Шардінг: sh.addShard("rs0/node1:27017"), потім sh.enableSharding("mydb") і sh.shardCollection("mydb.mycoll", {userId: "hashed"}).
• Config servers: 3 вузли, mongod --configsvr.
• mongos: mongod --configdb rsConfig/host1,host2,host3 --shardsvr.

Тестування

• Unit: jest + mongodb-memory-server для ін‑меморі тестів.
• Integration: підключення до реального кластера, перевірка реплікації (rs.status()) і шардінгу (sh.status()).

Оптимізація запитів

• Індекси на шард‑ключі та часто використовуваних полях.
• Використання explain() для аналізу плану виконання.
• Пагінація через limit/skip або курсори ($batchSize).

Масштабування

• Горизонтальне: додавання нових шард‑ів.
• Вертикальне: збільшення ресурсів вузлів (CPU, RAM).

Безпека

• Аутентифікація через SCRAM (mongod --auth).
• Ролі: readWrite, clusterAdmin.
• Шифрування на рівні диску (TLS/SSL) і шифрування даних.

Особливості в контексті ORM

• Mongoose: mongoose.connect('mongodb://mongos-host/mydb') – підключення через роутер.
• Prisma: provider = "mongodb" у schema.prisma, підтримка реплікаційних наборів.

Типові помилки та edge cases

1. Неправильний shard key → нерівномірний розподіл.
2. Відсутність config servers → кластер не стартує.
3. Перевантаження primary → затримки, використати read‑preference.
4. Відсутність індексів → повнотекстові сканування.
5. Неправильна конфігурація TLS → відмови підключення.
6. Перевищення розміру shard key → збільшення кількості шард‑ів.
7. Відсутність backup policy → ризик втрати даних.
8. Неправильне використання mongos у продакшн‑середовищі → підвищена латентність.

Cheatsheet

• rs.initiate() – створити replica set.
• sh.addShard() – додати shard.
• sh.enableSharding(db) – включити шардінг для DB.
• sh.shardCollection(coll, {key: "hashed"}) – шардінг колекції.
• mongod --configsvr – запустити config server.
• mongod --shardsvr – запустити shard node.
• mongos --configdb rsConfig/host1,host2,host3 – запустити роутер.

Follow‑up питання

• Як вибрати shard key для колекції з великим об’ємом записів?
• Які переваги має hashed shard key порівняно з range‑sharding?
• Як забезпечити консистентність при читанні з secondaries?