Що таке streams в Node.js?

Повне пояснення

Що це і навіщо

Streams у Node.js – це абстракція для послідовної обробки великих потоків даних (файли, мережеві з’єднання, процеси). Вони дозволяють читати/записувати дані частинами, не блокуючи event‑loop і зменшуючи використання пам’яті.

Ключові принципи/терміни

• Readable stream – читає дані.
• Writable stream – записує дані.
• Duplex stream – одночасно читає й пише (наприклад, net.Socket).
• Transform stream – обробляє дані між читанням і записом (gzip, cipher).
• Події: data, end, error, close.

Як це працює

1. При створенні Readable stream Node.js відкриває ресурс (файл, socket) і починає генерувати data‑події.
2. Кожна data‑подія містить буфер (Buffer або string). Після обробки можна викликати stream.resume()/pause().
3. Коли дані закінчуються, генерується end‑подія.
4. Якщо виникає помилка – error‑подія.

Практика і реалізація (JS/TS)

import { createReadStream, createWriteStream } from 'fs';
const src = createReadStream('big.txt');
const dst = createWriteStream('copy.txt');
src.pipe(dst);

import { Transform } from 'stream';
const upper = new Transform({
  transform(chunk, _, cb) { cb(null, chunk.toString().toUpperCase()); }
});
process.stdin.pipe(upper).pipe(process.stdout);

Тестування

• Unit: мокати Readable/Writable за допомогою stream.PassThrough().
• Integration: перевірити, що файл копіюється без помилок.

import { PassThrough } from 'stream';
const input = new PassThrough();
input.end('abc');
const output: string[] = [];
input.on('data', d => output.push(d.toString()));
expect(output).toEqual(['abc']);

Безпека і приватність

• Не передавайте необроблені дані з мережевих потоків без валідації.
• Використовуйте stream.pipeline() для автоматичного закриття ресурсів у випадку помилки.

Особливості в контексті Node.js

• Всі I/O‑операції у Node.js реалізовані через streams.
• fs модуль надає createReadStream, createWriteStream, openSync тощо.
• Мережеві сокети (net.Socket) є Duplex streams.

Оптимізація і edge cases

• Використовуйте highWaterMark для регулювання буферизації.
• Уникайте «backpressure» – перевіряйте повернуте значення write().
• Для великих файлів використовуйте stream.pipeline() замість простого pipe().

Диагностика

• Якщо дані не потрапляють, перевірте end‑подію.
• Якщо поток «завис» – перевірте, чи не заблоковано write().
• Переконайтеся, що ресурс (файл/сокет) відкритий.

Часті помилки (8)

1. Не закривати Writable → memory leak.
2. Використання write() без перевірки повернутого значення → backpressure.
3. Не обробляти error → процес падає.
4. Відсутність end‑події → нескінченний цикл читання.
5. Неправильне highWaterMark → надмірна пам’ять.
6. Перевантаження pipe() без pipeline() → не закриває ресурси.
7. Відсутність encoding у Readable → буфери замість string.
8. Не використання async/await з потоками → синхронна блокування.

Cheatsheet

• stream.readable – читає.
• stream.writable – пише.
• stream.pipe(dest) – підключає.
• stream.pipeline(..., callback) – безпечне з’єднання.
• stream.Transform – обробка.

Follow‑up питання

1. Як працює backpressure у streams?
2. Чому pipeline() краще за просте pipe()?
3. Як обробляти помилки у Transform stream?