Это ваш выбор, rtsp кроме udp транспорта, есть ещё и tcp транспорт, с заголовком определяющим номер канала и длину данных.
Когда на esp32 в rtp потоке я терял udp пакеты, пробовал использовать tcp, потерь не стало, но лаги остались, забросил я его, медиатек как оказалось получше.