Похоже задержки были из-за сети. Сама ESP32 не причем. Взял отдельный роутер без выхода в интернет, повесил на него ESP32 как клиент и ноутбук как сервер, задержки ушли. Обрывы правда есть каждые 3 часа 20 минут, подозрительно периодично, поэтому наверняка из-за роутера. Но это не страшно...