Web-свалка на RTL871x

[aloika]

Прошил, в целом работает! Начало положено и это замечательно!

Настройки Wi-Fi не сохраняются, сканирование станций тоже не работает (а, увидел, отключено в коде).

В flasher.mk строка 170 нужно поправить:

-c "rtl8710_flash_write $(BIN_DIR)/WEBFiles.bin 0xd0000" \

там имя файла другое стоит сейчас.

 

[pvvx]

Я имел в виду SSI который просто вставляет переменные в текст страницы как в lwip-шном httpd, т.е. [inline]~имя~[/inline].

Вам про это и написано. + поддержка include фалов c вложенностью до 4-х. [inline]~inc:имя_фала~[/inline]
Это базовый коплект, остальные функции дописывает user.
RTL00_WEB/index.htm at master · pvvx/RTL00_WEB · GitHub
RTL00_WEB/wifi.htm at master · pvvx/RTL00_WEB · GitHub
RTL00_WEB/fullflash.bin at master · pvvx/RTL00_WEB · GitHub

 

[pvvx]

Настройки Wi-Fi не сохраняются, сканирование станций тоже не работает (а, увидел, отключено в коде).

Ломаю WiFi API в SDK, переписываю на свой.
По поводу WiFi драйвера. В SDK сейчас реализовано стандартное управление драйвером WiFi через ioctl для Lunix (wireless extensions are for now a set of standard ioctl... VERSION 2.2). Через него всё и работает, но он жрет немерянно... Ver 2.2 стоит в Андроиде...
Этот уровень "слоя" использует перекодировку команд в текстовый вид + данные, далее идет на декодировщик, разбирается и передается ниже уровнем. Слеплено такими слоями по причине поддержки драйвером WiFi и SDIO (код включен в ROM-BIOS). Realtek использует стандартные интерфейсы и имеет кучу чипов, по тому так и написано, для совместимости. Но нам, в случае внутреннего программирования непосредственно в чипе с открытым доступом к любой подпрограмме или структуре драйвера, не нужны эти наслоения, которые занимают большую часть кода... Снимать эти слои долго, но можно - все хидеры от внутренних потрахов WiFi есть... Ошибок нагородить и потом их ловить Смысл в этом пропадает, т.к. есть чипы с буквой "M" и лишние сотню кило в RAM для них это проценты от 2.5 Мегабайта... По этому счас пытаюсь оптимизировать только уровень наслоения API. Это уже дало к 20 кило, но может ещё чаго вырежу... Процесс вечный.

Желающие копаться в регистрах, любителям "ногодрыга", т.е. сторонникам подхода от AVR/STM и прочих древней шушары - полное описание регистров WiFi в указанных хидерах есть - копайте и накрошите свой драйвер WiFi и для Arduino...

 

[pvvx]

Alfa версия готова - проверяем. Не все опции в HTML ещё работают (некогда разрисовывать), но они, в основном, ненужные (малоиспользуемые).

и классика UART<->TCP в пару кликов как на esp.

Это будет отдельный проект.
Сначала базовый - только управление WiFi без всего другого. Это более нужная часть для создания любых проектов. Захламить всяким всегда можно отдельно, потом выковыривать будет сложно.
Больше интересует добавка к базе конфигуратора WiFi в виде связи с NCF для просыпания из DeepSleep + активации SoftAP с автоматической связью со смартфоном для дальнейшей конфигурации. Модуль RTL00 имеет NFC в чипе, ноги с чипа не выведены на контакты модуля, но припаять к двум ножкам рамку можно -> NFC и RTL00.

С парольным доступом к страницам и восприятию переменных концепция, для открытой версии web-свалки, ещё не полностью сформировалась.
Пока оно так:
Имеется список из N username и их паролей. Номер в списке имеет приоритет. Т.е. user c большим номером имеет больший доступ. Браузеру сообщается необходимый уровень авторизации для разных ресурсов (realm) "Unauthorized\r\nWWW-Authenticate: Basic realm=\"Protected%u\"". В принципе он формируется из [inline]Protected[/inline] + число уровня user. В файловую систему отметка уровня авторизации пока не введена, т.к. вариантов много и надо что-то выбрать... По умолчанию имена и пароли в текущей прошивке забиты как:

1. SSID_AP : Password_AP (уровень ноль - будет разрешать установки WiFi),
2. SSID_ST : Password_SP (уровень ноль - будет разрешать установки WiFi),
   
3. rtl871x : webfs_write + разрешение на перезапись webfs,
   
4. rtl871x : ota_write + разрешение на перезапись программы,
   
5. rtl871x : supervisor - разрешено всё.

Разрешения не доделаны - ожидаются комментарии для выработки правил.
Жду предложения по поводу как осуществлять разграничение авторизации и на что (подстановка разных каталогов фаловой системы?), смену паролей...

Авторизация уровня "зашита от дурака" требуется, т.к. предполагается использование модуля с непосредственным выходом в глобальный инет без брандмауэра и прочих.

 

[GDI]

Обычно делают наоборот, чем меньше номер, тем больше дозволено пользователю. Тогда можно обычных пользователей просто добавлять в конец и делать их сколько угодно. Дальше возможны варианты. Например, разделить права в диапазоны номеров, т.е. номера 1-10 - это supervisor-ы, 11-20 - ота и т.д. А лучше сделать для пользователей поле "роль" и там ставить цифру - вот этот Ваш номер

 

[pvvx]

Обычно делают наоборот, чем меньше номер, тем больше дозволено пользователю. Тогда можно обычных пользователей просто добавлять в конец и делать их сколько угодно. Дальше возможны варианты. Например, разделить права в диапазоны номеров, т.е. номера 1-10 - это supervisor-ы, 11-20 - ота и т.д. А лучше сделать для пользователей поле "роль" и там ставить цифру - вот этот Ваш номер

Нам как-бы по ресурсам более 5-ти уровней не нужно. Их просто не на что там заводить, да и ограничения у RTL871xAF, которые все пользуют... В итоге фиксед кол-во users и жесткая привязка. Нумерация по тому безразлична с конца или начала. Cчитать всегда до пяти
Может на файлы просто сделать, если папка имеет имя "protected"+число, то это и есть уровень доступа?
Переменные при парсинге просто проверяют (запрос >= уровню) и не отрабатывают далее следующие проверки на совпадения их имен?
Типа:
if("cmd1") {...}
else if("cmd2") {...}
else if(userlevel>x) {
if("cmd3") {...}
else if("cmd4") {...}
else if(userlevel>x+1) {
...
}
}
Надо простой базовый вариант, а кто захочет - тот впишет расширение на группы. Защита паролем в HTTP чисто условная - пароль идет практически открытым текстом. У нас нет возможности на 512 кило RAM сделать HTTPS-WEB...

PS: Вопросы я задаю, т.к. просто некогда даже думать или разобрать тему, других хватает, а так при наводящих ответах проще...

 

[sboganov]

if("cmd1") {...}
else if("cmd2") {...}
else if(userlevel>x) {
if("cmd3") {...}
else if("cmd4") {...}
else if(userlevel>x+1) {
...
}
}

Лучше рахделить по уровням и вынести всю безопастность в отдельный класс. Тогда для пользователя должна остатся только одна функция вида checkPermission(context, realm, "cmd1"...). Если никакая безопастность ненужна - то фунция всегда возвращает true. И потом можно будет реазиловать эту функцию и она будут работать через userlevel, или проверять название каталога, или там по ldap запрашивать внешний сервер...

 

[pvvx]

Лучше рахделить по уровням и вынести всю безопастность в отдельный класс. Тогда для пользователя должна остатся только одна функция вида checkPermission(context, realm, "cmd1"...). Если никакая безопастность ненужна - то фунция всегда возвращает true. И потом можно будет реазиловать эту функцию и она будут работать через userlevel, или проверять название каталога, или там по ldap запрашивать внешний сервер...

У нас не классическое программирование. При его подходе код Web не лезет вообще в устройства с 512 килобайтами RAM...
Уже пустой проект ESPHTTPD, портированный на RTL выжирает больше RAM, чем данный, со всеми настройками WiFi и отладкой.
По этому всё на компромиссе, с учетом как транслятор переведет в ASM. Закон прост - хотите что-то дополнить, извольте сократить другое, чтобы итого в байтах было одинаково. Я вот грызу WiFi драйвер. От него кусок ужался, можно что-то вставить... Итого, при запущенном Web с WiFi + SNTP +mDNS и прочей бижутерии у модуля должно остаться от 128 кило Heap. Иначе это всё в помойку. Т.е. даже алгоритм должен подбираться под оптимум объема выходного кода и данных.
И CLK у нас не ГГц-ы, чтобы каждый раз для сравнения, обращаться к процедурам.
С классическим подходом уже есть Web на Луних с 99% ненужного кода для тормозов и нагрева атмосферы...
Надо всё осмыслить и оптимизнуть, а пока идет набивка, не совсем оптимальная, чтобы потом не забыть, где и какие зависимости... Структурировать такие вещи как Web невозможно - это как создать таблицу пересчета местного времени в каждом селе от Гринвича - основа там нагромождение всякой выдуманной людьми глупости и её наслоения и переплетения...

 

[GDI]

Вот лично для меня было бы классно сделать веб сервер обособленной библиотекой или куском кода. Чтобы его можно было бы просто папкой вставить в проект на любом кортексе с frertos и lwip. По типу того же lwHTTPD. Кстати, там у чувака сделана авторизация и разделение и пользователей по уровням, и cgi тоже имеют уровень с которым можно получить к ним доступ.

 

[aloika]

Alfa версия готова - проверяем.

Прошил, посмотрел. Как сбросить настройки wi-fi к дефолтным значениям? И вообще все настройки? Сейчас я загнал модуль в такое состояние, что AP есть, но при подключении к ней web-сервер не работает почему-то, сайт не открывается. Перепрошивка не помогает.

 

[pvvx]

Прошил, посмотрел. Как сбросить настройки wi-fi к дефолтным значениям? И вообще все настройки? Сейчас я загнал модуль в такое состояние, что AP есть, но при подключении к ней web-сервер не работает почему-то, сайт не открывается. Перепрошивка не помогает.

Сброса по пинам пока нет, есть командная строка в LogUART. Наберите "?" и даст описание команд:

>?
CONSOLE COMMAND SET:
================================
ATST: Memory info
ATLW: LwIP Info
ATSB=<ADDRES(hex)>[,COUNT(dec)]: Dump byte register
ATSD=<ADDRES(hex)>[,COUNT(dec)]: Dump dword register
ATSW=<ADDRES(hex)>,<DATA(hex)>: Set register
ATDS=[TIME(ms)]: Deep sleep
ATSP=<a,r>,<wakelock_status:1|2|4|8>: Power
ATPN=<SSID>[,password[,encryption[,auto-reconnect[,reconnect pause]]]: WIFI Connect to AP
ATPA=<SSID>[,password[,encryption[,channel[,hidden[,max connections]]]]]: Start WIFI AP
ATWR: WIFI Connect, Disconnect
ATWI: WiFi Info
ATWP: WiFi power
ATSN: Scan networks
PR<1/0>: Printf on/off
?: This Help
================================

Переключение режимов WiFi:

• atwr 0 - выключить WiFi
• atwr 1 - включить Station
• atwr 2 - включить SoftAP
• atwr 3 - включить SoftAP+Station

Есть ещё пару хитрых команд, оставленных для отладки:

• atwi r n - установить в структуре старта режим старта WiFi
• atwi l 1023 - установить в структуре старта побитно в числе конфиги для авто-загрузки
• atwi s 1023 - записать указанные побитно конфиги

Команды в LogUART обрабатываются в двух форматах:

• в "AT": cmd=p1,p2,,p4,...
• параметры через пробелы: cmd p1 p2 p3 p4 ...

Параметры могут быть в скобках [inline]"[/inline] или [inline]'[/inline] для передачи в них символов, задействованных для парсинга команд. Пример: " ', e2'" - получится параметр [inline]', e2'[/inline]
Ввод в LogUART не работает в режиме экономии питания. Она отключается, если нет активных процессов - например в SoftAP она работает всегда, т.к. проц почти всегда активен, а в Station - только импульсно на время прием beacon или если идет прием-прередача по WiFi... Для реакции на внешние события в режиме экономии обычно используют какой пин или устройство, активирующее модуль в полный режим на время отработки внешнего события. Ввод в LogUART не имеет распределения в PMU и вообще UART-ы включить сразу по перепаду и принять символ невозможно, если они не активны ради экономии питания. В режиме работающей Station (LPS режим) и активных прочих сервисах с опцией экономии питания модуль RTL00 потребляет средних 2.5 мА с активацией на время приема-передачи пакетов по WiFi (в этих случаях ток к 60..70 мА).

Опции старта задаются тут: RTL00_WEB/wifi_user_set.h at master · pvvx/RTL00_WEB · GitHub и есть все комбинации в конфиге до запуска WiFi. Вписываете опрос пинов или ещё чего и меняете эти битики при старте как вам надо... Никто не знает что в вашем проекте надо будет и надо ли сохранять режимы при успешном соединении и прочим действиям с WiFi - всё это и устанавливается, и задается в конфиге по умолчанию, который тоже может сохраняться при изменениях режимов WiFi и использовать загрузку ранее сохраненного по старту (тоже задается )...

Жду ответов в темах
WiFi в RTL8195/871x серии
WiFi mode IPS/LPS TDMA/DTIM
или прекращаю отвечать на вопросы - исходники есть и там, как говорят, "черным по белому" всё описано.
А то выходит не честно - у меня всего 2 простых вопроса, на которые никто тут не отвечает.

 

[pvvx]

Авторизация на 5-ть "левел" встроена, как и описал ранее:
Если каталог или имя файла содержит "protect", то смотрится цифра после этого слова. "protect4" - означает предельный уровень авторизации > 4, просто "protect" или "protect0" -> авторизация > 0. В websock посылается "user=имя:пароль", для установки уровня авторизации. Имя и пароль так-же могут содержать ":". RTL00_WEB/WEBFiles at master · pvvx/RTL00_WEB · GitHub
Авторизация по уровням отключается глобально в установке при трансляции web_srv.h : #define USE_WEB_AUTH_LEVEL 0.

 

[pvvx]

Сегодня сравнил Mongoose Web-сервер на ESP8266, пишут что тоже работает непосредственно через LwIP без espconn и т.д.
Объем прошивки к 1 мегабайту, heap до 34 кило, во время работы логер и программы показывающие текущий heap - виснут.
Итого, что выходит в apache-jmeter-3.1 (10 тредов примерно имитируют 2 одновременно открытых окна эксплоррера):

Т.е. кроме ошибок ещё долгое время открытия файла (ответа после соединения).
Итого 517 обращений в минуту к статической странице в сотни байт без парсинга.

 

[pvvx]

И RTL8710AF, при тех-же условиях (ip запроса заменен на имя "rtl871x0" и вставлено обращение к файлу "rtl.gif" для примерно одинаковой отдаваемой длины контекста):
Объем прошивки 251384 bytes с отладкой, heap ~130 килобайт, при работе:

(потребление с дурным стабилизатором 5->3.3 - вычитать 5 мА, все sleep включены, но постоянный опрос по HTTP размера heap не дает упасть до 2.5 mA)

Итого: 15 666 обращений в минуту к статической странице (файлу на web-диске) в сотни байт без парсинга.

 

[pvvx]

Mongoose Web-сервер на ESP-32S (DevKit плата).
Потребление во время теста:

(130 мА в покое, включена только Station)
По памяти:
mongoose_poll New heap free LWM: 119480
Tock uptime: 188.291 RAM: 127384
Tick uptime: 189.273 RAM: 126628 ...
Размер только прошивки более 800 килобайт (без boot и fs.img)

apache-jmeter-3.1 (условия предыдущие, замен только ip):

1413 в минуту, из них 14% error.

PIC32 c разными платами от Microchip тоже есть, но заявленного порта Mongoose на него не наблюдаю...

Вывод - "портировать" Mongoose на RTL или ещё куда не имеет никакого смысла.

 

[lsm]

@pvvx, не знаю что вы там меряли. Вот мои замеры.
jmeter 3.2, macos.
ESP8266 - nodemcu v2

Ставим Mongoose OS:

$ mos flash esp8266

Fetching https://mongoose-os.com/downloads/esp8266.zip...
Loaded mjs_base/esp8266 version 1.0 (20170428-121030/???)
Opening /dev/cu.SLAB_USBtoUART...
Connecting to ESP8266 ROM, attempt 1 of 10...
  Connected
Running flasher @ 460800...
  Flasher is running
Flash size: 4194304, params: 0x0240
Deduping...
    2544 @ 0x0 -> 0
 ...
Booting firmware...
All done!

Настраиваем Wifi:

$ mos wifi SSID PASS
...

Смотрим какой IP:

$ mos call Sys.GetInfo
{
  "app": "mjs_base",
  "fw_version": "1.0",
  "fw_id": "20170428-121030/???",
  "mac": "1AFE34E14B07",
  "arch": "esp8266",
  "uptime": 6,
  "ram_size": 51968,
  "ram_free": 39324,
  "ram_min_free": 37352,
  "fs_size": 113201,
  "fs_free": 47941,
  "wifi": {
    "sta_ip": "192.168.0.206",
    "ap_ip": "",
    "status": "got ip",
    "ssid": "VMDF554B9"
  }
}

Смотрим - index.html размером 825 байт:

$ curl http://192.168.0.206/  |wc
      22      68     825

Запускаем jmeter, на index.html, работает 2 минуты. 10 threads:



Итого - 5915 запросов за 2 минуты, ошибок - 0.17%.

Сейчас повторю на ESP32 devkitc.

 

[lsm]

Так, esp32 devkitc.

Процедура настройки модуля - та же самая, только в команде прошивки не esp8266, а esp32.

$ mos flash esp32

Результат:


За 60 секунд: запросов 2198, ошибок - 0.41%.

На обеих прошивках по умолчанию крутится blink пример на javascript - https://github.com/cesanta/dev/blob/master/fw/examples/mjs_base/fs/init.js .

 

[lsm]

За 60 секунд: запросов 2198, ошибок - 0.41%

На ESP8266 и ESP32 мангуст работает по-разному.
На ESP8266 он встроен через low-level LWIP API, тот который callback-based.
На ESP32 - работает через BSD socket API.

 

[Neov]

в project/src/web/web_int_vars.c добавьте [inline]extern QueueHandle_t xQueueWebSrv;[/inline]

в

ifdef USE_FATFS
SRC_C += sdk/component/common/file_system/fatfs/fatfs_ext/src/ff_driver.c
SRC_C += sdk/component/common/file_system/fatfs/r0.10c/src/diskio.c
SRC_C += sdk/component/common/file_system/fatfs/r0.10c/src/ff.c
SRC_C += sdk/component/common/file_system/fatfs/r0.10c/src/option/ccsbcs.c
SRC_C += sdk/component/common/file_system/fatfs/disk_if/src/sdcard.c
endif

добавьте соответствующий [inline]INCLUDES += sdk/component/common/file_system/fatfs[/inline]

 

[pvvx]

Итого - 5915 запросов за 2 минуты, ошибок - 0.17%.

На RTL8710AF при 40 тредах ошибок 0% за час (но на надо выключить WDT или вписать подтверждение где в цикл - сейчас он вписан только в IDLE).
На RTL8711AМ при 80 тредах ошибок 0% за час (но на надо выключить WDT или вписать подтверждение где в цикл - сейчас он вписан только в IDLE). Для большего кол-ва тредов надо снять ограничение по умолчанию в инициализации web на 99 одновременно открытых соединений.
При этом в RTL учитывается TIME_WAIT, а у вас - нет.
Тут делается подобие многопользовательского Web, а у вас одиночный запрос с ограничением на 5-ть открытых соединений, т.е. для одиночной открытой страницы эксплорера. Если в вашем "web" снять ограничения, то всё равно не получим более десятка одновременных - кончится RAM. И смотреть как заливается страница на вашей версии тоже никто не хочет - у вас открытие файлов и общая реакция соединения переваливает за 2 секунды на страничках с несколькими вложениями файлов и парсингом переменных когда отрыто одновременно уже пара соединений. Меняйте файловую систему и интерпретатор на более оптимизированный. По другому у вас не выйдет - у вас другое назначение системы и оно не годиться для надежного web. Ведь вся ваша система рассчитана на мигание светодиодом и не более. Других функций она не выполняет, т.к. нет других драйверов для связи с периферийными устройствами кроме "ногодрыга". Потому и сравнение не корректно.
Кароче - гуляйте и делайте далее свою Arduino с Java. Специфика тут разная и я ищу оптимизированные подходы для web, более малый код имеет меньше ошибок, тем более web на RTL ещё в alpha версии и не все оптимизированные алгоритмы в него вставлены - не успел, а стоят куски из прошлой Web-свалки. Почерпнуть у вашего web просто нечего - по тому "портировать" его или куски из него не вижу смысла.
Если потребуется исполнение скриптов java - движок на ARM есть в mbed.

PS: Но прикольно выходит - я в качестве хобби и не программист затратил на данный web на RTL не более 4-х дней, но ошибок тесты не дают, а у вас там целая команда "профессионалов" занимающаяся годами и итог - ошибки при эмуляции 2-х открытых окон эксплорера По этому подумайте, прежде чем сравнивать своё и что тут. Разная весовая категория.
Если хотите сравнивать - берите ESPHTTPD - его построил не один человек и тесторов там было больше. Будете сравнивать у кого процент ошибок при 10 тредах в apache-jmeter больше