LuaTokenizer

Хочешь карту со своим ником? Оформить ❤️

Это токенизатор для языка Lua. Я поставил его как библиотеку, чтобы другие могли извлечь выгоду из моей странной любви к созданию низкоуровневого кода. Он написан для запуска в стандартном (CLI) Lua 5.1, а также WoW Lua.

Библиотека еще не полностью функциональна,но я считаю «API» стабильным и сам токенизатор тоже. Существует пример парсера, который выводит HTML в тестовую папку, и некоторые примеры WoW Lua parser будут следовать или будут доступны в аддоне GreaseGoblin.

ИНТЕРФЕЙС ПРИКЛАДНОГО ПРОГРАММИРОВАНИЯ

LuaTokenizer:Tokenize(…)

'array = LuaTokenizer:Tokenize(string [, transform_callback])`

Разбивает строку, строку, звонки transform_callback для каждого маркера, и возвращает массив, содержащий все значения, возвращаемые из функции обратного вызова. Если обратный вызов не задан, используется обратный вызов по умолчанию, который возвращает все аргументы в виде массива.

transform_callback(…)

смешанный = transform_callback(знак, значение, линия старта, линия-концов, шар-старт, чар-концов ...)

Обратный вызов вызывается для каждого токена, сгенерированного Tokenize, и, как ожидается, вернет значение, представляющее токен для вашего приложения. Это может быть любое значение, токенизатор это никак не ограничивает. Обратите внимание, что возврат nil не создаст запись в массиве, возвращаемом Tokenize.

Аргументы:

• значение содержит исходную строку, представляющую токен. Если токен не является символическим именем, то это значение совпадает с токеном
• токен имя токена. Это может быть символическое имя "ошибка", "перевод строки", "MLSTRING", "комментарий", "ключевое слово", "ИД", "HEXNUM", "число" или "строка". В этом случае значение будет содержать фактическую исходную строку этого токена.
• line-start — это строка, в которой начинается токен [NYI]
• линии — это линия, где знак заканчивается
• character-start — это символ (отсчет от начала строки), с которого начинается токен [NYI]
• character-end — это символ (отсчет от начала строки), на котором заканчивается токен [NYT]
• .. Дополнительные параметры: для «STRING» это будет содержать разделитель строк ("or '), а для «MLSTRING» это будет содержать знаки=, если открывающая последовательность только [[ это пустая строка (не ноль!).

Похожие аддоны

StatLogicLib Gnosis (Castbars and Timers) WhoLib EventHorizon