ltGreaterOrEqual, ltNotEqual, ltPlus, ltMinus,
ltOr, ltXor, ltAsterisk, ltSlash, ltDiv, ltMod,
ltAnd, ltNot, ltCap,
ltLeftBracket, ltRightBracket,
ltSin, ltCos, ltLn,
ltIdentifier, ltNumber, ltEnd);
TLexeme = record
LexemeType: TLexemeType;
Pos: Integer;
Lexeme: string;
end;
LexemeType
TLexemeType
— это специально определенный перечислимый тип, каждое из значений которого соответствует одному из возможных типов лексемы. Поле Pos
хранит номер позиции в строке, начиная с которой идет данная лексема. Это поле нужно только для того, чтобы синтаксический анализатор мог точно указать место ошибки, если встретит недопустимую лексему.Поле Lexeme
ltIdentifier
или ltNumber
. Для остальных типов лексем достаточно информации из поля LexemeType
.Лексический анализатор реализован в виде класса TLexicalAnalyzer
Lexeme
возвращает текущую лексему, метод Next
позволяет перейти к следующей. Так как наша грамматика предусматривает разбор слева направо, таких примитивных возможностей навигации синтаксическому анализатору вполне хватает. Код анализатора показан в листинге 4.12.type
TLexicalAnalyzer = class
private
FLexemeList: TList;
// Номер текущей лексемы в списке
FIndex: Integer;
function GetLexeme: PLexeme;
// Пропуск всего, что является разделителем лексем
procedure SkipWhiteSpace(const S: string; var P: Integer);
// Выделение лексемы, начинающейся с позиции P
procedure ExtractLexeme(const S: string; var P: Integer);
// Помещение лексемы в список
procedure PutLexeme(LexemeType: TLexemeType; Pos: Integer; const Lexeme: string);
// Выделение лексемы-числа
procedure Number(const S: string; var P: Integer);
// Выделение слова и отнесение его к идентификаторам
// или зарезервированным словам
procedure Word(const S: string; var P: Integer);
public
constructor Create(const Expr: string);
destructor Destroy; override;
// Переход к следующей лексеме
procedure Next;
// Указатель на текущую лексему
property Lexeme: PLexeme read GetLexeme;
end;
constructor TLexicalAnalyzer.Create(const Expr: string);
var
P: Integer;
begin
inherited Create;
// Создаем список лексем
FLexemeList:= TList.Create;
// И сразу же заполняем его
Р:= 1;
while Р <= Length(Expr) do
begin
SkipWhiteSpace(Expr, P);
ExtractLexeme(Expr, P);
end;
// Помещаем в конец списка специальную лексему
PutLexeme(ltEnd, Р, '');
FIndex:= 0;
end;
destructor TLexicalAnalyzer.Destroy;
var
I: Integer;
begin
for I:= 0 to FLexemeList.Count — 1 do
Dispose(PLexeme(FLexemeList[I]));
FLexemeList.Free;
inherited Destroy;
end;
// Получение указателя на текущую лексему
function TLexicalAnalyzer.GetLexeme: PLexeme;
begin
Result:= FLexemeList[FIndex];
end;
// Переход к следующей лексеме
procedure TLexicalAnalyzer.Next;
begin
if FIndex < FLexemeList.Count — 1 then Inc(FIndex);
end;