实现编译器前端需构建词法分析器和语法分析器，先通过Lexer将源码转为Token流，再由Parser生成符合优先级的AST。
实现一个简单的编译器前端，主要包括两个核心部分：词法分析（Lexer）和语法分析（Parser）。我们可以用 JavaScript 来构建一个基础版本，处理类似算术表达式这样的简单语言。下面一步步说明如何实现。
词法分析：将源码拆分为 Token
词法分析器（Lexer）的作用是读取原始字符流，将其转换为一个个有意义的标记（Token）。例如，表达式 2 + 3 * 4 可以被切分为数字、运算符等 Token。
以下是一个简单的 Lexer 实现：
function createLexer(input) {let position = 0;
const tokens = [];
while (position let char = input[position];
if (char === ' ') {
position++;
continue;
}
if (/[0-9]/.test(char)) {
let num = '';
while (position num += input[position++];
}
tokens.push({ type: 'number', value: Number(num) });
continue;
}
if (char === '+' || char === '-' || char === '*' || char === '/') {
tokens.push({ type: 'operator', value: char });
position++;
continue;
}
throw new Error('未知字符: ' + char);
}
return tokens;
}
调用示例：
立即学习“Java免费学习笔记（深入）”；
const tokens = createLexer("2 + 3 * 4");// 输出: [
// {type: "number", value: 2},
// {type: "operator", value: "+"},
// {type: "number", value: 3},
// {type: "operator", value: "*"},
// {type: "number", value: 4}
// ]
语法分析：从 Token 构建抽象语法树（AST）
语法分析器（Parser）的任务是根据语法规则，把 Token 流构造成一棵抽象语法树（AST）。为了正确处理运算符优先级（如乘除优先于加减），我们采用递归下降解析法，并分层处理表达式。
以下是一个支持加减乘除、正确处理优先级的 Parser 实现：
function createParser(tokens) {
let current = 0;
function walk() {
let token = tokens[current];
if (token.type === 'number') {
current++;
return {
type: 'NumberLiteral',
value: token.value
};
}
// 使用递归下降处理表达式优先级
return parseAdditive();
}
function parseAdditive() {
let left = parseMultiplicative();
while (current const op = tokens[current];
if (op.type === 'operator' && (op.value === '+' || op.value === '-')) {
current++;
left = {
type: 'BinaryExpression',
operator: op.value,
left,
right: parseMultiplicative()
};
} else {
break;
}
}
return left;
}
function parseMultiplicative() {
let left = walk(); // 简化：直接调用 walk 处理原子或嵌套
while (current const op = tokens[current];
if (op.type === 'operator' && (op.value === '*' || op.value === '/')) {
current++;
left = {
type: 'BinaryExpression',
operator: op.value,
left,
right: walk()
};
} else {
break;
}
}
return left;
}
const ast = {
type: 'Program',
body: walk()
};
return ast;
}
使用示例：
const tokens = createLexer("2 + 3 * 4");const ast = createParser(tokens);
console.log(JSON.stringify(ast, null, 2));
输出的 AST 结构会体现正确的优先级：
{"type": "Program",
"body": {
"type": "BinaryExpression",
"operator": "+",
"left": { "type": "NumberLiteral", "value": 2 },
"right": {
"type": "BinaryExpression",
"operator": "*",
"left": { "type": "NumberLiteral", "value": 3 },
"right": { "type": "NumberLiteral", "value": 4 }
}
}
}
整合与扩展建议
现在你已经有了一个最简编译器前端：
- Lexer 将字符串转为 Token 数组
- Parser 根据语法构造 AST，正确处理优先级
可以进一步扩展功能：
- 支持括号：
(2 + 3) * 4，在 parser 中加入对 '(' 的处理 - 支持变量名和赋值语句，增加标识符 Token 类型
- 添加语法错误提示，比如不匹配的括号
- 使用工具生成更复杂的语法分析器，如 nearley.js 或 chevrotain
基本上就这些。不复杂但容易忽略细节，比如优先级处理和位置管理。
