手把手教你使用ANTLR和Go实现一门DSL语言(第二部分):文法验证

本文永久链接 – https://tonybai.com/2022/05/25/an-example-of-implement-dsl-using-antlr-and-go-part2

在本系列的第一篇文章《手把手教你使用ANTLR和Go实现一门DSL语言:设计DSL语法与文法》中,我们已经为气象学家们设计了一门DSL,建立了语法样例,并用ANTLR4文法将DSL定义了出来。按照外部DSL设计与实现的工作流,在这一篇中,我们将对上一篇设计的DSL文法进行验证,看看ANTLR基于我们设计的文法是否能成功生成解析器代码,并且基于生成的解析器是否可以成功处理我们编写的语法样例。

ANTLR文法验证可分为两个阶段,我们分别来看一下。

一. 验证ANTLR是否能解析我们定义的文法(Tdat.g4)

验证ANTLR是否能解析我们的文法Tdat.g4的过程也是通过antlr4尝试生成DSL语法解析器代码的过程,如果顺利生成目标代码,没有报错,则说明我们的Tdat.g4文法至少是符合ANTLR4对文法的要求的。一旦成功,ANTLR就会在特定目录下生成你期望的语法的解析器(parser)代码,比如下面命令将Tdat.g4文法生成目标代码为Go的解析器实现,生成的Go代码位于当前目录下的parser目录下。

$antlr4 -Dlanguage=Go -o parser Tdat.g4

在这个过程中,除了语法错误(比如没用分号结尾,缺少冒号等),我们常会遇到两类错误。

一类是Parser rule的间接左递归问题,比如下面这个例子:

// Demo2.g4
grammar Demo2;

expr1 : expr2;
expr2 : expr1 '+' expr3
      | '(' expr2 ')'
      ;
expr3 : INT;

INT: DIGIT+;

DIGIT: [0-9];

使用antlr基于上面Demo2.g4生成parser代码,我们会得到下面错误提示:

$antlr4 -Dlanguage=Go -o parser Demo2.g4
error(119): Demo2.g4::: The following sets of rules are mutually left-recursive [expr1, expr2]

以Demo2.g4为例,所谓“间接左递归”,就是expr1产生式中包含expr2,而expr2的产生式规则中又包含了expr1,这种情况Antlr是无法处理的。那么我们需要消除这种“间接左递归”,最直接的方法就是将文法改为“直接左递归”,如下面改后的文法:

grammar Demo2;

expr1 : expr1 '+' expr3
      | '(' expr1 ')'
      ;
expr3 : INT;

INT: DIGIT+;

DIGIT: [0-9];

这里把expr2这一中间rule去掉了!expr1的产生式中直接包含自己,这种直接左递归是antlr可以支持的。

另一类是词法规则生成式相同导致的归约歧义。这里antlr不会给出error,而会以warning形式提醒开发者。比如下面例子:

grammar Demo1;

prog: expr
    | expr1
    ;

expr: DIGIT AND DIGIT;

expr1: DIGIT MASK DIGIT;

AND : '&' ;

MASK : '&' ;

DIGIT: [0-9];

antlr处理这个文法时,会提示如下warning:

warning(184): Demo1.g4:14:0: One of the token MASK values unreachable. & is always overlapped by token AND

意思是MASK这个词法规则总是会被AND这个词法规则所遮蔽,或者说通过这个文法总是能识别到expr,而无法识别并归约到expr1这个规则。这个问题与具体文法设计相关,解决方法可参考ANTLR提供的词法规则说明

不过,即便基于你的文法成功生成Parser代码,也不代表你的文法没有逻辑错误。我们需要通过一些语法样例来验证生成的Parser是否能正确解析我们的语法样例。

二. 验证生成的Parser代码是否能正确解析我们的语法样例

第二阶段的验证有两种方法,最简单的就是使用antlr提供的工具grun。这里我将grun的相关命令打包到一个Makefile中:

// Makefile for debugging Tdat.g4
antlr4_exe = java -jar /usr/local/lib/antlr-4.10.1-complete.jar
grun_exe = java org.antlr.v4.gui.TestRig
target =

all:
    go build

gen:
    $(antlr4_exe) -Dlanguage=Go -o parser Tdat.g4

gen_visitor:
    $(antlr4_exe) -Dlanguage=Go -visitor -o parser Tdat.g4

gen_java:
    $(antlr4_exe) Tdat.g4

gui: gen_java
    javac *.java
    $(grun_exe) Tdat prog $(target) -gui

trace: gen_java
    javac *.java
    $(grun_exe) Tdat prog $(target) -trace

tokens: gen_java
    javac *.java
    $(grun_exe) Tdat prog $(target) -tokens

tree: gen_java
    javac *.java
    $(grun_exe) Tdat prog $(target) -tree

clean:
    rm -fr *.java *.class tdat

由于grun依赖于基于Tdat.g4生成的java parser代码,所以每个调试命令,如debug、trace、tokens等都需要依赖对应的Java的代码生成。

对于同归属于视觉动物的人类来说,我推荐你先使用图形化选项(gui)对语法样例的解析进行调试,我们以下面的最简单的samples/sample1.t为例:

// samples/sample1.t

r0001: Each { || $speed > 30 } => ("speed", "temperature", "salinity");

我们执行下面命令:

$make gui target=samples/sample1.t
java -jar /usr/local/lib/antlr-4.10.1-complete.jar Tdat.g4
javac *.java
java org.antlr.v4.gui.TestRig Tdat prog samples/sample1.t -gui
... ...

上述命令会打开一个新窗口,显示解析后的语法树:

很幸运!基于Tdat.g4文法生成的Parser可以正确解析sample1.t。

某些时候我们需要查看字符序列被解析为词法元素token的过程,以验证字符序列是否都被正确识别,我们可以通过make tokens来实现:

$make tokens target=samples/sample1.t
java -jar /usr/local/lib/antlr-4.10.1-complete.jar Tdat.g4
javac *.java
java org.antlr.v4.gui.TestRig Tdat prog samples/sample1.t -tokens
[@0,12:16='r0001',<ID>,3:0]
[@1,17:17=':',<':'>,3:5]
[@2,19:22='Each',<'Each'>,3:7]
[@3,24:24='{',<'{'>,3:12]
[@4,26:26='|',<'|'>,3:14]
[@5,27:27='|',<'|'>,3:15]
[@6,29:34='$speed',<METRIC>,3:17]
[@7,36:36='>',<'>'>,3:24]
[@8,38:39='30',<INT>,3:26]
[@9,41:41='}',<'}'>,3:29]
[@10,43:44='=>',<'=>'>,3:31]
[@11,46:46='(',<'('>,3:34]
[@12,47:53='"speed"',<STRING>,3:35]
[@13,54:54=',',<','>,3:42]
[@14,56:68='"temperature"',<STRING>,3:44]
[@15,69:69=',',<','>,3:57]
[@16,71:80='"salinity"',<STRING>,3:59]
[@17,81:81=')',<')'>,3:69]
[@18,82:82=';',<';'>,3:70]
[@19,84:83='<EOF>',<EOF>,4:0]

通过上述的每一行,我们都可以看到一个token被解析出来,匹配的是哪条词法规则。以第一行为例:”r0001″被解析出来,成功匹配ID这个token规则。

如果要结合parser规则一并查看匹配规则的步骤,可以用trace命令,通过这个命令的详细输出我们可以对parser规则匹配异常的情况进行诊断:

$make trace target=samples/sample1.t
java -jar /usr/local/lib/antlr-4.10.1-complete.jar Tdat.g4
javac *.java
java org.antlr.v4.gui.TestRig Tdat prog samples/sample1.t -trace
enter   prog, LT(1)=r0001
enter   ruleLine, LT(1)=r0001
enter   ruleID, LT(1)=r0001
consume [@0,12:16='r0001',<33>,3:0] rule ruleID
exit    ruleID, LT(1)=:
consume [@1,17:17=':',<1>,3:5] rule ruleLine
enter   enumerableFunc, LT(1)=Each
consume [@2,19:22='Each',<6>,3:7] rule enumerableFunc
exit    enumerableFunc, LT(1)={
consume [@3,24:24='{',<2>,3:12] rule ruleLine
enter   windowsRange, LT(1)=|
consume [@4,26:26='|',<9>,3:14] rule windowsRange
consume [@5,27:27='|',<9>,3:15] rule windowsRange
exit    windowsRange, LT(1)=$speed
enter   conditionExpr, LT(1)=$speed
enter   primaryExpr, LT(1)=$speed
consume [@6,29:34='$speed',<34>,3:17] rule primaryExpr
exit    primaryExpr, LT(1)=>
enter   comparisonOp, LT(1)=>
consume [@7,36:36='>',<24>,3:24] rule comparisonOp
exit    comparisonOp, LT(1)=30
enter   primaryExpr, LT(1)=30
enter   literal, LT(1)=30
consume [@8,38:39='30',<35>,3:26] rule literal
exit    literal, LT(1)=}
exit    primaryExpr, LT(1)=}
exit    conditionExpr, LT(1)=}
consume [@9,41:41='}',<3>,3:29] rule ruleLine
consume [@10,43:44='=>',<4>,3:31] rule ruleLine
enter   result, LT(1)=(
consume [@11,46:46='(',<11>,3:34] rule result
consume [@12,47:53='"speed"',<37>,3:35] rule result
consume [@13,54:54=',',<10>,3:42] rule result
consume [@14,56:68='"temperature"',<37>,3:44] rule result
consume [@15,69:69=',',<10>,3:57] rule result
consume [@16,71:80='"salinity"',<37>,3:59] rule result
consume [@17,81:81=')',<12>,3:69] rule result
exit    result, LT(1)=;
consume [@18,82:82=';',<5>,3:70] rule ruleLine
exit    ruleLine, LT(1)=<EOF>
exit    prog, LT(1)=<EOF>

上面这个r0001的逻辑比较简单,我们再来一个复杂的:

//samples/sample2.t

r0002: None { |,30| $temperature > 5 } => ("speed", "temperature", "salinity");
r0005: Each { |,| (($speed < 5) and (($temperature + 1) < 10)) or ((roundDown($speed) <= 10) and (roundUp($salinity) >= 500))} => ();

我们用gui形式输出语法树:

我们看到,虽然sample2.t中的源码逻辑变复杂了,但我们生成的Parser依旧可以成功将其解析为语法树。

如果你觉得grun提供的这些工具的输出都不符合你的胃口,那么好吧,你可以自己动手基于Listener方式自己写你的调试工具,最简单的逻辑:我们遍历一遍Parser生成的语法树,看看语法树每个节点是否符合我们的预期。

Antlr的Go runtime提供了一个TraceListener的结构,从名字上来看似乎是可以遍历语法树,对Node做trace的。但试用后发现总出panic,不知道是不是用法的问题。

不过自己写一个也不麻烦,我们建立一个trace_listener.go,这个listener将遍历语法树所有节点并按我们期望的格式输出相关信息:

package main

import (
    "fmt"
    "tdat/parser"

    "github.com/antlr/antlr4/runtime/Go/antlr"
)

type TraceListener struct {
    *parser.BaseTdatListener
    p *parser.TdatParser
    t antlr.Tree
}

func NewTraceListener(p *parser.TdatParser, t antlr.Tree) *TraceListener {
    return &TraceListener{
        p: p,
        t: t,
    }
}

func (l *TraceListener) EnterEveryRule(ctx antlr.ParserRuleContext) {
    printLevelPrefix(ctx)
    i := ctx.GetRuleIndex()
    ruleName := l.p.RuleNames[i]
    fmt.Printf("==> %s 《 %s 》\n", ruleName, ctx.GetText())
}

func (l *TraceListener) ExitEveryRule(ctx antlr.ParserRuleContext) {
    printLevelPrefix(ctx)
    i := ctx.GetRuleIndex()
    ruleName := l.p.RuleNames[i]
    fmt.Println("<==", ruleName)
}

antlr的listener默认对语法树进行前序遍历,antlr go runtime中的ParseTreeListener接口包含EnterEveryRule和ExitEveryRule两个方法:

type ParseTreeListener interface {
    VisitTerminal(node TerminalNode)
    VisitErrorNode(node ErrorNode)
    EnterEveryRule(ctx ParserRuleContext)
    ExitEveryRule(ctx ParserRuleContext)
}

在遍历过程中,这两个方法分别会在进入某节点以及结束遍历某节点时被调用,我们可以在我们的Listener接口实现中重写这两个方法来提取遍历的树的所有节点的信息。

现在我们提供一个main函数来驱动这个调试过程:

func main() {
    println("input file:", os.Args[1])
    input, err := antlr.NewFileStream(os.Args[1])
    if err != nil {
        panic(err)
    }

    lexer := parser.NewTdatLexer(input)
    stream := antlr.NewCommonTokenStream(lexer, 0)
    p := parser.NewTdatParser(stream)
    tree := p.Prog()
    antlr.ParseTreeWalkerDefault.Walk(NewTraceListener(p, tree), tree)
}

编译运行上面程序:

$make
go build

$./tdat samples/sample1.t 

input file: samples/sample1.t
==> prog 《 r0001:Each{||$speed>30}=>("speed","temperature","salinity"); 》
    ==> ruleLine 《 r0001:Each{||$speed>30}=>("speed","temperature","salinity"); 》
        ==> ruleID 《 r0001 》
        <== ruleID
        ==> enumerableFunc 《 Each 》
        <== enumerableFunc
        ==> windowsRange 《 || 》
        <== windowsRange
        ==> conditionExpr 《 $speed>30 》
            ==> primaryExpr 《 $speed 》
            <== primaryExpr
            ==> comparisonOp 《 > 》
            <== comparisonOp
            ==> primaryExpr 《 30 》
                ==> literal 《 30 》
                <== literal
            <== primaryExpr
        <== conditionExpr
        ==> result 《 ("speed","temperature","salinity") 》
        <== result
    <== ruleLine
<== prog

这里我用了一种带缩进的格式来查看整个遍历过程以及遍历的每个节点的信息,如果你有你期望输出的格式,可以修改上面的EnterEveryRule和ExitEveryRule方法的实现,总之,怎么方便怎么高效就怎么来!

一些童鞋会问,文法确定了,语法确定了,Parser也可以成功生成,那么还会有解析错误的情况么?这个肯定是有的,笔者在开发的过程中就遇到因词法规则顺序的问题导致语法规则匹配错误的情况,下面就是一个例子:

// Demo.g4
grammar Demo;

prog
    : prule1
    | prule2
    ;

prule1
    : 'repeat' INT
    ;

prule2
    : 'repeat' NONZEROINT
    ;

NONZEROINT
    : [1-9](DIGIT)*
    ;

INT
    : DIGIT+
    ;

fragment
DIGIT
    : [0-9]  // match single digit
    ;

LINE_COMMENT
    : '//' .*? '\r'? '\n' -> skip
    ;

COMMENT
    : '/*' .*? '*/' -> skip
    ;

WS
    : [ \t\r\n]+ -> skip
    ;

我们用下面语法测试基于上面Demo.g4生成的Parser:

//sample1.t
repeat 15

我们期望其匹配到的规则为prule1,但实际情况是:

grun -gui的输出结果是Parser匹配到了prule2!这是怎么回事呢?我们用grun -tokens再来看看词法规则匹配的情况:

 $grun Demo prog samples/sample1.t -tokens
[@0,1:6='repeat',<'repeat'>,2:0]
[@1,8:9='15',<NONZEROINT>,2:7]
[@2,11:10='<EOF>',<EOF>,3:0]

我们发现15这个数字匹配到了NONZEROINT这个词法规则,而不是INT。这是因为ANTLR默认优先匹配排在前面的词法规则。于是在parser规则层面匹配到prule2就不足为奇了。

这只是一个“故意制造”的例子,即便不用Parser,我们也能“肉眼”识别文法中的问题。但在真实的复杂的语法解析器验证时,这样的未按预期匹配的情况也是很常见的,而且是肉眼难于分辨的,我们需要利用grun提供的工具去仔细诊断。

三. 小结

在这一篇中,我们通过ANTLR提供的工具对编写的文法规则进行了验证,并进一步验证了基于该文法生成的Parser是否可以解析我们设计的所有语法样例。

好了,现在我们已经可以成功将语法样例解析并转换为内存中的一颗语法树了?那么有了这棵树后,我们怎么实现需求中的表达式求值、指标计算与输出呢?

在下一篇文章中,我将和大家一起学习如何从语法树中提取我们的语义模型,并对语义模型进行测试验证。

本文中涉及的代码可以在这里下载 – https://github.com/bigwhite/experiments/tree/master/antlr/tdat 。


“Gopher部落”知识星球旨在打造一个精品Go学习和进阶社群!高品质首发Go技术文章,“三天”首发阅读权,每年两期Go语言发展现状分析,每天提前1小时阅读到新鲜的Gopher日报,网课、技术专栏、图书内容前瞻,六小时内必答保证等满足你关于Go语言生态的所有需求!2022年,Gopher部落全面改版,将持续分享Go语言与Go应用领域的知识、技巧与实践,并增加诸多互动形式。欢迎大家加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

我爱发短信:企业级短信平台定制开发专家 https://51smspush.com/。smspush : 可部署在企业内部的定制化短信平台,三网覆盖,不惧大并发接入,可定制扩展; 短信内容你来定,不再受约束, 接口丰富,支持长短信,签名可选。2020年4月8日,中国三大电信运营商联合发布《5G消息白皮书》,51短信平台也会全新升级到“51商用消息平台”,全面支持5G RCS消息。

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式:

  • 微博:https://weibo.com/bigwhite20xx
  • 微信公众号:iamtonybai
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • “Gopher部落”知识星球:https://public.zsxq.com/groups/51284458844544

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

手把手教你使用ANTLR和Go实现一门DSL语言(第一部分):设计DSL语法与文法

本文永久链接 – https://tonybai.com/2022/05/24/an-example-of-implement-dsl-using-antlr-and-go-part1

《使用ANTLR和Go实现DSL入门》一文中,我们了解了DSL与通用编程语言(GPL)的差异、DSL解析器生成工具选择以及ANTLR文法的简要书写规则,并和大家一起完成了一个CSV解析器的例子。看完上述文章后,你是不是有了打造属于自己的DSL的冲动了呢!

那么究竟该如何设计和实现一门自己的DSL呢?在这个系列文章中,我将“手把手”地和大家一起看看设计和实现一门DSL(这里主要指外部DSL)的全流程。

结合Martin Fowler在《领域特定语言》一书中的建议,我将设计与实现一门外部DSL的过程分为如下几个步骤:


图:外部DSL设计与实现的步骤

本文是系列文章的第一篇,在这一篇中,我将先来说说前三个步骤,即为某一特定领域设计一门DSL的语法(syntax)、并编写可以解析该DSL的ANTLR文法(grammar),生成该DSL语法的解析器并验证ANTLR文法的正确性。

到这里有朋友可能会问:“一会儿文法,一会儿又语法,它们到底有啥区别?”,别急!在设计这门DSL语法之前,我先来和大家一起简单理解一下文法与语法的区别。

一. 文法(grammar)和语法(syntax)


图:文法与语法的比较

如上图所示,语法是面向使用该编程语言的应用开发者的,就像Go语法面向的是Gopher;而文法则是面向这门编程语言的编译器或解释器(Interpreter)的核心开发者的

我们通常用自然语言描述编程语言的语法,这样的文档一般被称为该编程语言的语言规范(language specification),比如用于描述Go语法的Go语言规范

但自然语言通常是不精确的,有时带有歧义。为了给出更为精确的语法描述,编程语言规范通常也会有采用某种形式语言(比如:EBNF)表示的关于这门语言语法所对应的文法,比如在Go语言规范中,我们就能看到用EBNF所描述的文法:

SourceFile       = PackageClause ";" { ImportDecl ";" } { TopLevelDecl ";" } .
PackageClause    = "package" PackageName .
PackageName      = identifier .
ImportDecl       = "import" ( ImportSpec | "(" { ImportSpec ";" } ")" ) .
ImportSpec       = [ "." | PackageName ] ImportPath .
ImportPath       = string_lit .
... ...

通常应用开发人员是不会关心这些夹带在语言规范文档中的文法描述的,只有当规范中的说明有歧义时,开发人员才会根据文法中的产生式规则去推导语法的合规形式的,当然了这一推导过程是比较“痛苦”的。

到这里,结合我们在《使用ANTLR和Go实现DSL入门》一文中的说明,我们进一步明确了文法就是一组规则,这组规则告诉我们如何将文本流转换为语法树。如果转换失败,说明文本流中存在不符合编程语言语法的地方。

此外,用于描述一门编程语言语法的文法可以不止一种,每种形式语言工具都有自己的表示形式,比如针对Go语言语法,我们可以使用EBNF给出形式化的文法,也可以使用ANTLR专用的形式化文法。

到这里,你对文法与语法的概念是不是更深刻一些了呢!不过这时可能会有朋友站出来提问:设计一门编程语言或DSL,是先设计语法还是先设计文法呢

在语言设计伊始,语法和文法设计的边界其实并非那么清晰。讨论语法是为了确定文法做准备,而一旦确定了一版文法,语法的使用形式又被进一步精确了。在编程语言/DSL设计过程中,语法与文法是交替螺旋上升的。简单的DSL语言,可能一轮迭代就完成了全部设计。复杂的通用编程语言可能要反复针对语法讨论多次,确定下来后,才会编写出新一版本的文法,依次反复迭代。

不过通常来说我们会先确定一版语言的语法,写出一些采用此版语言语法的样例源文件,供后续文法以及生成的解析器(Parser)验证使用。回顾Go语言的历史,我们会发现Go语言创世团队当初也是这么做的。Robert Griesemer、Rob Pike和Ken Thompson这三位大佬在Google总部的一间会议室里首先进行了一场有关Go具体设计的会议。会后的第二天,Robert Griesemer发出了一封题为“prog lang discussion”的电邮,这封电邮便成为了这门新语言的第一版设计稿,三位大佬在这门语言的一些基础语法特性与形式上达成了初步一致:

Date: Sun, 23 Sep 2007 23:33:41 -0700
From: "Robert Griesemer" <gri@google.com>
To: "Rob 'Commander' Pike" <r@google.com>, ken@google.com
Subject: prog lang discussion
...
*** General:
Starting point: C, fix some obvious flaws, remove crud, add a few missing features
  - no includes, instead: import
  - no macros (do we need something instead?)
  - ideally only one file instead of a .h and .c file, module interface
should be extracted automatically
  - statements: like in C, though should fix 'switch' statement
  - expressions: like in C, though with caveats (do we need ',' expressions?)
  - essentially strongly typed, but probably w/ support for runtime types
  - want arrays with bounds checking on always (except perhaps in 'unsafe mode'-see section on GC)
  - mechanism to hook up GC (I think that most code can live w/ GC, but for a true systems
    programming language there should be mode w/ full control over memory allocation)
  - support for interfaces (differentiate between concrete, or implementation types, and abstract,
    or interface types)
  - support for nested and anonymous functions/closures (don't pay if not used)
  - a simple compiler should be able to generate decent code
  - the various language mechanisms should result in predictable code
...

基于这版设计,2008年初,Unix之父Ken Thompson实现了第一版Go编译器(文法相关),用于验证之前的语法设计。

好了,在理解了文法与语法的区别后,接下来,我们就来为某一特定领域创建一门DSL语言,我们先来介绍一下这门DSL的背景与语法设计。

注:以上提到的对文法与语法的理解仅限于计算机编程语言领域,并不一定适合自然语言领域(自然语言领域也有文法与语法的概念)。

二. 为《后天》中的气象学家设计一门DSL

注:下面只是一个虚构的领域例子,大家无需在其合理性、可行性、科学性与严谨性上产生质疑:)。

如果你看过灾难片专业户罗兰·艾默里奇指导的美国灾难题材电影《后天》,你肯定会对电影里发生的威胁人类文明的灾难情节记忆犹新。不过《后天》里的情节其实离我们并不“遥远”,尤其是进入二十一世纪以来,极端异常天气在全球各个地区屡屡发生:两极高温冰川消融、北美陆地飓风以及我国2021年华北地区的极端降水等等。各国的气象学家、地球物理科学家们都在努力破解这些极端天气背后的原因,并预测全球气候的走势。他们在全球设置了诸多气象数据的采集装置,就像《后天》中部署在大西洋上的浮标那样,7×24小时地监视着“地球的生命体征”。

像浮标这样的采集装置内置采集程序,按照设定的规则定期向中心上报数据或发送异常事件信息。不过浮标一般都是无人值守的,一旦投放,便很难维护。一旦要进行程序升级,比如更新采集数据与上报事件的规则,就比较麻烦了。

如果我们为像浮标这样的采集装置设计一门DSL,让这些装置内置某种DSL引擎,这样变更采集和报警规则只需给装置远程传送一个极小数据量的规则文件即可完成升级,采集装置将按照新规则上报数据和事件。

好了,领域背景介绍完了,下面我们就来为气象学家们分忧,帮助他们设计一门DSL语言,用于“指挥”像浮标这样的数据收集装置按照气象学家们设定的规则上报数据与事件。

三. DSL语言的语法样例

我们先来构思一下这门DSL的语法。什么样的DSL是好DSL?没有固定的评价标准。

  • 自然语言 vs. 编程语言

有人说DSL是给领域专家用的,应该更贴近自然语言一些,但实际情况是DSL更多还是开发人员/测试人员去写,或有开发经验的领域专家使用。所以在《领域特定语言》一书的第二章末尾,Martin Fowler给出关于DSL的特别警示:不要试图让DSL读起来像自然语言。牢记,DSL是一种程序设计语言

使用DSL更像是在编程,而不是写小说。同自然语言相比,像DSL这样的程序设计语言的目标是简洁、清晰与精确

  • 一门大的DSL vs. 多门小的DSL

DSL正如其名,是领域相关的。绝大多数DSL都是非常简单、非常小的“编程语言”,比如一个算术表达式求值语言,再比如DSL一书中格兰特小姐的控制器状态机等。

但DSL始终存在演化成庞然大物-一门图灵完备的通用编程语言的风险,这个是要极力避免的。那么怎么识别这种风险呢?Martin Fowler告诉我们:如果一个系统整体都是用一门DSL实现的,那么这门DSL就成为了事实上的通用编程语言了。更佳的作法是切分领域,为不同领域构建不同的DSL,而不要构建一门DSL用于所有领域

好了,到这里我们先了解一下虚构例子的领域需求,我们需要为这样的一个无人值守的海洋浮标设备设计一门DSL,DSL可用于描述采集设备数据采集与上报的规则。

科学家们对设备的采集能力描述如下:

  • 可通过传感器周期性(默认间隔一分钟)获取所在坐标位置的大气温度、水温、水流速、盐度、….等物理指标;
  • 可对传感器实时获取到的各种物理指标信息进行一元运算(向下取整、向上取整、绝对值)、算术运算(加减乘除取模)、关系运算(大于、小于…)、逻辑运算(与、或) ,构造混合这些运算的条件,当条件为真时,上报指定的物理指标信息;
  • 可结合采集设备缓存的历史时刻数据(缓存能力有限,最大300分钟,即300条数据)进行综合条件判定,这里将其定义为窗口计算,判定策略包括:都不满足、全部满足和至少一项满足。

面对这样的需求,我们怎么定义DSL的语法呢?外部DSL的语法设计往往会受到设计者对以往的编程语言的使用经验的影响。很多开发人员都会从自己熟悉的编程语言的语法中“借鉴”一些语法元素来构成自己的DSL。下面是我设计的一组语法样例:

r0001: Each { || $speed > 30 } => ("speed", "temperature", "salinity");

r0002: None { |,30| $temperature > 5 } => ("speed", "temperature", "salinity");

r0003: None { |3,| $temperature > 10 } => ("speed", "temperature", "salinity");

r0004: Any { |11,30| ($speed < 5) and ($temperature < 2) and (roundUp($salinity) < 600) } => ("speed", "temperature", "salinity");

r0005: Each { |,| (($speed < 5) and (($temperature + 1) < 10)) or ((roundDown($speed) <= 10) and (roundUp($salinity) >= 500))} => ();

到这里,一些童鞋会惊讶到DSL的简单,没错!就像前面所说的,DSL就应该简单、清晰和表意精确

下面我来对上面的语法样例做个简单说明:

  • 一条规则占用一行,以ruleID开头,以分号结尾;
  • ruleID与rule body之间通过冒号分隔;
  • rule body借鉴了Ruby语言中的迭代器语法:
#!/usr/bin/ruby

a = [1,2,3,4,5]
b = Array.new
b = a.collect{ |x| x <= 4 }
puts b

输出:

true
true
true
true
false

在上面ruby的这种迭代器语法中,collect迭代器会将迭代数组a中每个元素,并针对每个元素进行x <= 4的求值,求值结果存储在b中对应的元素位置上。我借鉴了这种形式的语法,形成支持窗口计算和表达式求值的语法。以下面语法为例:

r0001: Each { |1,5| $speed > 30 } => ("speed", "temperature", "salinity");

这个规则的含义是:当窗口数据,从第1项到第5项数据中的speed指标都大于30时,输出并上报当前最新的speed、temperature和salinity指标数据。

Each是对窗口满足策略的判定,Each表示窗口数据中每一项都符合后面的条件表达式;其他两个判定词是None和Any,None表示窗口数据中没有一项满足后面的条件表达式;Any表示窗口数据中有一项满足后面的条件表达式即可。

Each后面的大括号中放置了窗口范围以及条件表达式。

两个竖线表示要参与求值的窗口数据,窗口表示的标准形式为|low, high|,low和high是下标值(下标从1开始),表示的窗口范围为:[low, high]。当省略low时,比如:|, high|表示的窗口范围为|1, high|;当low与high相同时,比如:|n, n|表示只有下标为n这一个元素参与后续求值;当省略high时,比如:|low, |表示窗口范围为|low, max|,其中max为默认设置的窗口的大小;当low与high都省略,但保留逗号时,比如:|,|,表示窗口中所有数据;当low与high都省略,逗号也省略时,比如:||,则表示|1,1|,即窗口中最新的那条数据。这种设计也部分借鉴了Go的切片下标的语法。

窗口后面条件表达式的求值结果要么为true,要么为false。其支持的运算符可以参考r0005规则。物理指标用$+指标名字表示,比如$speed。

当整个规则求值结果为真时,输出窗口中最新数据的speed、temperature和salinity这三个指标。如果最后输出指标的元组为空,则代表输出所有指标。

好了,大致确定了DSL语法后,我们就来根据语法样例编写对应ANTLR文法。

四. 为DSL编写ANTLR文法

在之前的文章中,我们也提到过,ANTLR文法规则存储在以.g4为后缀的文件中,文件名要与文件内的grammar关键字后面的名字保持一致,比如我们的文件名为Tdat.g4,那么该文件中grammar后面也必须是Tdat:

// the grammar for tdat RuleEngine
grammar Tdat;

注意:如果生成的解析器的目标语言为Go,那么ANTLR文法文件名必须要大写,否则生成的一些重要的结构无法被导出。

每个ANTLR文法文件都需要一个起始语法解析规则(parser rule),在Tdat.g4中,我们的起始规则为prog:

// the first parser rule, also the first rule of RuleEngine grammar
// prog is a sequence of rule lines.

prog
    : ruleLine+
    ;

正如prog规则的注释那样,一个采集装置的完整规则文件是由一组(至少包含一条)规则行(ruleLine)组成。而每个ruleLine的组成模式也非常固定:

ruleLine
    : ruleID ':' enumerableFunc '{' windowsRange conditionExpr '}' '=>' result ';'
    ;

大家可以对照着前面语法样例来理解ruleLine这个规则。接下来我们自顶向下(从左向右)的将各个组成部分的规则逐一定义就好了。先来看ruleID这个最简单的规则:

  • ruleID就是以字母开头,由数字与数字组成的文本:
ruleID
    : ID
    ;

// the first char of ID must be a letter
ID
    : ID_LETTER (ID_LETTER | DIGIT)*
    ;

fragment
ID_LETTER
    : 'a'..'z'|'A'..'Z'|'_'  // [a-zA-Z_]
    ;

fragment
DIGIT
    : [0-9]  // match single digit
    ;

像ID这样的词法规则,大家其实无需自己去从头编写,《ANTLR 4权威指南》antlr/grammar-v4中有大量样例可供参考。

  • enumerableFunc就是窗口判定策略,这里直接将Each、None和Any定为语言的关键字了:
enumerableFunc
    : 'Each'
    | 'None'
    | 'Any'
    ;
  • windowsRange是窗口规则,它有两个候选产生式:
windowsRange
    : '|' INT? '|'          #WindowsWithSingleOrZeroIndex
    | '|' INT? ',' INT? '|' #WindowsWithLowAndHighIndex
    ;

为了便于后续解析,这里用#为每个产生式起了一个名字,这样后续ANTLR在基于Tdat.g4生成Parser代码时,就会单独针对每个名字生成一对EnterXXX和ExitXXX(以listener模式下为例),便于我们解析。当然这里你还可以拆分的更细碎一些以进一步减少在处理Parser规则时自己写代码做判断的工作量。

  • conditionExpr是这里最复杂的parser规则,它的求值结果永远是true或false,因此我将其产生式规则定义如下:
conditionExpr
    : conditionExpr logicalOp conditionExpr
    | '(' conditionExpr ')'
    | primaryExpr comparisonOp primaryExpr
    ;

我们看到:conditionExpr规则有三个候选产生式,它可以是带括号的自身,支持自身通过逻辑操作符(and和or)的运算,也可以是经由比较操作符计算(比如>、<等)的普通表达式(primaryExpr)。

而普通表达式(primaryExpr)同样可以是带括号的自身,可以是经由算术运算符(比如:加减乘除等)计算的普通表达式,可以是单一的指标(METRIC),可以是经由一元内置函数(比如:roundUp、abs等)计算的普通表达式,当然也可以仅仅是一个字面值(literal)。literal字面值支持整型、浮点(非科学记数法表示形式)和字符串(双引号括起的文本):

primaryExpr
    : '(' primaryExpr ')'                  #BracketExprInPrimaryExpr
    | primaryExpr arithmeticOp primaryExpr #ArithmeticExprInPrimaryExpr
    | METRIC                               #MetricInPrimaryExpr
    | builtin '(' primaryExpr ')'          #BuildinExprInPrimaryExpr
    | literal                              #RightLiteralInPrimaryExpr
    ;

arithmeticOp
    : '+'
    | '-'
    | '*'
    | '/'
    | '%'
    ;

builtin
    : 'roundUp'
    | 'roundDown'
    | 'abs'
    ;

logicalOp
    : 'or'
    | 'and'
    ;

comparisonOp
    : '<'
    | '>'
    | '<='
    | '>='
    | '=='
    | '!='
    ;

METRIC
    : '$' ID // match $speed
    ;

INT
    : DIGIT+
    ;

FLOAT
    : DIGIT+ '.' DIGIT* // match 1. 39. 3.14159 etc...
    | '.' DIGIT+        // match .1 .14159
    ;

STRING
    : '"' (ESC|.)*? '"'
    ;
  • result规则定义了声明输出指标的形式,它是一个小括号表示的元组,指标间用逗号分隔,如果元组为空,则表示输出所有指标。
result
    : '(' STRING (',' STRING)* ')' # ResultWithElements
    | '(' ')'                      # ResultWithoutElements
    ;

好了,到这里针对这门DSL的ANTLR文法也编写完了。

五. 小结

在这一篇中,我们了解了开发一门DSL的基本流程,我们以一门为气象科学家打造的DSL为示例,和大家一起为该DSL设计了语法样例,并用ANTLR4的文法规则定义了这门DSL。

那么这个文法是否能被ANTLR正确解析并生成目标代码?通过这个文法能否正确识别出前面我们给出的语法样例呢?在下一篇“文法验证”中我将给大家揭晓答案。

本文中涉及的代码可以在这里下载 – https://github.com/bigwhite/experiments/tree/master/antlr/tdat 。


“Gopher部落”知识星球旨在打造一个精品Go学习和进阶社群!高品质首发Go技术文章,“三天”首发阅读权,每年两期Go语言发展现状分析,每天提前1小时阅读到新鲜的Gopher日报,网课、技术专栏、图书内容前瞻,六小时内必答保证等满足你关于Go语言生态的所有需求!2022年,Gopher部落全面改版,将持续分享Go语言与Go应用领域的知识、技巧与实践,并增加诸多互动形式。欢迎大家加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}
img{512x368}

我爱发短信:企业级短信平台定制开发专家 https://51smspush.com/。smspush : 可部署在企业内部的定制化短信平台,三网覆盖,不惧大并发接入,可定制扩展; 短信内容你来定,不再受约束, 接口丰富,支持长短信,签名可选。2020年4月8日,中国三大电信运营商联合发布《5G消息白皮书》,51短信平台也会全新升级到“51商用消息平台”,全面支持5G RCS消息。

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式:

  • 微博:https://weibo.com/bigwhite20xx
  • 微信公众号:iamtonybai
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • “Gopher部落”知识星球:https://public.zsxq.com/groups/51284458844544

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats