class Prism::Token

要約

Prism?.lex や Prism?.parse_lex の結果に含まれる、字句解析で得られたトークンを表すクラスです。

require "prism"

token, _state = Prism.lex("1 + 2").value.first
p token.class    # => Prism::Token
p token.type     # => :INTEGER
p token.value    # => "1"
p token.location.start_column # => 0

[SEE_ALSO] Prism?.lex, Prism?.parse_lex

目次

インスタンスメソッド

• ==
• location
• type
• value

インスタンスメソッド

self == other -> boolRuby 3.3 から[permalink][rdoc][edit]

other が同じ type と value を持つ Prism::Token であれば true を返します。位置(location)は比較しないため、ソースコード上の別の場所にある同じ内容のトークンどうしも等しいと判定されます。

[PARAM] other:

比較対象のオブジェクト

例

require "prism"

tokens = Prism.lex("1 + 1").value
p tokens[0][0] == tokens[2][0] # => true (別の位置の "1" どうし)

location -> Prism::LocationRuby 3.3 から[permalink][rdoc][edit]

トークンのソースコード上の位置を表す Prism::Location を返します。

type -> SymbolRuby 3.3 から[permalink][rdoc][edit]

トークンの種類を表すシンボル(例: :INTEGER、:PLUS、 :IDENTIFIER)を返します。

value -> StringRuby 3.3 から[permalink][rdoc][edit]

トークンに対応するソースコードの文字列を返します。