instance method Prism::LexResult#value

字句解析の結果を、[トークン, 直前からの字句解析器の状態を表す整数] という 2 要素配列の配列で返します。トークンは Prism::Token のインスタンスです。

トークンだけの配列が欲しい場合は value.map(&:first) のようにします。

require "prism"

result = Prism.lex("1 + 2")
p result.value.map { |token, _state| token.type }
# => [:INTEGER, :PLUS, :INTEGER, :EOF]