@@ -107,8 +107,8 @@ fn parse_token_list(file: &str) -> HashMap<String, token::Token> {
107
107
"OR" => token:: BinOp ( token:: Or ) ,
108
108
"GT" => token:: Gt ,
109
109
"LE" => token:: Le ,
110
- "LIT_BINARY " => token:: Literal ( token:: Binary ( Name ( 0 ) ) , None ) ,
111
- "LIT_BINARY_RAW " => token:: Literal ( token:: BinaryRaw ( Name ( 0 ) , 0 ) , None ) ,
110
+ "LIT_BYTE_STR " => token:: Literal ( token:: ByteStr ( Name ( 0 ) ) , None ) ,
111
+ "LIT_BYTE_STR_RAW " => token:: Literal ( token:: ByteStrRaw ( Name ( 0 ) , 0 ) , None ) ,
112
112
"QUESTION" => token:: Question ,
113
113
"SHEBANG" => token:: Shebang ( Name ( 0 ) ) ,
114
114
_ => continue ,
@@ -137,8 +137,8 @@ fn str_to_binop(s: &str) -> token::BinOpToken {
137
137
}
138
138
}
139
139
140
- /// Assuming a string/binary literal, strip out the leading/trailing
141
- /// hashes and surrounding quotes/raw/binary prefix.
140
+ /// Assuming a string/byte string literal, strip out the leading/trailing
141
+ /// hashes and surrounding quotes/raw/byte prefix.
142
142
fn fix ( mut lit : & str ) -> ast:: Name {
143
143
if lit. char_at ( 0 ) == 'r' {
144
144
if lit. char_at ( 1 ) == 'b' {
@@ -205,8 +205,8 @@ fn parse_antlr_token(s: &str, tokens: &HashMap<String, token::Token>, surrogate_
205
205
token:: DocComment ( ..) => token:: DocComment ( nm) ,
206
206
token:: Literal ( token:: Integer ( ..) , n) => token:: Literal ( token:: Integer ( nm) , n) ,
207
207
token:: Literal ( token:: Float ( ..) , n) => token:: Literal ( token:: Float ( nm) , n) ,
208
- token:: Literal ( token:: Binary ( ..) , n) => token:: Literal ( token:: Binary ( nm) , n) ,
209
- token:: Literal ( token:: BinaryRaw ( ..) , n) => token:: Literal ( token:: BinaryRaw ( fix ( content) ,
208
+ token:: Literal ( token:: ByteStr ( ..) , n) => token:: Literal ( token:: ByteStr ( nm) , n) ,
209
+ token:: Literal ( token:: ByteStrRaw ( ..) , n) => token:: Literal ( token:: ByteStrRaw ( fix ( content) ,
210
210
count ( content) ) , n) ,
211
211
token:: Ident ( ..) => token:: Ident ( ast:: Ident { name : nm, ctxt : 0 } ,
212
212
token:: ModName ) ,
@@ -340,8 +340,8 @@ fn main() {
340
340
token:: Literal ( token:: Float ( ..) , _) ,
341
341
token:: Literal ( token:: Str_ ( ..) , _) ,
342
342
token:: Literal ( token:: StrRaw ( ..) , _) ,
343
- token:: Literal ( token:: Binary ( ..) , _) ,
344
- token:: Literal ( token:: BinaryRaw ( ..) , _) ,
343
+ token:: Literal ( token:: ByteStr ( ..) , _) ,
344
+ token:: Literal ( token:: ByteStrRaw ( ..) , _) ,
345
345
token:: Ident ( ..) ,
346
346
token:: Lifetime ( ..) ,
347
347
token:: Interpolated ( ..) ,
0 commit comments