Class Tokenizer


  • final class Tokenizer
    extends java.lang.Object
    • Field Detail

      • source

        private java.io.Reader source
      • line

        private int line
      • column

        private int column
      • ch

        private char ch
    • Constructor Detail

      • Tokenizer

        public Tokenizer​(java.io.Reader source)
    • Method Detail

      • next

        public Token next()
      • consumeString

        private Token consumeString​(char quote)
      • consumeNumber

        private Token consumeNumber()
      • consumeDigits

        private boolean consumeDigits​(java.lang.StringBuilder sb)
      • isDigit

        private boolean isDigit​(char ch)
      • isHexDigit

        private boolean isHexDigit​(char ch)
      • consumeConstant

        private Token consumeConstant()
      • eatWhiteSpace

        private void eatWhiteSpace()
      • nextChar

        private void nextChar()
      • moreChars

        private boolean moreChars()