Version: 0.1.00.1.10.2.00.2.10.2.20.2.30.2.40.2.50.2.60.3.00.4.00.4.10.4.20.4.30.5.00.5.10.5.20.5.30.5.40.5.50.5.60.5.70.5.80.5.90.5.100.5.11
import { TokenizerOptions, Token } from './types';
export default function tokenize(input: string, options?: TokenizerOptions): Token[];