src/Pure/General/symbol.ML
author wenzelm
Wed Jan 21 23:21:44 2009 +0100 (2009-01-21)
changeset 29606 fedb8be05f24
parent 29324 e07fc65e296b
child 31013 69a476d6fea6
permissions -rw-r--r--
removed Ids;
wenzelm@6118
     1
(*  Title:      Pure/General/symbol.ML
wenzelm@6116
     2
    Author:     Markus Wenzel, TU Muenchen
wenzelm@6116
     3
paulson@21897
     4
Generalized characters with infinitely many named symbols.
wenzelm@6116
     5
*)
wenzelm@6116
     6
wenzelm@6116
     7
signature SYMBOL =
wenzelm@6116
     8
sig
wenzelm@6116
     9
  type symbol
wenzelm@26524
    10
  val SOH: symbol
wenzelm@26524
    11
  val STX: symbol
wenzelm@26538
    12
  val ENQ: symbol
wenzelm@26538
    13
  val ACK: symbol
wenzelm@26524
    14
  val DEL: symbol
wenzelm@6116
    15
  val space: symbol
wenzelm@23618
    16
  val spaces: int -> string
wenzelm@14678
    17
  val is_char: symbol -> bool
wenzelm@14678
    18
  val is_symbolic: symbol -> bool
wenzelm@14678
    19
  val is_printable: symbol -> bool
wenzelm@26632
    20
  val is_utf8_trailer: symbol -> bool
wenzelm@6116
    21
  val eof: symbol
wenzelm@6116
    22
  val is_eof: symbol -> bool
wenzelm@27766
    23
  val not_eof: symbol -> bool
wenzelm@27732
    24
  val stopper: symbol Scan.stopper
wenzelm@14678
    25
  val sync: symbol
wenzelm@14678
    26
  val is_sync: symbol -> bool
wenzelm@14678
    27
  val malformed: symbol
wenzelm@23676
    28
  val end_malformed: symbol
wenzelm@25641
    29
  val separate_chars: string -> string
wenzelm@23784
    30
  val is_regular: symbol -> bool
wenzelm@6116
    31
  val is_ascii: symbol -> bool
wenzelm@14678
    32
  val is_ascii_letter: symbol -> bool
wenzelm@14678
    33
  val is_ascii_digit: symbol -> bool
wenzelm@24580
    34
  val is_ascii_hex: symbol -> bool
wenzelm@14678
    35
  val is_ascii_quasi: symbol -> bool
wenzelm@14678
    36
  val is_ascii_blank: symbol -> bool
wenzelm@20200
    37
  val is_ascii_lower: symbol -> bool
wenzelm@20200
    38
  val is_ascii_upper: symbol -> bool
wenzelm@20200
    39
  val to_ascii_lower: symbol -> symbol
wenzelm@20200
    40
  val to_ascii_upper: symbol -> symbol
wenzelm@14834
    41
  val is_raw: symbol -> bool
wenzelm@14834
    42
  val decode_raw: symbol -> string
wenzelm@14977
    43
  val encode_raw: string -> string
wenzelm@14873
    44
  datatype sym = Char of string | Sym of string | Ctrl of string | Raw of string
wenzelm@14873
    45
  val decode: symbol -> sym
wenzelm@14678
    46
  datatype kind = Letter | Digit | Quasi | Blank | Other
wenzelm@14678
    47
  val kind: symbol -> kind
wenzelm@6116
    48
  val is_letter: symbol -> bool
wenzelm@6116
    49
  val is_digit: symbol -> bool
wenzelm@12904
    50
  val is_quasi: symbol -> bool
wenzelm@14678
    51
  val is_blank: symbol -> bool
wenzelm@6116
    52
  val is_quasi_letter: symbol -> bool
wenzelm@6116
    53
  val is_letdig: symbol -> bool
wenzelm@16138
    54
  val is_ident: symbol list -> bool
wenzelm@14728
    55
  val beginning: int -> symbol list -> string
wenzelm@14678
    56
  val scanner: string -> (string list -> 'a * string list) -> symbol list -> 'a
berghofe@13730
    57
  val scan_id: string list -> string * string list
wenzelm@27835
    58
  val source: {do_recover: bool} -> (string, 'a) Source.source ->
wenzelm@6116
    59
    (symbol, (string, 'a) Source.source) Source.source
wenzelm@6272
    60
  val explode: string -> symbol list
wenzelm@14977
    61
  val escape: string -> string
wenzelm@14678
    62
  val strip_blanks: string -> string
wenzelm@14678
    63
  val bump_init: string -> string
wenzelm@12904
    64
  val bump_string: string -> string
wenzelm@14678
    65
  val length: symbol list -> int
wenzelm@6692
    66
  val xsymbolsN: string
wenzelm@29324
    67
  val output: string -> output * int
wenzelm@6116
    68
end;
wenzelm@6116
    69
wenzelm@6116
    70
structure Symbol: SYMBOL =
wenzelm@6116
    71
struct
wenzelm@6116
    72
wenzelm@14678
    73
(** type symbol **)
wenzelm@6272
    74
wenzelm@14678
    75
(*Symbols, which are considered the smallest entities of any Isabelle
wenzelm@6272
    76
  string, may be of the following form:
wenzelm@14678
    77
wenzelm@14834
    78
    (1) ASCII symbols: a
wenzelm@17823
    79
    (2) regular symbols: \<ident>
wenzelm@14834
    80
    (3) control symbols: \<^ident>
wenzelm@14834
    81
    (4) raw control symbols: \<^raw:...>, where "..." may be any printable
wenzelm@20205
    82
        character (excluding ".", ">"), or \<^raw000>
wenzelm@6272
    83
wenzelm@14678
    84
  Output is subject to the print_mode variable (default: verbatim),
wenzelm@14678
    85
  actual interpretation in display is up to front-end tools.
wenzelm@6272
    86
*)
wenzelm@6272
    87
wenzelm@6272
    88
type symbol = string;
wenzelm@6272
    89
wenzelm@26524
    90
val SOH = chr 1;
wenzelm@26524
    91
val STX = chr 2;
wenzelm@26538
    92
val ENQ = chr 5;
wenzelm@26538
    93
val ACK = chr 6;
wenzelm@26524
    94
val DEL = chr 127;
wenzelm@26524
    95
wenzelm@26524
    96
val space = chr 32;
wenzelm@17063
    97
wenzelm@17063
    98
local
wenzelm@17063
    99
  val small_spaces = Vector.tabulate (65, fn i => Library.replicate_string i space);
wenzelm@17063
   100
in
wenzelm@17063
   101
  fun spaces k =
wenzelm@17063
   102
    if k < 64 then Vector.sub (small_spaces, k)
wenzelm@17063
   103
    else Library.replicate_string (k div 64) (Vector.sub (small_spaces, 64)) ^
wenzelm@17063
   104
      Vector.sub (small_spaces, k mod 64);
wenzelm@17063
   105
end;
wenzelm@14678
   106
wenzelm@14678
   107
fun is_char s = size s = 1;
wenzelm@14678
   108
wenzelm@14678
   109
fun is_symbolic s =
wenzelm@14678
   110
  String.isPrefix "\\<" s andalso not (String.isPrefix "\\<^" s);
wenzelm@14678
   111
wenzelm@14678
   112
fun is_printable s =
wenzelm@14678
   113
  if is_char s then ord space <= ord s andalso ord s <= ord "~"
wenzelm@14678
   114
  else not (String.isPrefix "\\<^" s);
wenzelm@6272
   115
wenzelm@26632
   116
fun is_utf8_trailer s = is_char s andalso 128 <= ord s andalso ord s < 192;
wenzelm@26632
   117
wenzelm@6272
   118
wenzelm@14678
   119
(* input source control *)
wenzelm@6272
   120
wenzelm@14678
   121
val eof = "";
wenzelm@6272
   122
fun is_eof s = s = eof;
wenzelm@6272
   123
fun not_eof s = s <> eof;
wenzelm@27732
   124
val stopper = Scan.stopper (K eof) is_eof;
wenzelm@6272
   125
wenzelm@14678
   126
val sync = "\\<^sync>";
wenzelm@14678
   127
fun is_sync s = s = sync;
wenzelm@14678
   128
wenzelm@23676
   129
val malformed = "[[";
wenzelm@23676
   130
val end_malformed = "]]";
wenzelm@25641
   131
wenzelm@25641
   132
val separate_chars = explode #> space_implode space;
wenzelm@25641
   133
fun malformed_msg s = "Malformed symbolic character: " ^ quote (separate_chars s);
wenzelm@23676
   134
wenzelm@23784
   135
fun is_regular s =
wenzelm@23784
   136
  not_eof s andalso s <> sync andalso s <> malformed andalso s <> end_malformed;
wenzelm@14678
   137
wenzelm@14678
   138
wenzelm@14678
   139
(* ascii symbols *)
wenzelm@14678
   140
wenzelm@14678
   141
fun is_ascii s = is_char s andalso ord s < 128;
wenzelm@14678
   142
wenzelm@14678
   143
fun is_ascii_letter s =
wenzelm@14678
   144
  is_char s andalso
wenzelm@14678
   145
   (ord "A" <= ord s andalso ord s <= ord "Z" orelse
wenzelm@14678
   146
    ord "a" <= ord s andalso ord s <= ord "z");
wenzelm@14678
   147
wenzelm@14678
   148
fun is_ascii_digit s =
wenzelm@14678
   149
  is_char s andalso ord "0" <= ord s andalso ord s <= ord "9";
wenzelm@14678
   150
wenzelm@24580
   151
fun is_ascii_hex s =
wenzelm@24580
   152
  is_char s andalso
wenzelm@24580
   153
   (ord "0" <= ord s andalso ord s <= ord "9" orelse
wenzelm@24580
   154
    ord "A" <= ord s andalso ord s <= ord "F" orelse
wenzelm@24580
   155
    ord "a" <= ord s andalso ord s <= ord "f");
wenzelm@24580
   156
wenzelm@14678
   157
fun is_ascii_quasi "_" = true
wenzelm@14678
   158
  | is_ascii_quasi "'" = true
wenzelm@14678
   159
  | is_ascii_quasi _ = false;
wenzelm@14678
   160
wenzelm@14678
   161
val is_ascii_blank =
wenzelm@24580
   162
  fn " " => true | "\t" => true | "\n" => true | "\^K" => true | "\^L" => true | "\^M" => true
wenzelm@14678
   163
    | _ => false;
wenzelm@14678
   164
wenzelm@20200
   165
fun is_ascii_lower s = is_char s andalso (ord "a" <= ord s andalso ord s <= ord "z");
wenzelm@20200
   166
fun is_ascii_upper s = is_char s andalso (ord "A" <= ord s andalso ord s <= ord "Z");
wenzelm@20200
   167
wenzelm@20200
   168
fun to_ascii_lower s = if is_ascii_upper s then chr (ord s + ord "a" - ord "A") else s;
wenzelm@20200
   169
fun to_ascii_upper s = if is_ascii_lower s then chr (ord s + ord "A" - ord "a") else s;
wenzelm@20200
   170
wenzelm@14678
   171
wenzelm@14956
   172
(* encode_raw *)
wenzelm@14956
   173
wenzelm@20205
   174
fun raw_chr c =
wenzelm@20205
   175
  ord space <= ord c andalso ord c <= ord "~" andalso c <> "." andalso c <> ">"
wenzelm@17823
   176
  orelse ord c >= 128;
wenzelm@14956
   177
wenzelm@29324
   178
fun encode_raw "" = ""
wenzelm@29324
   179
  | encode_raw str =
wenzelm@29324
   180
      let
wenzelm@29324
   181
        val raw0 = enclose "\\<^raw:" ">";
wenzelm@29324
   182
        val raw1 = raw0 o implode;
wenzelm@29324
   183
        val raw2 = enclose "\\<^raw" ">" o string_of_int o ord;
wenzelm@29324
   184
    
wenzelm@29324
   185
        fun encode cs = enc (Library.take_prefix raw_chr cs)
wenzelm@29324
   186
        and enc ([], []) = []
wenzelm@29324
   187
          | enc (cs, []) = [raw1 cs]
wenzelm@29324
   188
          | enc ([], d :: ds) = raw2 d :: encode ds
wenzelm@29324
   189
          | enc (cs, d :: ds) = raw1 cs :: raw2 d :: encode ds;
wenzelm@29324
   190
      in
wenzelm@29324
   191
        if exists_string (not o raw_chr) str then implode (encode (explode str))
wenzelm@29324
   192
        else raw0 str
wenzelm@29324
   193
      end;
wenzelm@14956
   194
wenzelm@14956
   195
wenzelm@14956
   196
(* diagnostics *)
wenzelm@14956
   197
wenzelm@14956
   198
fun beginning n cs =
wenzelm@14956
   199
  let
wenzelm@14956
   200
    val drop_blanks = #1 o Library.take_suffix is_ascii_blank;
wenzelm@14956
   201
    val all_cs = drop_blanks cs;
wenzelm@14956
   202
    val dots = if length all_cs > n then " ..." else "";
wenzelm@14956
   203
  in
wenzelm@14956
   204
    (drop_blanks (Library.take (n, all_cs))
wenzelm@14956
   205
      |> map (fn c => if is_ascii_blank c then space else c)
wenzelm@14956
   206
      |> implode) ^ dots
wenzelm@14956
   207
  end;
wenzelm@14956
   208
wenzelm@14956
   209
wenzelm@14956
   210
(* decode_raw *)
wenzelm@14834
   211
wenzelm@14834
   212
fun is_raw s =
wenzelm@17063
   213
  String.isPrefix "\\<^raw" s andalso String.isSuffix ">" s;
wenzelm@14834
   214
wenzelm@14834
   215
fun decode_raw s =
wenzelm@23676
   216
  if not (is_raw s) then error (malformed_msg s)
wenzelm@14834
   217
  else if String.isPrefix "\\<^raw:" s then String.substring (s, 7, size s - 8)
wenzelm@14834
   218
  else chr (#1 (Library.read_int (explode (String.substring (s, 6, size s - 7)))));
wenzelm@14834
   219
wenzelm@14834
   220
wenzelm@14873
   221
(* symbol variants *)
wenzelm@14873
   222
wenzelm@14873
   223
datatype sym = Char of string | Sym of string | Ctrl of string | Raw of string;
wenzelm@14873
   224
wenzelm@14873
   225
fun decode s =
wenzelm@14873
   226
  if is_char s then Char s
wenzelm@14873
   227
  else if is_raw s then Raw (decode_raw s)
wenzelm@14873
   228
  else if String.isPrefix "\\<^" s then Ctrl (String.substring (s, 3, size s - 4))
wenzelm@14873
   229
  else if String.isPrefix "\\<" s then Sym (String.substring (s, 2, size s - 3))
wenzelm@23676
   230
  else error (malformed_msg s);
wenzelm@14873
   231
wenzelm@14873
   232
wenzelm@14678
   233
(* standard symbol kinds *)
wenzelm@14678
   234
wenzelm@14678
   235
datatype kind = Letter | Digit | Quasi | Blank | Other;
wenzelm@6272
   236
skalberg@14171
   237
local
wenzelm@14678
   238
  val symbol_kinds = Symtab.make
wenzelm@14678
   239
   [("\\<A>", Letter),
wenzelm@14678
   240
    ("\\<B>", Letter),
wenzelm@14678
   241
    ("\\<C>", Letter),
wenzelm@14678
   242
    ("\\<D>", Letter),
wenzelm@14678
   243
    ("\\<E>", Letter),
wenzelm@14678
   244
    ("\\<F>", Letter),
wenzelm@14678
   245
    ("\\<G>", Letter),
wenzelm@14678
   246
    ("\\<H>", Letter),
wenzelm@14678
   247
    ("\\<I>", Letter),
wenzelm@14678
   248
    ("\\<J>", Letter),
wenzelm@14678
   249
    ("\\<K>", Letter),
wenzelm@14678
   250
    ("\\<L>", Letter),
wenzelm@14678
   251
    ("\\<M>", Letter),
wenzelm@14678
   252
    ("\\<N>", Letter),
wenzelm@14678
   253
    ("\\<O>", Letter),
wenzelm@14678
   254
    ("\\<P>", Letter),
wenzelm@14678
   255
    ("\\<Q>", Letter),
wenzelm@14678
   256
    ("\\<R>", Letter),
wenzelm@14678
   257
    ("\\<S>", Letter),
wenzelm@14678
   258
    ("\\<T>", Letter),
wenzelm@14678
   259
    ("\\<U>", Letter),
wenzelm@14678
   260
    ("\\<V>", Letter),
wenzelm@14678
   261
    ("\\<W>", Letter),
wenzelm@14678
   262
    ("\\<X>", Letter),
wenzelm@14678
   263
    ("\\<Y>", Letter),
wenzelm@14678
   264
    ("\\<Z>", Letter),
wenzelm@14678
   265
    ("\\<a>", Letter),
wenzelm@14678
   266
    ("\\<b>", Letter),
wenzelm@14678
   267
    ("\\<c>", Letter),
wenzelm@14678
   268
    ("\\<d>", Letter),
wenzelm@14678
   269
    ("\\<e>", Letter),
wenzelm@14678
   270
    ("\\<f>", Letter),
wenzelm@14678
   271
    ("\\<g>", Letter),
wenzelm@14678
   272
    ("\\<h>", Letter),
wenzelm@14678
   273
    ("\\<i>", Letter),
wenzelm@14678
   274
    ("\\<j>", Letter),
wenzelm@14678
   275
    ("\\<k>", Letter),
wenzelm@14678
   276
    ("\\<l>", Letter),
wenzelm@14678
   277
    ("\\<m>", Letter),
wenzelm@14678
   278
    ("\\<n>", Letter),
wenzelm@14678
   279
    ("\\<o>", Letter),
wenzelm@14678
   280
    ("\\<p>", Letter),
wenzelm@14678
   281
    ("\\<q>", Letter),
wenzelm@14678
   282
    ("\\<r>", Letter),
wenzelm@14678
   283
    ("\\<s>", Letter),
wenzelm@14678
   284
    ("\\<t>", Letter),
wenzelm@14678
   285
    ("\\<u>", Letter),
wenzelm@14678
   286
    ("\\<v>", Letter),
wenzelm@14678
   287
    ("\\<w>", Letter),
wenzelm@14678
   288
    ("\\<x>", Letter),
wenzelm@14678
   289
    ("\\<y>", Letter),
wenzelm@14678
   290
    ("\\<z>", Letter),
wenzelm@14678
   291
    ("\\<AA>", Letter),
wenzelm@14678
   292
    ("\\<BB>", Letter),
wenzelm@14678
   293
    ("\\<CC>", Letter),
wenzelm@14678
   294
    ("\\<DD>", Letter),
wenzelm@14678
   295
    ("\\<EE>", Letter),
wenzelm@14678
   296
    ("\\<FF>", Letter),
wenzelm@14678
   297
    ("\\<GG>", Letter),
wenzelm@14678
   298
    ("\\<HH>", Letter),
wenzelm@14678
   299
    ("\\<II>", Letter),
wenzelm@14678
   300
    ("\\<JJ>", Letter),
wenzelm@14678
   301
    ("\\<KK>", Letter),
wenzelm@14678
   302
    ("\\<LL>", Letter),
wenzelm@14678
   303
    ("\\<MM>", Letter),
wenzelm@14678
   304
    ("\\<NN>", Letter),
wenzelm@14678
   305
    ("\\<OO>", Letter),
wenzelm@14678
   306
    ("\\<PP>", Letter),
wenzelm@14678
   307
    ("\\<QQ>", Letter),
wenzelm@14678
   308
    ("\\<RR>", Letter),
wenzelm@14678
   309
    ("\\<SS>", Letter),
wenzelm@14678
   310
    ("\\<TT>", Letter),
wenzelm@14678
   311
    ("\\<UU>", Letter),
wenzelm@14678
   312
    ("\\<VV>", Letter),
wenzelm@14678
   313
    ("\\<WW>", Letter),
wenzelm@14678
   314
    ("\\<XX>", Letter),
wenzelm@14678
   315
    ("\\<YY>", Letter),
wenzelm@14678
   316
    ("\\<ZZ>", Letter),
wenzelm@14678
   317
    ("\\<aa>", Letter),
wenzelm@14678
   318
    ("\\<bb>", Letter),
wenzelm@14678
   319
    ("\\<cc>", Letter),
wenzelm@14678
   320
    ("\\<dd>", Letter),
wenzelm@14678
   321
    ("\\<ee>", Letter),
wenzelm@14678
   322
    ("\\<ff>", Letter),
wenzelm@14678
   323
    ("\\<gg>", Letter),
wenzelm@14678
   324
    ("\\<hh>", Letter),
wenzelm@14678
   325
    ("\\<ii>", Letter),
wenzelm@14678
   326
    ("\\<jj>", Letter),
wenzelm@14678
   327
    ("\\<kk>", Letter),
wenzelm@14678
   328
    ("\\<ll>", Letter),
wenzelm@14678
   329
    ("\\<mm>", Letter),
wenzelm@14678
   330
    ("\\<nn>", Letter),
wenzelm@14678
   331
    ("\\<oo>", Letter),
wenzelm@14678
   332
    ("\\<pp>", Letter),
wenzelm@14678
   333
    ("\\<qq>", Letter),
wenzelm@14678
   334
    ("\\<rr>", Letter),
wenzelm@14678
   335
    ("\\<ss>", Letter),
wenzelm@14678
   336
    ("\\<tt>", Letter),
wenzelm@14678
   337
    ("\\<uu>", Letter),
wenzelm@14678
   338
    ("\\<vv>", Letter),
wenzelm@14678
   339
    ("\\<ww>", Letter),
wenzelm@14678
   340
    ("\\<xx>", Letter),
wenzelm@14678
   341
    ("\\<yy>", Letter),
wenzelm@14678
   342
    ("\\<zz>", Letter),
wenzelm@14678
   343
    ("\\<alpha>", Letter),
wenzelm@14678
   344
    ("\\<beta>", Letter),
wenzelm@14678
   345
    ("\\<gamma>", Letter),
wenzelm@14678
   346
    ("\\<delta>", Letter),
wenzelm@14678
   347
    ("\\<epsilon>", Letter),
wenzelm@14678
   348
    ("\\<zeta>", Letter),
wenzelm@14678
   349
    ("\\<eta>", Letter),
wenzelm@14678
   350
    ("\\<theta>", Letter),
wenzelm@14678
   351
    ("\\<iota>", Letter),
wenzelm@14678
   352
    ("\\<kappa>", Letter),
wenzelm@14678
   353
    ("\\<lambda>", Other),      (*sic!*)
wenzelm@14678
   354
    ("\\<mu>", Letter),
wenzelm@14678
   355
    ("\\<nu>", Letter),
wenzelm@14678
   356
    ("\\<xi>", Letter),
wenzelm@14678
   357
    ("\\<pi>", Letter),
wenzelm@14678
   358
    ("\\<rho>", Letter),
wenzelm@14678
   359
    ("\\<sigma>", Letter),
wenzelm@14678
   360
    ("\\<tau>", Letter),
wenzelm@14678
   361
    ("\\<upsilon>", Letter),
wenzelm@14678
   362
    ("\\<phi>", Letter),
wenzelm@25521
   363
    ("\\<chi>", Letter),
wenzelm@14678
   364
    ("\\<psi>", Letter),
wenzelm@14678
   365
    ("\\<omega>", Letter),
wenzelm@14678
   366
    ("\\<Gamma>", Letter),
wenzelm@14678
   367
    ("\\<Delta>", Letter),
wenzelm@14678
   368
    ("\\<Theta>", Letter),
wenzelm@14678
   369
    ("\\<Lambda>", Letter),
wenzelm@14678
   370
    ("\\<Xi>", Letter),
wenzelm@14678
   371
    ("\\<Pi>", Letter),
wenzelm@14678
   372
    ("\\<Sigma>", Letter),
wenzelm@14678
   373
    ("\\<Upsilon>", Letter),
wenzelm@14678
   374
    ("\\<Phi>", Letter),
wenzelm@14678
   375
    ("\\<Psi>", Letter),
wenzelm@14678
   376
    ("\\<Omega>", Letter),
wenzelm@14961
   377
    ("\\<^isub>", Letter),
wenzelm@14961
   378
    ("\\<^isup>", Letter),
wenzelm@14678
   379
    ("\\<spacespace>", Blank)];
skalberg@14171
   380
in
wenzelm@14678
   381
  fun kind s =
wenzelm@14678
   382
    if is_ascii_letter s then Letter
wenzelm@14678
   383
    else if is_ascii_digit s then Digit
wenzelm@14678
   384
    else if is_ascii_quasi s then Quasi
wenzelm@14678
   385
    else if is_ascii_blank s then Blank
wenzelm@14678
   386
    else if is_char s then Other
wenzelm@18939
   387
    else the_default Other (Symtab.lookup symbol_kinds s);
wenzelm@14678
   388
end;
skalberg@14173
   389
wenzelm@14678
   390
fun is_letter s = kind s = Letter;
wenzelm@14678
   391
fun is_digit s = kind s = Digit;
wenzelm@14678
   392
fun is_quasi s = kind s = Quasi;
wenzelm@14678
   393
fun is_blank s = kind s = Blank;
wenzelm@6272
   394
wenzelm@14678
   395
fun is_quasi_letter s = let val k = kind s in k = Letter orelse k = Quasi end;
wenzelm@14678
   396
fun is_letdig s = let val k = kind s in k = Letter orelse k = Digit orelse k = Quasi end;
wenzelm@11010
   397
wenzelm@16138
   398
fun is_ident [] = false
wenzelm@16138
   399
  | is_ident (c :: cs) = is_letter c andalso forall is_letdig cs;
wenzelm@16138
   400
wenzelm@6272
   401
wenzelm@6272
   402
wenzelm@14678
   403
(** symbol input **)
wenzelm@14678
   404
wenzelm@14678
   405
(* scanning through symbols *)
wenzelm@6272
   406
wenzelm@6640
   407
fun scanner msg scan chs =
wenzelm@6640
   408
  let
skalberg@15531
   409
    fun message (cs, NONE) = msg ^ ": " ^ quote (beginning 10 cs)
skalberg@15531
   410
      | message (cs, SOME msg') = msg ^ ", " ^ msg' ^ ": " ^ quote (beginning 10 cs);
wenzelm@14961
   411
    val fin_scan = Scan.error (Scan.finite stopper (!! message scan));
wenzelm@6640
   412
  in
wenzelm@6640
   413
    (case fin_scan chs of
wenzelm@6640
   414
      (result, []) => result
skalberg@15531
   415
    | (_, rest) => error (message (rest, NONE)))
wenzelm@6640
   416
  end;
wenzelm@6640
   417
wenzelm@21858
   418
val scan_id = Scan.one is_letter ^^ (Scan.many is_letdig >> implode);
wenzelm@14678
   419
wenzelm@23676
   420
wenzelm@23676
   421
(* source *)
wenzelm@23676
   422
wenzelm@14678
   423
local
schirmer@14561
   424
wenzelm@23676
   425
fun is_plain s = s <> "\^M" andalso s <> "\\" andalso not_eof s;
wenzelm@23676
   426
wenzelm@14678
   427
val scan_encoded_newline =
wenzelm@17756
   428
  $$ "\^M" -- $$ "\n" >> K "\n" ||
wenzelm@17756
   429
  $$ "\^M" >> K "\n" ||
wenzelm@14956
   430
  $$ "\\" -- Scan.optional ($$ "\\") "" -- Scan.this_string "<^newline>" >> K "\n";
wenzelm@14956
   431
wenzelm@14956
   432
val scan_raw =
wenzelm@21858
   433
  Scan.this_string "raw:" ^^ (Scan.many raw_chr >> implode) ||
wenzelm@21858
   434
  Scan.this_string "raw" ^^ (Scan.many1 is_ascii_digit >> implode);
wenzelm@14678
   435
wenzelm@23676
   436
val scan =
wenzelm@23676
   437
  Scan.one is_plain ||
wenzelm@23676
   438
  scan_encoded_newline ||
wenzelm@23676
   439
  (($$ "\\" --| Scan.optional ($$ "\\") "") ^^ $$ "<" ^^
wenzelm@23676
   440
    !! (fn (cs, _) => malformed_msg (beginning 10 ("\\" :: "<" :: cs)))
wenzelm@23676
   441
      (($$ "^" ^^ (scan_raw || scan_id) || scan_id) ^^ $$ ">")) ||
wenzelm@23676
   442
  Scan.one not_eof;
wenzelm@23676
   443
wenzelm@27745
   444
val scan_resync =
wenzelm@27745
   445
  Scan.one is_ascii_blank || $$ "\"" || $$ "`" || $$ "\\" ||
wenzelm@27745
   446
  Scan.this_string "(*" || Scan.this_string "*)" ||
wenzelm@27745
   447
  Scan.this_string "{*" || Scan.this_string "*}";
wenzelm@27745
   448
wenzelm@23676
   449
val recover =
wenzelm@27903
   450
  (Scan.this (explode "\\\\<") || Scan.this (explode "\\<")) @@@
wenzelm@27745
   451
    Scan.repeat (Scan.unless scan_resync (Scan.one not_eof))
wenzelm@27745
   452
  >> (fn ss => malformed :: ss @ [end_malformed]);
wenzelm@23676
   453
wenzelm@14678
   454
in
wenzelm@6116
   455
wenzelm@27835
   456
fun source {do_recover} src =
wenzelm@23682
   457
  Source.source stopper (Scan.bulk scan)
wenzelm@23682
   458
    (if do_recover then SOME (false, K recover) else NONE) src;
wenzelm@6116
   459
wenzelm@14678
   460
end;
wenzelm@14678
   461
wenzelm@14562
   462
wenzelm@23676
   463
(* explode *)
wenzelm@6116
   464
wenzelm@23676
   465
local
wenzelm@6116
   466
wenzelm@14562
   467
fun no_explode [] = true
wenzelm@14562
   468
  | no_explode ("\\" :: "<" :: _) = false
wenzelm@17756
   469
  | no_explode ("\^M" :: _) = false
wenzelm@14562
   470
  | no_explode (_ :: cs) = no_explode cs;
wenzelm@6116
   471
wenzelm@23676
   472
in
wenzelm@23676
   473
wenzelm@6116
   474
fun sym_explode str =
wenzelm@6116
   475
  let val chs = explode str in
wenzelm@14562
   476
    if no_explode chs then chs
wenzelm@27835
   477
    else Source.exhaust (source {do_recover = false} (Source.of_list chs))
wenzelm@6116
   478
  end;
wenzelm@6116
   479
wenzelm@23676
   480
end;
wenzelm@14994
   481
wenzelm@6116
   482
wenzelm@14977
   483
(* escape *)
wenzelm@14977
   484
wenzelm@14977
   485
val escape = implode o map (fn s => if is_char s then s else "\\" ^ s) o sym_explode;
wenzelm@14977
   486
wenzelm@14977
   487
wenzelm@14678
   488
(* blanks *)
wenzelm@14678
   489
wenzelm@14678
   490
fun strip_blanks s =
wenzelm@14678
   491
  sym_explode s
wenzelm@14678
   492
  |> Library.take_prefix is_blank |> #2
wenzelm@14678
   493
  |> Library.take_suffix is_blank |> #1
wenzelm@14678
   494
  |> implode;
wenzelm@14678
   495
wenzelm@14678
   496
wenzelm@14678
   497
(* bump string -- treat as base 26 or base 1 numbers *)
wenzelm@14678
   498
wenzelm@15979
   499
fun symbolic_end (_ :: "\\<^isub>" :: _) = true
wenzelm@15979
   500
  | symbolic_end (_ :: "\\<^isup>" :: _) = true
wenzelm@14908
   501
  | symbolic_end (s :: _) = is_symbolic s
wenzelm@14908
   502
  | symbolic_end [] = false;
wenzelm@14678
   503
wenzelm@14678
   504
fun bump_init str =
wenzelm@14908
   505
  if symbolic_end (rev (sym_explode str)) then str ^ "'"
wenzelm@14678
   506
  else str ^ "a";
wenzelm@12904
   507
wenzelm@12904
   508
fun bump_string str =
wenzelm@12904
   509
  let
wenzelm@12904
   510
    fun bump [] = ["a"]
wenzelm@12904
   511
      | bump ("z" :: ss) = "a" :: bump ss
wenzelm@12904
   512
      | bump (s :: ss) =
wenzelm@14678
   513
          if is_char s andalso ord "a" <= ord s andalso ord s < ord "z"
wenzelm@12904
   514
          then chr (ord s + 1) :: ss
wenzelm@12904
   515
          else "a" :: s :: ss;
wenzelm@14678
   516
wenzelm@14678
   517
    val (ss, qs) = apfst rev (Library.take_suffix is_quasi (sym_explode str));
wenzelm@14908
   518
    val ss' = if symbolic_end ss then "'" :: ss else bump ss;
wenzelm@14678
   519
  in implode (rev ss' @ qs) end;
wenzelm@14678
   520
wenzelm@12904
   521
wenzelm@6272
   522
wenzelm@29324
   523
(** symbol output **)
wenzelm@14977
   524
wenzelm@29324
   525
(* length *)
wenzelm@6272
   526
wenzelm@14678
   527
fun sym_len s =
wenzelm@24593
   528
  if not (is_printable s) then (0: int)
wenzelm@14678
   529
  else if String.isPrefix "\\<long" s then 2
wenzelm@14678
   530
  else if String.isPrefix "\\<Long" s then 2
wenzelm@14678
   531
  else if s = "\\<spacespace>" then 2
wenzelm@14678
   532
  else 1;
wenzelm@14678
   533
wenzelm@19473
   534
fun sym_length ss = fold (fn s => fn n => sym_len s + n) ss 0;
wenzelm@14678
   535
wenzelm@29324
   536
wenzelm@29324
   537
(* print mode *)
wenzelm@29324
   538
wenzelm@29324
   539
val xsymbolsN = "xsymbols";
wenzelm@29324
   540
wenzelm@29324
   541
fun output s = (s, sym_length (sym_explode s));
wenzelm@29324
   542
wenzelm@29324
   543
wenzelm@6116
   544
(*final declarations of this structure!*)
wenzelm@29324
   545
val explode = sym_explode;
wenzelm@6272
   546
val length = sym_length;
wenzelm@6116
   547
wenzelm@6116
   548
end;