Хотелось бы узнать - есть ли в природе такой зверь? Мне помнится, Вы писали о том, что корректировали ту базу, которую выложили на сайте.
Просто есть желание объединять несколько баз в одну.
Если готовой полнофункциональной утилиты нет, то, возможно, Вы могли бы дать описание формата базы? Чтобы можно было написать что-то свое для моей задачи.
Заранее благодарен!
Базу я корректировал просто - заранее отобрал те письма, на которых она была создана. Что же касается "слияния" - то в однозначном варианте этого сделать невозможно: фильтр отслеживает уникальность каждого из писем, но не отслеживает принадлежность того или иного токена к конкретному письму. Поэтому, если окажется, что одно и то же письмо было включено в две базы, то слить их корректно уже не удастся.
Формат словаря прост: в начале сигнатура - 0x19780701 (мой день рождения, однако), затем DWORD число писем, DWORD число уникальных слов, DWORD общее число слов. После этого идёт массив токенов: 1 байт длина, затем токен с указанной длиной, затем DWORD частота. И так для каждого из токенов.
Второй файл - *.LST в начале имеет сигнатуру "MSID", затем список - 1 байт длина, затем MSGID письма в ASCII-формате, затем DWORD-значение (в базе не используется). Так для каждого письма.
Третий файл - *.idx содержит b-дерево по *.lst. Его хранить не обязательно, т.к. в случае отсутствия он будет автоматически создан по *.lst.