Branch data Line data Source code
1 : : /** @file chert_values.h
2 : : * @brief ChertValueManager class
3 : : */
4 : : /* Copyright (C) 2008 Olly Betts
5 : : * Copyright (C) 2008 Lemur Consulting Ltd
6 : : *
7 : : * This program is free software; you can redistribute it and/or modify
8 : : * it under the terms of the GNU General Public License as published by
9 : : * the Free Software Foundation; either version 2 of the License, or
10 : : * (at your option) any later version.
11 : : *
12 : : * This program is distributed in the hope that it will be useful,
13 : : * but WITHOUT ANY WARRANTY; without even the implied warranty of
14 : : * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
15 : : * GNU General Public License for more details.
16 : : *
17 : : * You should have received a copy of the GNU General Public License
18 : : * along with this program; if not, write to the Free Software
19 : : * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA
20 : : */
21 : :
22 : : #ifndef XAPIAN_INCLUDED_CHERT_VALUES_H
23 : : #define XAPIAN_INCLUDED_CHERT_VALUES_H
24 : :
25 : : #include "pack.h"
26 : : #include "valuestats.h"
27 : :
28 : : #include "xapian/error.h"
29 : : #include "xapian/types.h"
30 : :
31 : : #include <map>
32 : : #include <string>
33 : :
34 : : /** Generate a key for a value stream chunk. */
35 : : inline std::string
36 : 2016914 : make_valuechunk_key(Xapian::valueno slot, Xapian::docid did)
37 : : {
38 : 2016914 : std::string key("\0\xd8", 2);
39 : 2016914 : pack_uint(key, slot);
40 : 2016914 : pack_uint_preserving_sort(key, did);
41 : 0 : return key;
42 : : }
43 : :
44 : : inline Xapian::docid
45 : 348930 : docid_from_key(Xapian::valueno required_slot, const std::string & key)
46 : : {
47 : 348930 : const char * p = key.data();
48 : 348930 : const char * end = p + key.length();
49 : : // Fail if not a value chunk key.
50 [ + + + - ]: 348930 : if (end - p < 2 || *p++ != '\0' || *p++ != '\xd8') return 0;
[ + + ][ + + ]
51 : : Xapian::valueno slot;
52 [ - + ]: 345235 : if (!unpack_uint(&p, end, &slot))
53 : 0 : throw Xapian::DatabaseCorruptError("bad value key");
54 : : // Fail if for a different slot.
55 [ + + ]: 345235 : if (slot != required_slot) return 0;
56 : : Xapian::docid did;
57 [ - + ]: 15155 : if (!unpack_uint_preserving_sort(&p, end, &did))
58 : 0 : throw Xapian::DatabaseCorruptError("bad value key");
59 : 348930 : return did;
60 : : }
61 : :
62 : : namespace Xapian {
63 : : class Document;
64 : : }
65 : :
66 : : class ChertPostListTable;
67 : : class ChertTermListTable;
68 : : struct ValueStats;
69 : :
70 : 2289 : class ChertValueManager {
71 : : /** The value number for the most recently used value statistics.
72 : : *
73 : : * Set to Xapian::BAD_VALUENO if no value statistics are currently
74 : : * cached.
75 : : */
76 : : mutable Xapian::valueno mru_valno;
77 : :
78 : : /** The most recently used value statistics. */
79 : : mutable ValueStats mru_valstats;
80 : :
81 : : ChertPostListTable * postlist_table;
82 : :
83 : : ChertTermListTable * termlist_table;
84 : :
85 : : std::map<Xapian::docid, std::string> slots;
86 : :
87 : : std::map<Xapian::valueno, std::map<Xapian::docid, std::string> > changes;
88 : :
89 : : void add_value(Xapian::docid did, Xapian::valueno slot,
90 : : const std::string & val);
91 : :
92 : : void remove_value(Xapian::docid did, Xapian::valueno slot);
93 : :
94 : : Xapian::docid get_chunk_containing_did(Xapian::valueno slot,
95 : : Xapian::docid did,
96 : : std::string &chunk) const;
97 : :
98 : : /** Get the statistics for value slot @a slot. */
99 : : void get_value_stats(Xapian::valueno slot) const;
100 : :
101 : : void get_value_stats(Xapian::valueno slot, ValueStats & stats) const;
102 : :
103 : : public:
104 : : /** Create a new ChertValueManager object. */
105 : 2289 : ChertValueManager(ChertPostListTable * postlist_table_,
106 : : ChertTermListTable * termlist_table_)
107 : : : mru_valno(Xapian::BAD_VALUENO),
108 : : postlist_table(postlist_table_),
109 : 2289 : termlist_table(termlist_table_) { }
110 : :
111 : : // Merge in batched-up changes.
112 : : void merge_changes();
113 : :
114 : : void add_document(Xapian::docid did, const Xapian::Document &doc,
115 : : std::map<Xapian::valueno, ValueStats> & value_stats);
116 : :
117 : : void delete_document(Xapian::docid did,
118 : : std::map<Xapian::valueno, ValueStats> & value_stats);
119 : :
120 : : void replace_document(Xapian::docid did, const Xapian::Document &doc,
121 : : std::map<Xapian::valueno, ValueStats> & value_stats);
122 : :
123 : : std::string get_value(Xapian::docid did, Xapian::valueno slot) const;
124 : :
125 : : void get_all_values(std::map<Xapian::valueno, std::string> & values,
126 : : Xapian::docid did) const;
127 : :
128 : 192 : Xapian::doccount get_value_freq(Xapian::valueno slot) const {
129 [ + + ]: 192 : if (mru_valno != slot) get_value_stats(slot);
130 : 192 : return mru_valstats.freq;
131 : : }
132 : :
133 : 1048 : std::string get_value_lower_bound(Xapian::valueno slot) const {
134 [ + + ]: 1048 : if (mru_valno != slot) get_value_stats(slot);
135 : 1048 : return mru_valstats.lower_bound;
136 : : }
137 : :
138 : 975 : std::string get_value_upper_bound(Xapian::valueno slot) const {
139 [ + + ]: 975 : if (mru_valno != slot) get_value_stats(slot);
140 : 975 : return mru_valstats.upper_bound;
141 : : }
142 : :
143 : : /** Write the updated statistics to the table.
144 : : *
145 : : * If the @a freq member of the statistics for a particular slot is 0, the
146 : : * statistics for that slot will be cleared.
147 : : *
148 : : * @param value_stats The statistics to set.
149 : : */
150 : : void set_value_stats(std::map<Xapian::valueno, ValueStats> & value_stats);
151 : :
152 : 1979 : void reset() {
153 : : /// Ignore any old cached valuestats.
154 : 1979 : mru_valno = Xapian::BAD_VALUENO;
155 : 1979 : }
156 : :
157 : 728 : bool is_modified() const {
158 : 728 : return !changes.empty();
159 : : }
160 : :
161 : 152 : void cancel() {
162 : : // Discard batched-up changes.
163 : 152 : slots.clear();
164 : 152 : changes.clear();
165 : 152 : }
166 : : };
167 : :
168 : 1835912 : class ValueChunkReader {
169 : : const char *p;
170 : : const char *end;
171 : :
172 : : Xapian::docid did;
173 : :
174 : : std::string value;
175 : :
176 : : public:
177 : : /// Create a ValueChunkReader which is already at_end().
178 : 168851 : ValueChunkReader() : p(NULL) { }
179 : :
180 : 1667061 : ValueChunkReader(const char * p_, size_t len, Xapian::docid did_) {
181 : 1667061 : assign(p_, len, did_);
182 : 1667061 : }
183 : :
184 : : void assign(const char * p_, size_t len, Xapian::docid did_);
185 : :
186 : 2564918 : bool at_end() const { return p == NULL; }
187 : :
188 : 1783190 : Xapian::docid get_docid() const { return did; }
189 : :
190 : 1752822 : const std::string & get_value() const { return value; }
191 : :
192 : : void next();
193 : :
194 : : void skip_to(Xapian::docid target);
195 : : };
196 : :
197 : : #endif // XAPIAN_INCLUDED_CHERT_VALUES_H
|
