1*9616dacfSchristos /* $NetBSD: cdbr.c,v 1.2 2017/01/10 23:06:06 christos Exp $ */
2aceb2135Sjoerg /*-
3aceb2135Sjoerg * Copyright (c) 2010 The NetBSD Foundation, Inc.
4aceb2135Sjoerg * All rights reserved.
5aceb2135Sjoerg *
6aceb2135Sjoerg * This code is derived from software contributed to The NetBSD Foundation
7aceb2135Sjoerg * by Joerg Sonnenberger.
8aceb2135Sjoerg *
9aceb2135Sjoerg * Redistribution and use in source and binary forms, with or without
10aceb2135Sjoerg * modification, are permitted provided that the following conditions
11aceb2135Sjoerg * are met:
12aceb2135Sjoerg *
13aceb2135Sjoerg * 1. Redistributions of source code must retain the above copyright
14aceb2135Sjoerg * notice, this list of conditions and the following disclaimer.
15aceb2135Sjoerg * 2. Redistributions in binary form must reproduce the above copyright
16aceb2135Sjoerg * notice, this list of conditions and the following disclaimer in
17aceb2135Sjoerg * the documentation and/or other materials provided with the
18aceb2135Sjoerg * distribution.
19aceb2135Sjoerg *
20aceb2135Sjoerg * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
21aceb2135Sjoerg * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
22aceb2135Sjoerg * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
23aceb2135Sjoerg * FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE
24aceb2135Sjoerg * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
25aceb2135Sjoerg * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
26aceb2135Sjoerg * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
27aceb2135Sjoerg * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
28aceb2135Sjoerg * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
29aceb2135Sjoerg * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
30aceb2135Sjoerg * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
31aceb2135Sjoerg * SUCH DAMAGE.
32aceb2135Sjoerg */
33aceb2135Sjoerg
34aceb2135Sjoerg #if HAVE_NBTOOL_CONFIG_H
35aceb2135Sjoerg #include "nbtool_config.h"
36aceb2135Sjoerg #endif
37aceb2135Sjoerg
38aceb2135Sjoerg #include <sys/cdefs.h>
39*9616dacfSchristos __RCSID("$NetBSD: cdbr.c,v 1.2 2017/01/10 23:06:06 christos Exp $");
40aceb2135Sjoerg
41aceb2135Sjoerg #if !defined(_KERNEL) && !defined(_STANDALONE)
42aceb2135Sjoerg #include "namespace.h"
43aceb2135Sjoerg #endif
44aceb2135Sjoerg
45aceb2135Sjoerg #if !HAVE_NBTOOL_CONFIG_H
46aceb2135Sjoerg #include <sys/bitops.h>
47aceb2135Sjoerg #endif
48aceb2135Sjoerg #if !HAVE_NBTOOL_CONFIG_H || HAVE_SYS_ENDIAN_H
49aceb2135Sjoerg #include <sys/endian.h>
50aceb2135Sjoerg #endif
51aceb2135Sjoerg
52aceb2135Sjoerg #if defined(_KERNEL) || defined(_STANDALONE)
53aceb2135Sjoerg #include <sys/cdbr.h>
54aceb2135Sjoerg #include <sys/kmem.h>
55aceb2135Sjoerg #include <sys/systm.h>
56aceb2135Sjoerg #include <lib/libkern/libkern.h>
57aceb2135Sjoerg #define SET_ERRNO(val)
58aceb2135Sjoerg #define malloc(size) kmem_alloc(size, KM_SLEEP)
59aceb2135Sjoerg #define free(ptr) kmem_free(ptr, sizeof(struct cdbr))
60aceb2135Sjoerg #else
61aceb2135Sjoerg #include <sys/mman.h>
62aceb2135Sjoerg #include <sys/stat.h>
63aceb2135Sjoerg #include <cdbr.h>
64aceb2135Sjoerg #include <errno.h>
65aceb2135Sjoerg #include <fcntl.h>
66aceb2135Sjoerg #include <inttypes.h>
67aceb2135Sjoerg #include <limits.h>
68aceb2135Sjoerg #include <stdlib.h>
69aceb2135Sjoerg #include <string.h>
70aceb2135Sjoerg #include <unistd.h>
71aceb2135Sjoerg #define SET_ERRNO(val) errno = (val)
72aceb2135Sjoerg #endif
73aceb2135Sjoerg
74aceb2135Sjoerg #if !defined(_KERNEL) && !defined(_STANDALONE)
75aceb2135Sjoerg #ifdef __weak_alias
76aceb2135Sjoerg __weak_alias(cdbr_close,_cdbr_close)
77aceb2135Sjoerg __weak_alias(cdbr_find,_cdbr_find)
78aceb2135Sjoerg __weak_alias(cdbr_get,_cdbr_get)
79aceb2135Sjoerg __weak_alias(cdbr_open,_cdbr_open)
80aceb2135Sjoerg __weak_alias(cdbr_open_mem,_cdbr_open_mem)
81aceb2135Sjoerg #endif
82aceb2135Sjoerg #endif
83aceb2135Sjoerg
84aceb2135Sjoerg #if HAVE_NBTOOL_CONFIG_H
85aceb2135Sjoerg #define fast_divide32_prepare(d,m,s1,s2) (void)0
86aceb2135Sjoerg #define fast_remainder32(v,d,m,s1,s2) (v%d)
87aceb2135Sjoerg #endif
88aceb2135Sjoerg
89aceb2135Sjoerg struct cdbr {
90aceb2135Sjoerg void (*unmap)(void *, void *, size_t);
91aceb2135Sjoerg void *cookie;
92aceb2135Sjoerg uint8_t *mmap_base;
93aceb2135Sjoerg size_t mmap_size;
94aceb2135Sjoerg
95aceb2135Sjoerg uint8_t *hash_base;
96aceb2135Sjoerg uint8_t *offset_base;
97aceb2135Sjoerg uint8_t *data_base;
98aceb2135Sjoerg
99aceb2135Sjoerg uint32_t data_size;
100aceb2135Sjoerg uint32_t entries;
101aceb2135Sjoerg uint32_t entries_index;
102aceb2135Sjoerg uint32_t seed;
103aceb2135Sjoerg
104aceb2135Sjoerg uint8_t offset_size;
105aceb2135Sjoerg uint8_t index_size;
106aceb2135Sjoerg
107aceb2135Sjoerg uint32_t entries_m;
108aceb2135Sjoerg uint32_t entries_index_m;
109aceb2135Sjoerg uint8_t entries_s1, entries_s2;
110aceb2135Sjoerg uint8_t entries_index_s1, entries_index_s2;
111aceb2135Sjoerg };
112aceb2135Sjoerg
113aceb2135Sjoerg #if !defined(_KERNEL) && !defined(_STANDALONE)
114aceb2135Sjoerg static void
cdbr_unmap(void * cookie __unused,void * base,size_t size)115aceb2135Sjoerg cdbr_unmap(void *cookie __unused, void *base, size_t size)
116aceb2135Sjoerg {
117aceb2135Sjoerg munmap(base, size);
118aceb2135Sjoerg }
119aceb2135Sjoerg
120aceb2135Sjoerg /* ARGSUSED */
121aceb2135Sjoerg struct cdbr *
cdbr_open(const char * path,int flags)122aceb2135Sjoerg cdbr_open(const char *path, int flags)
123aceb2135Sjoerg {
124aceb2135Sjoerg void *base;
125aceb2135Sjoerg size_t size;
126aceb2135Sjoerg int fd;
127aceb2135Sjoerg struct cdbr *cdbr;
128aceb2135Sjoerg struct stat sb;
129aceb2135Sjoerg
130aceb2135Sjoerg if ((fd = open(path, O_RDONLY)) == -1)
131aceb2135Sjoerg return NULL;
132aceb2135Sjoerg if (fstat(fd, &sb) == -1) {
133aceb2135Sjoerg close(fd);
134aceb2135Sjoerg return NULL;
135aceb2135Sjoerg }
136aceb2135Sjoerg
137aceb2135Sjoerg if (sb.st_size >= SSIZE_MAX) {
138aceb2135Sjoerg close(fd);
139aceb2135Sjoerg SET_ERRNO(EINVAL);
140aceb2135Sjoerg return NULL;
141aceb2135Sjoerg }
142aceb2135Sjoerg
143aceb2135Sjoerg
144aceb2135Sjoerg size = (size_t)sb.st_size;
145aceb2135Sjoerg base = mmap(NULL, size, PROT_READ, MAP_FILE|MAP_SHARED, fd, 0);
146aceb2135Sjoerg close(fd);
147aceb2135Sjoerg
148aceb2135Sjoerg if (base == MAP_FAILED)
149aceb2135Sjoerg return NULL;
150aceb2135Sjoerg
151aceb2135Sjoerg cdbr = cdbr_open_mem(base, size, flags, cdbr_unmap, NULL);
152aceb2135Sjoerg if (cdbr == NULL)
153aceb2135Sjoerg munmap(base, size);
154aceb2135Sjoerg return cdbr;
155aceb2135Sjoerg }
156aceb2135Sjoerg #endif
157aceb2135Sjoerg
158aceb2135Sjoerg struct cdbr *
cdbr_open_mem(void * base,size_t size,int flags __unused,void (* unmap)(void *,void *,size_t),void * cookie)159*9616dacfSchristos cdbr_open_mem(void *base, size_t size, int flags __unused,
160aceb2135Sjoerg void (*unmap)(void *, void *, size_t), void *cookie)
161aceb2135Sjoerg {
162aceb2135Sjoerg struct cdbr *cdbr;
163aceb2135Sjoerg uint8_t *buf = base;
164aceb2135Sjoerg if (size < 40 || memcmp(buf, "NBCDB\n\0\001", 8)) {
165aceb2135Sjoerg SET_ERRNO(EINVAL);
166aceb2135Sjoerg return NULL;
167aceb2135Sjoerg }
168aceb2135Sjoerg
169aceb2135Sjoerg cdbr = malloc(sizeof(*cdbr));
170aceb2135Sjoerg cdbr->unmap = unmap;
171aceb2135Sjoerg cdbr->cookie = cookie;
172aceb2135Sjoerg
173aceb2135Sjoerg cdbr->data_size = le32dec(buf + 24);
174aceb2135Sjoerg cdbr->entries = le32dec(buf + 28);
175aceb2135Sjoerg cdbr->entries_index = le32dec(buf + 32);
176aceb2135Sjoerg cdbr->seed = le32dec(buf + 36);
177aceb2135Sjoerg
178aceb2135Sjoerg if (cdbr->data_size < 0x100)
179aceb2135Sjoerg cdbr->offset_size = 1;
180aceb2135Sjoerg else if (cdbr->data_size < 0x10000)
181aceb2135Sjoerg cdbr->offset_size = 2;
182aceb2135Sjoerg else
183aceb2135Sjoerg cdbr->offset_size = 4;
184aceb2135Sjoerg
185aceb2135Sjoerg if (cdbr->entries_index < 0x100)
186aceb2135Sjoerg cdbr->index_size = 1;
187aceb2135Sjoerg else if (cdbr->entries_index < 0x10000)
188aceb2135Sjoerg cdbr->index_size = 2;
189aceb2135Sjoerg else
190aceb2135Sjoerg cdbr->index_size = 4;
191aceb2135Sjoerg
192aceb2135Sjoerg cdbr->mmap_base = base;
193aceb2135Sjoerg cdbr->mmap_size = size;
194aceb2135Sjoerg
195aceb2135Sjoerg cdbr->hash_base = cdbr->mmap_base + 40;
196aceb2135Sjoerg cdbr->offset_base = cdbr->hash_base + cdbr->entries_index * cdbr->index_size;
197aceb2135Sjoerg if (cdbr->entries_index * cdbr->index_size % cdbr->offset_size)
198aceb2135Sjoerg cdbr->offset_base += cdbr->offset_size -
199aceb2135Sjoerg cdbr->entries_index * cdbr->index_size % cdbr->offset_size;
200aceb2135Sjoerg cdbr->data_base = cdbr->offset_base + (cdbr->entries + 1) * cdbr->offset_size;
201aceb2135Sjoerg
202aceb2135Sjoerg if (cdbr->hash_base < cdbr->mmap_base ||
203aceb2135Sjoerg cdbr->offset_base < cdbr->mmap_base ||
204aceb2135Sjoerg cdbr->data_base < cdbr->mmap_base ||
205aceb2135Sjoerg cdbr->data_base + cdbr->data_size < cdbr->mmap_base ||
206aceb2135Sjoerg cdbr->data_base + cdbr->data_size >
207aceb2135Sjoerg cdbr->mmap_base + cdbr->mmap_size) {
208aceb2135Sjoerg SET_ERRNO(EINVAL);
209aceb2135Sjoerg free(cdbr);
210aceb2135Sjoerg return NULL;
211aceb2135Sjoerg }
212aceb2135Sjoerg
213aceb2135Sjoerg if (cdbr->entries) {
214aceb2135Sjoerg fast_divide32_prepare(cdbr->entries, &cdbr->entries_m,
215aceb2135Sjoerg &cdbr->entries_s1, &cdbr->entries_s2);
216aceb2135Sjoerg }
217aceb2135Sjoerg if (cdbr->entries_index) {
218aceb2135Sjoerg fast_divide32_prepare(cdbr->entries_index,
219aceb2135Sjoerg &cdbr->entries_index_m,
220aceb2135Sjoerg &cdbr->entries_index_s1, &cdbr->entries_index_s2);
221aceb2135Sjoerg }
222aceb2135Sjoerg
223aceb2135Sjoerg return cdbr;
224aceb2135Sjoerg }
225aceb2135Sjoerg
226aceb2135Sjoerg static inline uint32_t
get_uintX(const uint8_t * addr,uint32_t idx,int size)227aceb2135Sjoerg get_uintX(const uint8_t *addr, uint32_t idx, int size)
228aceb2135Sjoerg {
229aceb2135Sjoerg addr += idx * size;
230aceb2135Sjoerg
231aceb2135Sjoerg if (size == 4)
232aceb2135Sjoerg return /* LINTED */le32toh(*(const uint32_t *)addr);
233aceb2135Sjoerg else if (size == 2)
234aceb2135Sjoerg return /* LINTED */le16toh(*(const uint16_t *)addr);
235aceb2135Sjoerg else
236aceb2135Sjoerg return *addr;
237aceb2135Sjoerg }
238aceb2135Sjoerg
239aceb2135Sjoerg uint32_t
cdbr_entries(struct cdbr * cdbr)240aceb2135Sjoerg cdbr_entries(struct cdbr *cdbr)
241aceb2135Sjoerg {
242aceb2135Sjoerg
243aceb2135Sjoerg return cdbr->entries;
244aceb2135Sjoerg }
245aceb2135Sjoerg
246aceb2135Sjoerg int
cdbr_get(struct cdbr * cdbr,uint32_t idx,const void ** data,size_t * data_len)247aceb2135Sjoerg cdbr_get(struct cdbr *cdbr, uint32_t idx, const void **data, size_t *data_len)
248aceb2135Sjoerg {
249aceb2135Sjoerg uint32_t start, end;
250aceb2135Sjoerg
251aceb2135Sjoerg if (idx >= cdbr->entries) {
252aceb2135Sjoerg SET_ERRNO(EINVAL);
253aceb2135Sjoerg return -1;
254aceb2135Sjoerg }
255aceb2135Sjoerg
256aceb2135Sjoerg start = get_uintX(cdbr->offset_base, idx, cdbr->offset_size);
257aceb2135Sjoerg end = get_uintX(cdbr->offset_base, idx + 1, cdbr->offset_size);
258aceb2135Sjoerg
259aceb2135Sjoerg if (start > end) {
260aceb2135Sjoerg SET_ERRNO(EIO);
261aceb2135Sjoerg return -1;
262aceb2135Sjoerg }
263aceb2135Sjoerg
264aceb2135Sjoerg if (end > cdbr->data_size) {
265aceb2135Sjoerg SET_ERRNO(EIO);
266aceb2135Sjoerg return -1;
267aceb2135Sjoerg }
268aceb2135Sjoerg
269aceb2135Sjoerg *data = cdbr->data_base + start;
270aceb2135Sjoerg *data_len = end - start;
271aceb2135Sjoerg
272aceb2135Sjoerg return 0;
273aceb2135Sjoerg }
274aceb2135Sjoerg
275aceb2135Sjoerg int
cdbr_find(struct cdbr * cdbr,const void * key,size_t key_len,const void ** data,size_t * data_len)276aceb2135Sjoerg cdbr_find(struct cdbr *cdbr, const void *key, size_t key_len,
277aceb2135Sjoerg const void **data, size_t *data_len)
278aceb2135Sjoerg {
279aceb2135Sjoerg uint32_t hashes[3], idx;
280aceb2135Sjoerg
281aceb2135Sjoerg if (cdbr->entries_index == 0) {
282aceb2135Sjoerg SET_ERRNO(EINVAL);
283aceb2135Sjoerg return -1;
284aceb2135Sjoerg }
285aceb2135Sjoerg
286aceb2135Sjoerg mi_vector_hash(key, key_len, cdbr->seed, hashes);
287aceb2135Sjoerg
288aceb2135Sjoerg hashes[0] = fast_remainder32(hashes[0], cdbr->entries_index,
289aceb2135Sjoerg cdbr->entries_index_m, cdbr->entries_index_s1,
290aceb2135Sjoerg cdbr->entries_index_s2);
291aceb2135Sjoerg hashes[1] = fast_remainder32(hashes[1], cdbr->entries_index,
292aceb2135Sjoerg cdbr->entries_index_m, cdbr->entries_index_s1,
293aceb2135Sjoerg cdbr->entries_index_s2);
294aceb2135Sjoerg hashes[2] = fast_remainder32(hashes[2], cdbr->entries_index,
295aceb2135Sjoerg cdbr->entries_index_m, cdbr->entries_index_s1,
296aceb2135Sjoerg cdbr->entries_index_s2);
297aceb2135Sjoerg
298aceb2135Sjoerg idx = get_uintX(cdbr->hash_base, hashes[0], cdbr->index_size);
299aceb2135Sjoerg idx += get_uintX(cdbr->hash_base, hashes[1], cdbr->index_size);
300aceb2135Sjoerg idx += get_uintX(cdbr->hash_base, hashes[2], cdbr->index_size);
301aceb2135Sjoerg
302aceb2135Sjoerg return cdbr_get(cdbr, fast_remainder32(idx, cdbr->entries,
303aceb2135Sjoerg cdbr->entries_m, cdbr->entries_s1, cdbr->entries_s2), data,
304aceb2135Sjoerg data_len);
305aceb2135Sjoerg }
306aceb2135Sjoerg
307aceb2135Sjoerg void
cdbr_close(struct cdbr * cdbr)308aceb2135Sjoerg cdbr_close(struct cdbr *cdbr)
309aceb2135Sjoerg {
310aceb2135Sjoerg if (cdbr->unmap)
311aceb2135Sjoerg (*cdbr->unmap)(cdbr->cookie, cdbr->mmap_base, cdbr->mmap_size);
312aceb2135Sjoerg free(cdbr);
313aceb2135Sjoerg }
314