Geo infomatie bronnen (op internet)

[quote] het gebruikmaken van het vrij te geven NWB bestand niet mogelijk.
http://www.foondump.nl/forum/viewtopic.php?p=3120#3120]… gegeven de doorontwikkeling van het bestand van Falkplan Andes [is
[/quote]
Het rammelde toen weliswaar nog maar je kon al eerder
http://www.foondump.nl/forum/viewtopic.php?p=3044#3044
een kijkje in de keuken van Falkplan nemen, korte inhoud van het voorafgaande:

Het Nederlandse telefoonboek op CD-rom, de “CD-foongids”, komt met een routeplanner op basis van software van Falkplan-Andes, de zogeheten “TravelmanagerComponents” (TMC). Die software vormt bijvoorbeeld ook de basis voor de ANWB-online-routeplanner, die kennelijk tevens door Falkplan gehost
http://webstaging.falkplanandes.nl:8080/rp3
wordt.

Gebleken is dat TMC ook voor eigen software ingezet kan worden. Met behulp van twee specifieke functies van TMC kunnen meegeleverde gegevens voor de routeplanner min of meer systematisch opgeroepen worden:

1 Function FindChains(coordinate, radius As Long) 2 Function GetChainInfo(ChainId As Long) As IChainInfo
“Tmc2csv” is inmiddels de sobere naam van een ‘testbed’ voor experimenten met het opvragen van die gegevens. Het legt een raster over Nederland in blokken van 10 bij 10 km zodat de hoeveelheid onderhanden data tijdens het opvragen beheersbaar blijft. Er bestaat een efficiente verdeling van “kaartbladen” maar omwille van de eenvoud is dit recht-toe-recht-aan raster aangehouden. Ongeveer de helft van de blokken zal leeg blijven:

      http://img178.imageshack.us/img178/1451/600gridts3.gif][img]http://img178.imageshack.us/img178/1451/600gridts3.th.gif[/img
Opeenvolgende blokken worden eerst grof om de 100 mtr gescand, begin- en eind- punten van gevonden (delen van) wegen en straten zet het opzij om vanaf die knooppunten (nodes) te zoeken naar nog meer wegen en straten (polylines).

Elk gevonden lijndeel wordt bepaald door twee of meer punten, TMC geeft van elk punt de RD coordinaten en van elk lijndeel een nummer (‘chainid’) en doorgaans de straatnaam, deze en het rijtje xy-coordinaten worden door het programmaatje overgenomen en als een enkele regel weggeschreven naar een separaat voor ieder rasterblok geopend CSV-bestand, daarbij alvast toewerkend naar het zgn. WKT-formaat voor een polyline:

 LINESTRING(x1 y1,x2 y2, .. ..)

De daarin opgenomen functie ‘FindChains’ geef je de coordinaten van een punt van waaruit je wil laten zoeken en een “zoekstraal”, waarmee de actieradius en daarmee ook de tijd die het opvragen kost beinvloed kan worden. De resolutie is 1 meter en FindChains retourneert - als het wat kan vinden in de gegeven omtrek - tegen de verwachting in steeds maar één ‘ChaindID’, de dichtstbijzijnde.

In het netwerk van TMC zoekend geeft ‘FindChains’ vaak genoeg eerder gevonden wegdelen terug in plaats van dat net iets verder gelegen lijndeel dat nog niet bekend is. Een en ander maakt dat er in de praktijk tenminste 20 zoekacties nodig zijn om bijvoorbeeld bij een kruising alle betrokken elementen goed in beeld te krijgen. Vooral scherp “aantakkende” opritten van autowegen blijken wel eens gemist te worden als je het aantal ‘lookupvectors’ voor FindChains-aanroepen probeert te reduceren. Tijdens het uitproberen was het handig om de te tekenen kaart ook te voorzien van dit debug-schema om voor een lastige kruising te checken welk segment aan welk “rondje” bleef kleven:

      http://img384.imageshack.us/img384/4329/1100luwq0.gif][img]http://img384.imageshack.us/img384/4329/1100luwq0.th.gif[/img
De gekozen "parameters", een blokgrootte van 10000 meter, initiële scan om de 100 mtr en consequent twintig keer zoeken met een straal van 1 mtr, zijn om te beginnen getest in een export van blok 1248 dat een groot deel van Amsterdam bevat en daarna vergeleken met oa. de betreffende lijst straatnamen uit het postcodeboek, de kaart die Falkplan zelf maakt van deze gegevens en de kaart van het Nationaal Wegenbestand.

Genoemd “rasterblok”, 1248, leverde in eerste instantie binnen een kwartier ruim 20000 weg- en straatdelen. De vergelijking met andere kaarten liet zien dat dit al een zeer complete export betrof. Tijd voor een volledige scan van de TMC-data op de Telefoongids-CD. Dit leverde meer dan 1.500.000 segmenten en over de 4.200.000 knooppunten (nodes). Ter controle is de routine vervolgens gevoed met lijsten coordinaten, zoals die uit de tabel “geo_postalcoords”, eveneens afkomstig van de genoemde CD-foongids, “topopc” van de NS Reisplanner en het in het ‘public domain’ geplaatste “AND Nederland”, om te verifieren of de huidige opzet eventueel nog iets over het hoofd zag. Daaruit voortvloeiende aanpassingen leverden minimale extra aantallen segmenten op:

bron scan overnemen and_tmc 898239 23 geo_tmc 342237 3 key 1950 key_be 7 key_de 190 key_tmc 13 tmc2csv-1 1569628 4 tmc2csv-2 1570464 tmc2csv-3 1570498 1570498 vwg 1492181 vwg_be 3 vwg_de 38 vwg_tmc 11
Te zien is dat het verhogen van de resolutie (van 100 naar 50m) en het lenen van punten van andere bestanden niet veel meer opleverde, teken dat het verzadigingspunt wel bereikt is, maw. er komt nu een min of meer compleet bestand uit, misschien niet “De Moeder Van Alle Kaarten” maar dan wel haar oudste ongetrouwde zuster. Omdat het hier om vectordata gaat kan je oneindig blijven inzoomen, bijvoorbeeld naar het oude middelpunt (de “oorsprong”) van het Rijksdriehoekstelsel in het centrum van Amersfoort:

      http://img178.imageshack.us/img178/1719/100griduh2.gif][img]http://img178.imageshack.us/img178/1719/100griduh2.th.gif[/img] __[url=http://img178.imageshack.us/img178/3235/400lw6.gif][img]http://img178.imageshack.us/img178/3235/400lw6.th.gif[/img[/url]
De "key"-regels kwamen voort uit het rechtsteeks zoeken tussen de reeds gevonden "chainid's", aan het kleine plukje dat destijds uit het testje met Rotterdam kwam was niets te zien, na een complete "run" heb je opeens veel meer van die chainid's en dan komt er een regelmatig patroon uit dat zo gaat: [code]cid6 nmin nmax ncnt ndif 107376 8450 9333 57 883 107383 3984 4869 61 885 107389 9522 9967 37 445 107390 4 391 19 387 107396 5056 5941 64 885 107403 592 1477 68 885 107409 6137 7013 58 876 107416 1666 2556 59 890 107422 7230 8092 59 862 107429 2738 3607 51 869 107435 8274 9143 50 869 107442 3808 4693 57 885 107448 9346 9996 40 650 107449 11 171 6 160 107455 4882 5707 60 825 107462 418 1287 56 869 107468 5952 6779 59 827 107475 1490 2359 53 869[/code] Het moet een hash zijn van rdx en rdy, en al is niet onmiddellijk te zien hoe die samengesteld wordt, het idee was om te proberen er systematisch door heen te lopen. Dan was je af van dat zoeken met "findchains". Liep op niets uit, onder andere omdat de "TMC"-dll een geheugenprobleem veroorzaakt als hem alsmaar naar nietbestaande chain-id's gevraagd wordt. Als troostprijs kon je hem nog wel de "sleutelruimte" rondom de al verworven chains laten afzoeken. Dit was de indeling die daarbij gehanteerd werd: [code]key6 mod13 cid6 nmin nmax ncnt 134225 2 134227 1 335 212 134238 2 134240 512 1407 554 134251 2 134253 1584 2476 568 134264 2 134266 2656 3550 570 134277 2 134279 3728 4621 562 134290 2 134292 4800 5695 556[/code] Bijvoorbeeld, voor chainid's tussen 1342270000 en 1342279999 is de ruimte 212 keer gebruikt, als je daartussen en daaromheen blindweg verder zoekt krijg je nog: [code]1342270336 (met een lege straatnaam)[/code] En verderop ook nog: [code]cel cid stn 2856 1342401282 S1342401282 2255 1342401408 Rozenstraat ... 2856 1342532354 B70 ... 2856 1342663426 S1342663426 ... 2255 1342925696 Eekhoutswijk[/code] Dat leverde een extra 1950 regels op die er eerder door gewoon via de interface te zoeken nog niet uitgekomen waren. Een deel van de 1950 "key"-regels zit in Duitsland en Belgie, de rest lijkt een watermerk te zijn rond het TT-circuit bij Assen, 1267 regels die ook in de reguliere export zitten, zelfde data, alleen de chainid is steeds met eentje opgehoogd: [code]1348037383 ;A31;2;276157 521618,276172 521406 1348037384 ;A31;2;276157 521618,276172 521406[/code] Als je er een kaartje van maakt met die tweede set in een andere kleur dan is het een rechthoek die door de kaart heen schemert, net een echt watermerk:
      http://img384.imageshack.us/img384/9827/900wmks2.gif][img]http://img384.imageshack.us/img384/9827/900wmks2.th.gif[/img
Door gewoon te zoeken vindt je ze niet, met gericht zoeken op zo'n extra 'chainid' vindt je ze ook niet, alleen door brute force te zoeken rondom die bewuste keys komen die regels eruit, wat met veel protest van de DLL gepaard gaat.

Mogelijk moeten die schaduw-elementen iemand, die de database zelf rechtstreeks wil ‘reengineren’ op het verkeerde been zetten en mogelijk is het ook een indicatie dat niemand gerekend heeft op een toegang door de keukendeur?

Aanduiding “vwg” is “veegwagen”, er bleef een klein aantal opritten met scherpe hoeken over die niet in de zeef wilden blijven hangen maar vanwege de correlatie met AND-NL was bekend dat ze er waren.

Om te zien of het daarbij bleef of niet is er voor de zekerheid nog eens op een andere manier doorheen gelopen: door alles wat de laatste ronde met tmc2csv aan lijnstukken opleverde aan beide einden 6 en 11 meter te verlengen en die resulterende vooruitgeschoven punten met straal 5 en 10 meter af laten zoeken.

De “TMC”-data-export kan je ook in kaartvorm met andere bronnen vergelijken, bijvoorbeeld met één van de blokken uit “TOP25tomove” van het TDK, links opnieuw Amersfoort:

      foto http://img21.imageshack.us/img21/3140/500top25.gif][img]http://img21.imageshack.us/img21/3140/500top25.th.gif[/img] __[url=http://img384.imageshack.us/img384/2897/700nwbiu4.gif][img]http://img384.imageshack.us/img384/2897/700nwbiu4.th.gif[/img][/url]
Rechts een uitsnede van de kaart ten oosten van Doesburg bovenop idem hetzelfde deel van het NWB. Daarin zie je - Falkplan grijs, stippellijn, NWB rood - een rotonde die samen met de aansluitende weggedeelten om wat voor reden dan ook verkleind tov. de werkelijke situatie in de kaart van Falkplan is opgenomen. Falkplan heeft juist voor zo'n vreemd detail een handige [url=http://webstaging.falkplanandes.nl:8080/gmaps]pagina[/url] op het web staan waar je hun kaart over die van de concurrent heen kan laten schemeren, en/of over de [url=http://maps.google.com/maps?hl=nl&ie=UTF8&ll=52.010471,6.149919&spn=0.005792,0.013175&t=k&z=17[/url] van diezelfde plek in Google Maps.

Goede Tijden, Slechte Tijden:

Aanwezigen: mr. D.B.G. van Duren Ministerie van VenW, voorzitter mr. T. Ponte Ministerie van VenW, lid commissie mr. J.M. Weststeijn Ministerie van VenW, lid commissie mr. H.J. P. van Douwe Ministerie van VenW, toehoorder ir. H. Nobbe Ministerie van VenW, toehoorder mevrouw M.K.A. Kanhai verslaglegging namens Ministerie van VenW mr. W. Pors advocaat Bird & Bird, namens Koninklijke TNT Post B.V. en Cendris Dataconsulting B.V. mevrouw mr. E. Dornseiffen Koninklijke TNT Post B.V. mr. C.W.D. Bom Koninklijke TNT Post B.V. P. Bezuijen manager projects, Cendris Dataconsulting B.V. mr. E.H. Pijnacker Hordijk advocaat De Brauw, Blackstone, Westbroek, namens Falkplan Andes B.V. mr. drs. S.F.M. Vollering advocaat De Brauw, Blackstone, Westbroek, namens Falkplan Andes B.V. mevrouw S. Francisco stagiaire De Brauw, Blackstone, Westbroek, namens Falkplan Andes B.V. R. Bieling Directeur Falkplan Andes B.V. P. Nientker Directeur Falkplan Andes B.V. A. Douma adviseur Falkplan Andes B.V. ir. J. ten Siethof Stichting Bedrijvenplatform Geo-informatie mevrouw Y. Pluimers Stichting Bedrijvenplatform Geo-informatie L. Quoidbach NAVTEQ NV/SA
Een brief
http://static.ikregeer.nl/pdf/BLG15750.pdf
van minister van Verkeer en Waterstaat Eurlings d.d. 14 mei 2008 aan advocatenkantoor Bird en Bird en advocatenkantoor De Brauw, Blackstone, Westbroek, respectievelijk de advocaten van TNT en Cendris en van Falkplan-Andes BV. “Aangehecht” aan de brief zit het verslag van de hoorzitting gehouden op maandag 15 oktober 2007 om 10.30 uur op het Ministerie van Verkeer en Waterstaat, met daarin vooraan deze presentielijst.

In de brief staat de beslissing op de bezwaarschriften van deze bedrijven naar aanleiding van de voorgenomen vrijgave van het Nationaal Wegenbestand (NWB), eerst nog een keer een opsomming van de bezwaren van Falkplan-Andes, voorop staat:

Verkeer en Waterstaat vervolgens, in de paragraaf “Heroverweging”:

En:

[quote]Over de (meer)waarde van NWB spreekt Falkplan-Andes niet zeer consistent. Enerzijds zegt zij zelf dat haar data van (veel) hogere kwaliteit zijn, anderzijds betwist zij de bevindingen in primo en van PWC (=PriceWaterhouseCoopers, heeft aanvullend onderzoek gedaan naar omvang schade marktpartijen, WM) dat NWB een kaal bestand is.

Wat daarvan ook zij, het NWB is een zeer kaal bestand dat bijvoorbeeld geen zogeheten points of interest weergeeft. Concurrenten, ook zij die geen navigatiesoftware of –kaarten willen leveren maar upstream werkzaam zijn, zullen dergelijke points of interest moeten toevoegen en daarvoor de initiële nvesteringen moeten maken die Falkplan-Andes reeds gemaakt heeft voordat Falkplan-Andes klanten kan verliezen.

Deze concurrenten zullen dergelijke points of interest niet, zoals Falkplan-Andes lijkt te willen suggereren, kunnen putten uit andere voor hergebruik beschikbaar te stellen databestanden, aangezien de overheid dergelijke bestanden niet heeft.[/quote]
Als eerder in dit forum gemeld, dit was de beslissing zelf:

[quote]Op grond van hetgeen hiervoor onder 5. is overwogen, worden de bezwaren van Falkplan-Andes gehonoreerd, voorzover berustend op de door haar in de bezwaarfase ingediende cijfers, waarover de minister zich niet binnen redelijke termijn een gefundeerd oordeel kan vormen.

Gelet hierop zal in overleg met Falkplan-Andes nader onderzoek worden verricht overeenkomstig de door PWC geadviseerde aanpak.

Hergebruik wordt dan ook vooralsnog niet toegestaan.[/quote]
Uit het verslag van de hoorzitting:

Is dat wel zo:

Heel slim:

Dan is Falkplan-Andes aan de beurt:

[quote]De voorzitter vraagt de heer Bieling specifieker in te gaan op de te verwachte schade.

De heer Bieling reageert door te stellen dat het onduidelijke overheidsbeleid - dat met de dag verandert, denk aan maatregelen met effect op de huizenmarkt - het niet goed mogelijk is om nader aan te geven wat de te verwachten schade is.

De heer Nientker geeft aan dat de werkelijke schade veel groter is dan we ons kunnen voorstellen. Afgezien van de moeilijk vast te stellen omzetdaling kosten de vijf man personeel die buiten lopen veel geld.

De heer Pijnacker Hordijk benadrukt dat er nu géén schadevergoeding gevorderd wordt, hij vraagt alleen het besluit te herzien c.q. in te trekken. Mocht dit onverhoopt niet gebeuren dan zal Falkplan-Andes BV zich genoodzaakt zien de civiele rechter in te schakelen; dit zou kunnen leiden tot een claim van tientallen miljoenen.[/quote]
Een van de advocaten van hetzelfde Bird & Bird vertegenwoordigde destijds bijvoorbeeld ook De Telefoongids bv toen dat bedrijf een “handhavingsverzoek” bij OPTA indiende waarin werd gevraagd op te treden tegen “aanbieders van zogenaamde omgekeerde zoekdiensten”.

Waarschijnlijk is het ook één groot netwerk, alleen staan deze krijtstrepen nu een keer verdeeld in twee kampen tegenover elkaar, (geo-)dataleveranciers, de “marktpartijen” en Verkeer en Waterstaat, de overheid. Dat is dus wel eens anders geweest, al deze bedrijven, TNT, Cendris, de Andes-helft van Falkplan-Andes en De Telefoongids BV zijn immers voortgekomen uit of in het bezit geweest van voorheen de PTT, toen nog een staatsbedrijf. Degenen die daar werkten waren ambtenaren, met als hoogste baas de minister van Verkeer en Waterstaat, en dan is de cirkel rond.

En de databases met gegevens die zij verhandelen? Daarvoor is al een keer betaald door de belastingbetalers? Kan zijn, maar ‘derivaten’ als telefoonnummers en de postcode, waar van overheidswege trouwens nog steeds geld bijgelegd wordt en eigenlijk alleen maar bijproducten van andere dienstverleners, vormen tegenwoordig ‘assets’ die veel geld in het laatje van “partijen” brengen, net zoals waardeloos slib afkomstig van papierfabrieken goed verkocht wordt als kattenbakkorrels.

In ieder geval zitten “… de vijf man personeel die buiten lopen” niet stil. Het contract van De Telefoongids met Falkplan-Andes voorziet kennelijk in levering van bijgewerkte geodata voor de opeenvolgende kwartaaluitgaven van De Telefoongids Professioneel, als zodanig wel een voorwaarde voor kwaliteit.

De “TravelManager”-data op deze CD’s voor het tweede en derde kwartaal met elkaar vergeleken:

2008-2: 1570790 2008-3: 1577302
Er zijn er voor het 3e kwartaal 6512 wegsegmenten aan de database toegevoegd.

Op basis van het unieke nummer dat Falkplan-Andes aan ieder wegsegment meegeeft, de ‘chainid’, zijn de aantallen mutaties in beide onderzochte kwartalen op de CD van de De Telefoongids Professioneel als volgt:

Nu wel en niet in het 2e kwartaal: 492366 Niet meer en wel in het 2e kwartaal: 485854
Eveneens netto 6512 nieuwe wegsegmenten.

Een derde van de ca. anderhalf miljoen regels met weggegevens zou na verloop van één kwartaal bijgewerkt zijn? Na een aardbeving? Niet aannemelijk, anders een vergelijking van de reeksen coordinatenparen voor de punten waar de ‘polylines’ (wegsegmenten) doorheenlopen:

28980 eruit 35492 erbij
Opnieuw 6512 wegsegmenten erbij en 2% van de gegevens zou dan bijgewerkt zijn?

Voorbeeld van een wijziging in 2007, Fietsersbond Amsterdam blij, “knelpunt” opgelost, heeft van deze “herprofilering” ook een foto op haar website:

      http://img165.imageshack.us/img165/8735/amstelbrugxr7.jpg][img]http://img165.imageshack.us/img165/8735/amstelbrugxr7.th.jpg[/img
Wat hield dat in, in Amsterdam, aan de oostkant van de Nieuwe Amstelbrug is wat geschoven met op- en afritten en de aansluitingen op Amsterdam-Oost. Falkplan-Andes heeft dat nu, 1 jaar later, overgenomen. Maar, op basis van dit deel van de kaart van de nieuwe situatie zou je zeggen, dat klopt niet helemaal:
      http://img690.imageshack.us/img690/2407/weesperzijdeaak.gif][img]http://img690.imageshack.us/img690/2407/weesperzijdeaak.th.gif[/img
Dit is waar De Telefoongids op gezag van Falk nu mee komt, het afgebeelde deel van Falkplan-Andes' (geexporteerde) wegenbestand is rood, hun aanpassingen in blauw, dat van het Nationaal Wegenbestand is grijs:
      http://img357.imageshack.us/img357/5002/weesperzijdetmcnwbdk7.gif][img]http://img165.imageshack.us/img165/3839/weesperzijdetmcnwbrm6.th.gif[/img
Het is altijd een onontwarbare knoop geweest achter die brug daar aan de oostkant van de Amstel, en nog steeds, ondanks het werk dat er vorig jaar aan gedaan is. Op deze kaart lijkt dat nog erger te zijn en Falkplan-Andes geeft de veranderingen aan de oostkant niet goed weer op de kaart.

Behalve dat zij ook te dicht op de gevel zitten met de weg-as, daar is weinig aan te doen, heb ik er zelf maar een stukje straat ingetekend, een beetje alsof dit de kaart van OpenStreetMap Nederland

was. Die “kleine rode wijzer op elf uur” uit de bestaande situatie vervalt dan en alle nieuwe aanvullingen in blauw moet je weer wegdenken. Hierbij viel nog eens op dat de interne organisatie van TMC dynamisch is, voor de elementen die ik moest hebben kreeg je van het ene kwartaal naar het andere eerst:

cel cid stn dir 1248 1450338644 Weesperzijde 2 1248 1450994004 Weesperzijde 2
Dit kwartaal verwijzen dezelfde sleutels naar:

cel cid stn dir 1248 1450338644 Romeinsteegje 0 1248 1450994004 't Hol 0
Nog even verder over de weg-assen van Falkplan-Andes, uit de hiervoor aangehaalde brief met de beslissing:

[quote]Typering NWB

Indien een weg gescheiden rijbanen heeft, worden deze als aparte wegvakken in het bestand verwerkt.

De geometrie van het NWB is gelijk aan de hartlijnen van het Top10Wegenbestand van de Topografische Dienst Nederland.[/quote]
Dan moet je toch wel lef hebben om je eigen bestand tot “superieur” te verklaren. Dat TMC-bestand is toch eerder een netwerk voor een routeplanner dan een databestand voor een digitale kaart. Op het afgebeelde kaartje zie je ze van Falk naar mijn idee vaak genoeg als het ware maar aan één kant van de weg rijden. GPS-antenne op het dak - die het eigenlijke werk doet - de bemanning daaronder turend naar verkeersborden en zijstraten die ze niet moeten vergeten.

In hun bijgewerkte gegevens voor deze plek zit nog een andere fout:

chainid straatnaam rijrichting 1450731859 Nieuwe Amstelbrug rd_NoWay 1450797395 Nieuwe Amstelbrug rd_NoWay 1451059539 Nieuwe Amstelbrug rd_NoWay 1451125075 Nieuwe Amstelbrug rd_NoWay
De aanduiding was eerst nog “0” (rd_TwoWay) en ieder wegdeel voor “Nieuwe Amstelbrug” zou nu als ik het goed heb met “2” (rd_AtoB) getagd moeten zijn, n.l. de rijrichting komt overeen met de tekenrichting van de polyline die het wegdeel weergeeft? Want in werkelijkheid is het zo geworden:

[quote]Vanaf maandag 2 april (2007, WM) is het voor gemotoriseerd verkeer niet meer mogelijk om via de Nieuwe Amstelbrug vanuit Oud-Zuid naar het oosten van de stad te rijden. Op de brug wordt de rijrichting van west naar oost voor gemotoriseerd verkeer opgeheven. Fietsers en voetgangers kunnen de brug in beide richtingen blijven gebruiken. En ook de tram blijft over de brug rijden.

Stadsdeelkrant Oud-Zuid - 13 maart 2007
www.oudzuid.amsterdam.nl/aspx/download.aspx?file=/contents/pages/7765/stadsdeelkrantnr1113maart2007.pdf
[/quote]
Dat is het dan, tot aan dit kwartaal gaf de routeplanner van de Telefoongids nog de juiste route:

      http://img172.imageshack.us/img172/898/weesperzijdeceintuurbaaqa4.gif][img]http://img172.imageshack.us/img172/898/weesperzijdeceintuurbaaqa4.th.gif[/img
De Telefoongids bv kon niet anders dan volgen, op basis van de onjuiste gegevens van Falkplan-Andes geeft haar routeplanner nu dit verkeerde advies:
      http://img172.imageshack.us/img172/7108/weesperzijdeceintuurbaauo5.gif][img]http://img172.imageshack.us/img172/7108/weesperzijdeceintuurbaauo5.th.gif[/img
Zoveel bruggen over de Amstel heeft Amsterdam ook niet, dat je er zomaar eentje kan weglaten. Het rare is, de ANWB routeplanner, die eveneens op TravelManager Components (TMC) gebaseerd zou zijn, die weet wel beter. Zo ook de routeplanner van De Telefoongids-online. Twee kwalitatief verschillende datasets, dat is niet waarschijnlijk, in de tijd die het kostte om kwartaal 3 van de Telefoongids-CD te produceren is de online-versie al weer bijgewerkt? Pas in het 4e kwartaal gaan we die wijziging ook op de CD zien?

[quote] (2)
http://www.foondump.nl/forum/viewtopic.php?p=3144#3144][i]“Het wegenbestand van Falkplan-Andes is superieur aan het NWB …”[/i
[/quote]
Routeplanner ANWB, routeplanner Telefoongids. Een aanwijzing dat je in beide gevallen inderdaad met hetzelfde “TMC”-mechanisme te maken hebt vindt je in de routebeschrijving van de ANWB, de tekst daarvan is identiek aan de regels die je zelf aan die TMC-dll kan ontlokken:

[code]With New Configuration
.DataPath = “E:\Install\program files\De Telefoongids\CD-foongids\Data\gbd”
End With

Open “…\geo_postalcoords.txt” For Input As #1
geo_postalcoords = Split(Input$(LOF(1), 1), vbCrLf)
Close

ts = Split(Filter(geo_postalcoords, “1091BP”)(0), “|”)
td = Split(Filter(geo_postalcoords, “1074EC”)(0), “|”)

With New RoutePlanner

.StartPoint = Array(ts(1), ts(2))
.Destination = Array(td(1), td(2))

.PlanMode = pm_Fastest ’ pm_Shortest ’ pm_Cheapest
.Plan

For i = 0 To .NumRouteDescriptionLines - 1
For j = 1 To 10
Debug.Print .RouteDescriptionRow(i)(j),
Next
Next

Debug.Print
Debug.Print "kilometer: " & Format$(.TravelDistance / 1000, “0.0”)

End With[/code]

[code]1 depart Vertrek in westelijke richting
2 Weesperzijde right Ga na 45 m rechtsaf de Weesperzijde op
3 Eerste Boerhaavestraat right Ga na 140 m rechtsaf de Eerste Boerhaavestraat op
4 Wibautstraat left Ga na 225 m linksaf de Wibautstraat (S112) op
5 Rhijnspoorplein straight Ga rechtdoor de Rhijnspoorplein (S112) op (na 100 m)
6 Mauritskade leave Neem na 70 m afslag Mauritskade
7 Torontobrug straight Ga rechtdoor de Torontobrug (S100) op (na 225 m)
8 Amsteldijk left Ga na 175 m linksaf de Amsteldijk (S110) op
9 Ceintuurbaan right Ga na 300 m rechtsaf de Ceintuurbaan op
10 arrived Na 120 m bent u gearriveerd (Ceintuurbaan amsterdam,1074)

kilometer: 1,4[/code]
Rats, dat is data van de nieuwe CD voor het 3e kwartaal en dus fout.

Herstel, op basis van het tweede kwartaal:

[code]1 depart Vertrek in westelijke richting
2 Weesperzijde left Ga na 45 m linksaf de Weesperzijde op
3 Nieuwe Amstelbrug right Ga na 45 m rechtsaf de Nieuwe Amstelbrug op
4 Ceintuurbaan straight Ga rechtdoor de Ceintuurbaan op (na 140 m)
5 arrived Na 120 m bent u gearriveerd (Ceintuurbaan amsterdam,1074)

kilometer: 0,3[/code]
De hamvraag, is het spul van Falkplan-Andes inderdaad “superieur”. Kunnen we niet uit een enkel voorbeeld opmaken natuurlijk. Het NWB heeft op haar kaartje twee gescheiden rijbanen staan maar ‘GetFeatureInfo’ doen voor de opgeheven rijbaan over de brug geeft geen uitsluitsel over de toegestane rijrichting:

WVK_ID = '244370066' WVK_BEGDAT = '20070601' JTE_ID_BEG = '244370061' JTE_ID_END = '244370069' WEGBEHSRT = 'G' WEGNUMMER = '' WEGDEELLTR = '' HECTO_LTTR = '' BAANSUBSRT = '' RPE_CODE = 'Z' ADMRICHTNG = '' RIJRICHTNG = '' STT_NAAM = 'NW AMSTELBRUG 0101' WPSNAAMNEN = 'AMSTERDAM' GME_ID = '363' GME_NAAM = 'Amsterdam' HNRSTRLNKS = '' HNRSTRRHTS = '' E_HNR_LNKS = '0' E_HNR_RHTS = '0' L_HNR_LNKS = '0' L_HNR_RHTS = '0' BEGAFSTAND = '0' ENDAFSTAND = '0' BEGINKM = '0.000' EINDKM = '0.000' POS_TV_WOL = '' Length = '124.46000000000'
Het is net alsof er geen informatie over de rijrichting beschikbaar is, wanneer “WEGBEHSRT = ‘G’”, als de gemeente de wegbeheerder is?

Dit getoonde staatje is trouwens nou net waar de directeuren van Falkplan blijkens de eerder beschreven hoorzitting zo benauwd voor waren, namelijk dat het NWB in een “downloadable” versie op het internet zou staan. Je kan de gegevens achter het opvraagbare kaartje, zoals in dit voorbeeld, inderdaad ook mondjesmaat opvragen
http://www.rijkswaterstaat.nl/services/geoservices/basispakket/nationaalwegenbestand?VERSION=1.1.1&REQUEST=GetFeatureInfo&LAYERS=AAA70&STYLES=&SRS=EPSG:28992&BBOX=122008.6,485296.7,122565.2,485683.5&WIDTH=1600&HEIGHT=1112&FORMAT=image/png&TRANSPARENT=TRUE&BGCOLOR=0xFFFFFF&QUERY_LAYERS=AAA70&INFO_FORMAT=text/plain&FEATURE_COUNT=10&X=707&Y=593&EXCEPTIONS=application/vnd.ogc.se_xml
.

Voor Falkplan-Andes is het extra zuur dat fouten als beschreven toch in hun database terecht komen want het bedrijf is juist druk in de weer om een ambitieus netwerk

op te zetten waarmee gemeentelijke overheden tijdelijke afsluitingen en gewijzigde verkeerssituaties, zoals deze, kunnen melden en weer terugkrijgen als een gewone of als een webpagina voor andere diensten en de media.

Sluw, want door die omweg komen deze mutaties ook beschikbaar voor de andere producten van Falk. Alleen in dit beschreven geval heeft dat zo nog niet uitgepakt.

Het lijkt wel een spookvermelding :slight_smile:

[quote]Gratis postcodetool gaat ‘open source’

Een programmeur is een gratis zoektool voor Nederlandse postcodes gestart. De open postcodedatabase concurreert met betaalde diensten die postcodes valideren.

http://kvdb.net/projects/6pp][b]6PP[/b
is een gratis webdienst voor conversie van postcodes naar straten en woonplaatsen. Het is een initiatief van webontwikkelaar Kees van den Broek. Hij verzamelde welke straatnamen bij welke postcodes horen via een zelfgeschreven webspider die websites afspeurt naar postcodes.

De postcode-lookup is onder meer handig voor webformulieren waarbij mensen hun adres moeten invullen. Na invullen van de postcode vult het systeem automatisch de straat- en plaatsnaam in. Het gebruik van een database met alle postcodes kost normaal gesproken geld.

Veel sites valideren op adresgegevens via een betaalde koppeling met de database van TNT-dochter Cendris. Ook de site Postcode.nl werkt met een licentie en verkoopt wekelijkse updates. Dat is handig omdat er regelmatig huizen worden gesloopt of nieuwe wijken worden gebouwd.

Geen schending
Volgens Van den Broek bleek het met een zoekrobot afzoeken van sites voor postcodes ‘verrassend goed te werken’. “De database is vandaag 70.8 procent compleet. Van iedere postcode wordt de bron opgeslagen, zodat ik bij vermeende rechtenschending de betreffende postcodes kan verwijderen en via een andere bron kan aanvullen.”

Volgens ict-jurist Arnoud Engelfriet is wat Van den Broek doet geen schending van het databankrecht. Engelfriet noemt de sites van de Kamer van Koophandel en Funda als voorbeelden van sites waar veel postcodes gekoppeld aan straatnamen zijn te vinden. “Die lijsten komen niet uit het postcodebestand van TNT Post, ook niet indirect. Bedrijven of makelaars typen die in wanneer ze hun bedrijf aanmelden of een huis te koop zetten. Daarmee zijn die gegevens openbaar, zodat je op basis van die gegevens best je eigen lijst met postcodes mag bouwen.”

Soort wiki
Volgens Van den Broek kunnen internetters ook nieuwe postcodes handmatig toevoegen aan de 6PP-databank. “Hiermee is de database in essentie een ‘wiki’. Of dit voldoende is om tot een accurate en complete postcode database te komen, daar ben ik zelf erg benieuwd naar.” Hij heeft ook de broncode van het systeem vrijgegeven als download, ‘zodat mensen die er meer mee willen doen hun gang kunnen gaan’.

Het project Openstreetmap.nl, voor opensource kaartinformatie, wil de postcodedata van Van den Broek integreren met de wegenkaart. “Als we huisnummers gaan ondersteunen krijgen die automatisch de postcode mee”, aldus Stefan de Konink van OpenStreetMap Nederland.

Webwereld - maandag 3 november 2008
http://webwereld.nl/articles/53395/gratis-postcodetool-gaat--open-source-.html
[/quote]

[quote]Gratis postcodetool gaat ‘open source’
http://www.foondump.nl/forum/viewtopic.php?p=3182#3182
[/quote]
Een link in de postcode database
http://kvdb.net/projects/6pp]webpagina
van de maker: “Download de [url=http://kvdb.net/projects/6pp/6pp_snapshot.gz[/url] in SQL formaat (dagelijks bijgewerkt).”

Ok, kijken wat hij al heeft verzameld. En vooral, waar heeft hij het dan opgehaald:

source aantal buurtlink.nl 453086 user 1 zoekplaats.nl 306
Tja, een goed idee is daarmee wel meteen verknald.

Alles bij één enkele argeloze aanbieder ophalen, dat was toch niet wat de in het bericht hierboven aangehaalde jurist
http://www.arnoud.engelfriet.net]Arnoud Engelfriet
bedoelde? Toen die inging op een aantal juridische vragen in zijn artikel “Andermans site scrapen, wanneer mag dat?” en in zijn blog over specifiek dit onderwerp: [i]“Alle postcodes op een rijtje”[/i.

Bij de hier
http://webwereld.nl/comments/53395]reacties
onder bovenstaand bericht van Webwereld en idem die van OpenStreetMap zitten suggesties voor en argumenten tegen een postcodetabel maken met Foondump. Niet ter sprake komt dat de dump van een Telefoongids nooit een complete postcodetabel kan opleveren - zoals [url=http://www.foondump.nl/forum/viewtopic.php?p=530#530[/url] in dit forum aangegeven.

Om dezelfde reden zal ook het Handelsregister-online-schraap-avontuur van die OSM’er-van-dienst daar ter plekke stranden, het Handelsregister heeft slechts een deelverzameling van alle mogelijke adressen in de database opgeslagen, een daarvan afgeleide postcodetabel zal ook dan weer niet alle postcodes omvatten en van de postcodes die er wel instaan zal de huisnummerreeks niet volledig bekend zijn.

Voorbeeld, voor deze straat in Amsterdam geeft Postcode.nl:

Postcode Straat Reeks Woonplaats 1093 SN Roomtuintjes 1 t/m 19 AMSTERDAM 1093 SN Roomtuintjes 2 t/m 20 AMSTERDAM
Roomtuintjes is een typische “woon”-straat, niet veel rechtspersonen daar die in het Handelsregister opgenomen zijn. Dit heeft zijn weerslag op een daarop te baseren postcodetabel:

Postcode Soort Van Tot 1093 SN 1 3 15 1093 SN 0 20 20
Meer in lijn met de zienswijze van “ICT-jurist” Engelfriet is mogelijk het vergaren van postcodegegevens in de archieven van zoekmachines. Wat als je bijvoorbeeld alleen bij Google zou kijken, je diversiteit aan bronnen wordt dan groter en ook je afstand tot de bron, immers het is nu Google die de gegevens toont. Dan had de bronhouder als die bezwaar heeft zijn maatregelen maar moeten nemen?

En op dat moment kan je ook met voorkennis gaan opvragen? Want als het erop aankomt dan is uitsluitend wijzen naar de onafhankelijke vindplaats van de gevonden ‘open source’-postcode al afdoende?

Een testje met gericht het huisnummerbereik “Roomtuintjes 1-19 1093 SN AMSTERDAM” bij Google opvragen
http://www.google.com/search?hl=nl&q=1093+sn+(Roomtuintjes+1-19%2C+Amsterdam)+-maps.google.com
. Zou je een ‘open source’-postcodedatabase dan toch zomaar uit de ‘cloud’ kunnen plukken?

Als het initiatief van webontwikkelaar Kees van den Broek voor een
http://kvdb.net/projects/6pp][i]‘open source’-postcodedatabase[/i
inderdaad juridisch overeind gehouden kan worden dan zou mijn zoekrobotje alleen zijn pootje gaan optillen bij lantaarnpalen van Google:

[code]Dim t, key, qry, searchRes

'deze keys worden niet meer uitgegeven maar zijn nog wel te gebruiken
'dit is nep-key, een key zoeken m.b.v. Google of Google Codesearch is goed te doen

key = “afMiArvpa7ewdYQCFiH3JNGr8IqIDRgyI”

qry = “site:super-zoeker.nl 1093 sn (Roomtuintjes 2-20, Amsterdam) -maps.google.com”

Set t = CreateObject(“pocketSOAP.HTTPTransport.2”)

Set res = GoogleSearch(qry, 0, 10, True, “”, False, “”, “”, “”)

searchRes = res.ItemByName(“resultElements”).Value

WScript.echo searchRes(0).Nodes.ItemByName(“URL”).Value
WScript.echo Replace(searchRes(0).Nodes.ItemByName(“snippet”).Value, “·”, vbCrLf)

Function GoogleSearch(searchTerm, _
start, _
maxResults, _
MatchFilter, _
restrict, _
safeSearch, _
languageRestrict, _
inputEncoding, _
outputEncoding)

Dim e

With CreateObject(“PocketSOAP.Envelope.2”)

.SetMethod "doGoogleSearch", "urn:GoogleSearch"

With .Parameters
  .Create "key", key
  .Create "q", searchTerm
  .Create "start", start
  .Create "maxResults", maxResults
  .Create "filter", MatchFilter
  .Create "restrict", restrict
  .Create "safeSearch", safeSearch
  .Create "lr", languageRestrict
  .Create "ie", inputEncoding
  .Create "oe", outputEncoding
End With

t.SOAPAction = "urn:GoogleSearchAction"

t.Send "http://api.google.com/search/beta2", .serialize

.parse t

Set GoogleSearch = .Parameters.Item(0).Nodes

End With

End Function[/code]
Vrij naar de samplecode
http://www.pocketsoap.com/samples/default.aspx
die met ‘pocketSOAP’ meekomt, levert:

http://www.super-zoeker.nl/Noord-Holland/Amsterdam/Roomtuintjes/1093sr/ <b>1093 sn</b> (<b>Roomtuintjes</b> 1-19, <b>Amsterdam</b>) <b>1093 sn</b> (<b>Roomtuintjes 2-20</b>, <b>Amsterdam</b>) <br> <b>1093</b> sp (<b>Roomtuintjes</b> 21-39, <b>Amsterdam</b>) <b>1093</b> sp (<b>Roomtuintjes</b> 22-40, <b>...</b>
Dit zijn dus ‘url’ en ‘snippet’ behorende bij een zoekresultaat van Google (via de oude Google-API). De ooit door Google geindexeerde webpagina wordt niet bezocht, toch keert de zoekactie terug met straatnaam, postcode alsmede oneven en even huisnummerbereik van een postcode voor de nieuwe ‘open source’-postcodetabel.

Verder over een vrij te gebruiken postcodebestand …

Nog een andere oproep terzake:

[quote]Help mee met een open gratis postcodebestand van Nederland!

Waarom gaan we niet met z’n allen werken aan een vrij postcodebestand?

Wat zou het mooi zijn als ook wij in Nederland zo’n postcodebestand zouden hebben, waarvan iedereen gratis gebruik kan maken en waarbij iedereen helpt om het up-to-date te houden.

Wie wil meehelpen? We hebben onder andere juristen, technici en studenten nodig. Laten we het monopolie doorbreken en elkaar helpen.

Durk Jan de Bruin

www.postcodevrij.nl

[/quote]
Durk Jan de Bruin: bijv. in Wikipedia

is te lezen dat het gaat om iemand die al ervaring heeft opgedaan met “elkaar helpen”.

Ook hij stelt voor om postcode-gegevens los van de bestaande postcodedatabase bij elkaar te gaan sprokkelen, analoog aan het idee achter het bovengenoemde 6PP.

Mag dat? Op de webpagina van 6PP
http://kvdb.net/projects/6pp
wordt gesteld:

[quote]Samenvattend: "Postcodes zijn feitelijke gegevens, en die mag je dus verzamelen en publiceren zoals je zelf wilt.

Ik betwijfel of er een databankrecht zit op de lijst zoals TPG die beheert. Maar er is niets mis met internet afstruinen en alle postcodes in een eigen databank stoppen die je ziet."[/quote]
Dat lijkt niet te sporen met wat daarover in de aanloop van de nieuwe Postwet geadviseerd is:

[quote]Toegang tot postcodesystemen

Aangenomen moet worden dat een postcodesysteem een databank vormt in de zin van de databankregelgeving. Een postcodesysteem vormt immers een verzameling van gegevens, die systematisch of methodisch geordend en afzonderlijk met elektronische middelen of anderszins toegankelijk zijn en waarvan de verkrijging, de controle of de presentatie van de inhoud in kwalitatief of kwantitatief opzicht getuigt van een substantiële investering.

Een postcodesysteem dat aangemerkt kan worden als een databank, kan twee soorten bescherming genieten: auteursrechtelijke bescherming (bescherming tegen verveelvoudiging en openbaarmaking) en bescherming door een sui generis recht (bescherming tegen opvraging of hergebruik). Voor auteursrechtelijke bescherming komt het systeem in aanmerking als het door de keuze of rangschikking van gegevens een eigen intellectuele schepping vormt van de maker.

Bescherming door het sui generis recht speelt een rol als sprake is van een substantiële investering door de maker (lagere drempel). Onder omstandigheden kunnen beide regimes van bescherming naast elkaar van toepassing zijn.

Advies Raad van State liberalisering postmarkt
http://ikregeer.nl/static/pdf/KST96993.pdf
[/quote]
De eerder door 6PP aangehaalde jurist daarover iets genuanceerder in zijn eigen commentaar:

[quote]Alle postcodes op een rijtje

Geschriftenbescherming? Wederom nee, de postcodedatabank is geen geschrift. Databankenrecht dan maar?

Zoals vaste lezers wel weten, is een databank beschermd als de bouwer een substantiële investering heeft gedaan (tijd, geld of moeite) om die databank op te bouwen of te onderhouden.

De hele site Postcode.nl leegtrekken zou ik dus niet adviseren, want als er een databankrecht zit op dat bestand, dan is dat leegtrekken een inbreukmakende handeling.

Internetrecht door Arnoud Engelfriet

[/quote]
Genoemde Postwet zal worden aangepast om concurrentie tussen “postvervoerbedrijven” mogelijk te maken. Over de rol van het Nederlandse postcodesysteem daarin:

[quote]Postcodesysteem – postvervoerbedrijven

Hoewel het gebruik van de postcode voor meer functies dan alleen de postbezorging wordt gebruikt, richt het wetsvoorstel zich op de betekenis van de postcode voor de goede werking van een volledig geliberaliseerde postmarkt.

In het wetsvoorstel is een bepaling opgenomen om de toegankelijkheid van het postcodesysteem, bijvoorbeeld het leveren van een maandelijkse update, voor alle postvervoerbedrijven te garanderen, aangezien veel postvervoerbedrijven en hun klanten hun processen op de postcode hebben ingericht. Het postcodesysteem heeft zichzelf als systeem voor de behandeling en sortering van post bewezen en wordt in Nederland breed toegepast.

Om te voorkomen dat postvervoerbedrijven anders worden behandeld dan klanten, waardoor een toetredingsdrempel zou ontstaan, is in het wetsvoorstel de voorwaarde opgenomen dat de postcodebeheerder postcodegegevens binnen een redelijke termijn en tegen transparante en non-discriminatoire tarieven levert. Dit ligt in het verlengde van de algemene bepalingen omtrent onderlinge dienstverlening door postvervoerbedrijven.

De postcode dient ter ondersteuning van de bezorging en is, als het gaat om de functie die het heeft voor postmarkt, geen aparte dienst. De voorwaarden en vergoedingen worden in onderling overleg bepaald. Bij gebreke van overeenstemming kan een geschil aan het college worden voorgelegd.

EZ - Memorie van toelichting liberalisering postmarkt
http://ikregeer.nl/static/pdf/KST96992.pdf
[/quote]
Niet alleen om postbedrijven tegen elkaar in bescherming te nemen, ook de consument, de toelichting weer:

[quote]Postcodesysteem – consument

In het wetsvoorstel is opgenomen dat een universele postdienstverlener er in deze situatie voor moet zorgen dat een postcode gemakkelijk en zonder vergoeding kan worden opgevraagd te behoeve van de adressering van post die onder de universele postdienst valt. Indien de universele postdienstverlener de postcode niet zelf beschikbaar stelt, moet hij er voor zorgen dat degene die het postcodesysteem beheert aan deze eis voldoet.

Hoewel het waarschijnlijk is dat het in het belang van de postcodebeheerder zelf is dat de burger gemakkelijk aan postcodes komt, zal de particuliere consument naar verwachting weinig tot geen keuze hebben om op een andere dienstverlener over te stappen wanneer een vergoeding zou worden gevraagd voor de verstrekking ervan. Op de consumentenmarkt wordt immers weinig tot geen concurrentie verwacht.[/quote]

… dat de burger gemakkelijk aan postcodes komt?

Andere dienstverleners? In ieder geval tot het moment dat briefpost word vrijgeven kan bijvoorbeeld concurrent Sandd het heel anders aanpakken:

      http://www.sandd.nl/page.php?page=1924&menu=6][img]http://www.sandd.nl/images/uploads/Sandd_code60.jpg[/img
Dit is onderdeel van Sandd's SRP, [i]"Sandd Resource Planning"[/i]. Sandd zelf daarover [quote][b]Uitgekiende ICT[/b]

Het concept van Sandd is geheel ontstaan door ICT op een vernieuwende en unieke manier in te zetten. Door de digitale adresbestanden van klanten voor te sorteren en de post vervolgens conform deze volgorde ook te laten drukken door de grafische afwerker, kunnen alle benodigde resources voor het vervolgtraject optimaal worden bepaald en ingezet.

Zo is vervolgens per bezorgdag het aantal poststukken te bepalen, evenals het gewicht, het aantal binnenkomende pallets, aantal benodigde sorteerders tot aan zelfs hoeveel poststukken er op een vestiging binnen komen en hoeveel een bezorger op desbetreffende bezorgdag gaat verdienen. Dit betekent in de praktijk dat nagenoeg alle afdelingen en vestigingen door dit systeem ondersteund worden. Alle functionaliteiten zijn echter zo uniek en specifiek voor Sandd, dat deze als maatwerk ERP applicatie geheel voor Sandd zijn ontwikkeld.

NationaleVacaturebank.nl - Vacaturedetails -Application Manager
http://www.nationalevacaturebank.nl/zoek/vacatures/2748635
[/quote]
Iedereen die iets wil met de postcodetabel moet dus langs TNT Post en dochter Cendris. Die zien je graag komen - met je bijdrage in de “verstrekkingskosten”.

[quote]Toegang is al geregeld door de mededingingswet.

Op de wijze waarop TNT Post omgaat met de toegang tot de postcode zijn de algemeen geldende mededingingsregels van toepassing zoals deze zijn vervat in de Mededingingswet. De Nederlandse Mededingingsautoriteit (NMa) heeft in 2002 de toekenning van postcodes en het zakelijk gebruik ervan onderzocht en het niet nodig geacht stappen te ondernemen. Sinds het onderzoek door de NMa in 2002 is de toegankelijkheid van de postcode overigens niet gewijzigd en zijn de tarieven bescheiden gestegen.

TNT Post en de Nederlandse postcode, de feiten

[/quote]
Om deze reden moet wetgever dus behoedzaam laveren tussen de burger en deze marktpartij maar ook omdat TNT Post en de overheid besloten
http://bag.vrom.nl/bag_com/e16ddd117e6aa19325fdb54a3c557314.php]tot elkaar
veroordeeld zijn. Immers, [url=http://www.bag.vrom.nl/bag_com/2a979e7c90c163a1c09c6925c41ccc8f.php[/url] is de postcode “als niet-authentiek gegeven” toe te voegen aan de Basis Registratie Adressen (BRA*):

[quote]Confrontatie eisen met huidige situatie

In combinatie met het huisnummer is de postcode ook een heel handig en snel hulpmiddel om eenduidig over een adres te communiceren. In het maatschappelijke verkeer wordt daar veelvuldig gebruik van gemaakt.

Op de laatste, en zeker niet de minste, plaats past de opname van de postcode in de BRA, als onderdeel van het adres, in het streven van het kabinet naar “eenmalige inwinning, meervoudig gebruik” van gegevens door respectievelijk binnen de overheid. Toepassing van dit principe werkt ook kwaliteitsverhogend met betrekking tot publieke dienstverlening, aangezien het de kans op fouten vermindert bij het opvragen en overnemen van postcodes bij respectievelijk van TPG Post. Ook dat is een speerpunt van het kabinetsbeleid.

De laatste twee eisen aan een authentiek gegeven beschouwend, te weten die over de kosten en de transparantie, kan gesteld worden dat daar geen belemmeringen worden opgeworpen. Het gebruik van de postcode door overheidsinstellingen (als eindgebruiker) is gratis, met inachtneming van verstrekkingskosten. De transparantie van het beheer, oftewel de duidelijkheid en openbaarheid van het opvoeren, wijzigen en verwijderen van postcodes, is gemakkelijk te regelen, omdat het om het formaliseren van bestaande, informele afspraken gaat waar alle betrokken partijen tevreden over zijn.

Eindrapport Onderzoek postcode in het kader van de Basis Registratie Adressen

[/quote]
Waar alle betrokken partijen tevreden over zijn? Niet de ex-Startpagina-eigenaar van Postcodevrij.nl:

[quote]Free the postcode

Regelmatig krijg ik verzoeken van kleine webwinkels die de adresgegevens van een bestelling willen controleren aan de hand van de combinatie postcode/huisnummer. Dit kan echter alleen via TNT die het postcodebestand bezit. Winkeliers moeten hiervoor betalen en de bedragen lopen op van enkele honderden tot duizenden euro’s per jaar. Hierdoor zien veel webwinkeliers af van het controleren van de adresgegevens.

www.postcodevrij.nl
http://www.postcodevrij.nl
[/quote]
Cendris, de dochteronderneming van TNT Post die de postcodedatabase voor haar “vermarkt”, beroept zich inderdaad op de databankenwet:

[quote]Intellectuele eigendom

Voor zover de producten uit gegevens of gegevensbestanden bestaan, mogen deze niet worden “opgevraagd” of “hergebruikt” in de zin van de Databankenwet, behoudens voor zover dit noodzakelijk is ter verwezenlijking van het overeengekomen gebruik van die gegevens of gegevensbestanden.

Het is de opdrachtgever niet toegestaan door Cendris verstrekte gegevens te gebruiken voor een ander doel dan in de overeenkomst bepaald. Behoudens voor zover dit doel dat meebrengt, is het de opdrachtgever niet toegestaan door Cendris verstrekte gegevens aan te wenden om een eigen database op te bouwen of deze te (laten) exploiteren. Het is de opdrachtgever evenmin toegestaan door Cendris verstrekte gegevens aan te wenden om een eigen directory of gids op te bouwen of deze te (laten) exploiteren.

Algemene Voorwaarden Cendris (juli 2007)
http://www.cendris.nl/fileadmin/data/document/zip/cendris_pct_testset.zip
[/quote]
[size=9]*) Alle adressen in Nederland staan hierin. Deze registratie is van groot belang voor de GBA=Gemeentelijke basisadministratie, het vroegere bevolkingsregister en het nieuw op te zetten Handelsregister[/size]

Cendris twijfelt kennelijk evengoed nog aan de bescherming die de Databankenwet biedt:

[quote]Gebruik van door Cendris verstrekte gegevens

Cendris is gerechtigd aan door haar verstrekte gegevens een aantal controlegegevens (zoals adressen) toe te voegen. Indien deze controlegegevens uitwijzen dat de opdrachtgever zich niet houdt aan het overeengekomen gebruik, is daarmee het volledig bewijs van zijn toerekenbare tekortkoming geleverd, behoudens tegenbewijs zijnerzijds.

In geval van overtreding verbeurt de opdrachtgever (per overtreding) aan Cendris een eenmalige, onmiddellijke en niet voor verrekening vatbare boete van € 50.000,–, alsmede een boete van € 5.000,-- voor elke dag of gedeelte daarvan dat de overtreding voortduurt, één en ander onverminderd het recht van Cendris op vergoeding van de door haar geleden en te lijden schade.

Algemene Voorwaarden Cendris (juli 2007)
http://www.cendris.nl/fileadmin/data/document/zip/cendris_pct_testset.zip
[/quote]
Zo ook Postcode.nl, in de broncode
http://www.iwebtool.com/code_viewer?domain=www.postcode.nl
van haar webpagina’s staat al sinds jaar en dag opgenomen:

<!--  ________________________________________________________________________________  -->
<!--                                                                                    -->
<!--                                                                                    -->
<!--  Het is *NIET* toegestaan om postcodegegevens van deze website                     -->
<!--  geautomatiseerd te verkrijgen door middel van een online koppeling met het        -->
<!--  zoekformulier, of op welke andere wijze dan ook.                                  -->
<!--  Voor het automatiseren van dergelijke opvragingen en het                          -->
<!--  integreren van zoekfunctionaliteiten heeft Postcode.nl diverse                    -->
<!--  product oplossingen.                                                              -->
<!--                                                                                    -->
<!--  Voor handmatig opzoeken op Postcode.nl: Business Account                          -->
<!--  Voor integratie in een database systeem: Postcode database van Nederland          -->
<!--                                                                                    -->
<!--                                                                                    -->
<!--  (c) Postcode.nl B.V.                                                              -->
<!--                                                                                    -->
<!--  Julianastraat 30                                                                  -->
<!--  2012 ES Haarlem                                                                   -->
<!--  Tel. 023 532 56 89                                                                -->
<!--  Fax 023 531 43 32                                                                 -->
<!--  info@postcode.nl                                                                  -->
<!--                                                                                    -->
<!--  ________________________________________________________________________________  -->
<!--                                                                                    -->
<!--                                                                                    -->
<!--  Belangrijkste voorwaarden m.b.t. postcodegegevens                                 -->
<!--                                                                                    -->
<!--  De postcodegegevens worden aan de Klant uitsluitend ter beschikking               -->
<!--  gesteld voor persoonlijk gebruik c.q. voor strikt intern gebruik binnen           -->
<!--  de onderneming van de Klant. Koninklijke TPG Post B.V. is rechthebbende           -->
<!--  op de auteursrechten, andere intellectuele eigendomsrechten en/of rechten         -->
<!--  op de postcodegegevens en/of databanken. Het ter beschikking stellen van          -->
<!--  de postcodegegevens strekt niet tot overdracht van één of meer van deze           -->
<!--  rechten. Het is de Klant niet toegestaan de postcodegegevens te verhandelen,      -->
<!--  te reproduceren of anderszins ter beschikking te stellen aan derden.              -->
<!--  Koninklijke TPG Post B.V. staat niet in voor de juistheid en de volledigheid      -->
<!--  van de postcodegegevens. Koninklijke TPG Post B.V. aanvaardt geen                 -->
<!--  aansprakelijkheid voor schade die ontstaat door gebruik van de postcodegegevens.  -->
<!--  De Klant is aan Postcode.nl BV een onmiddellijk opeisbare boete ter grootte       -->
<!--  van € 7.000 (zeven duizend Euro) per gebeurtenis verschuldigd indien de           -->
<!--  eindgebruiker in strijd handelt met het hiervoor genoemde, onverminderd het       -->
<!--  recht van Postcode.nl BV om aanvullende schadevergoeding te vorderen voor de      -->
<!--  overige geleden schade indien en voor zover de schade meer bedraagt dan het       -->
<!--  boetebedrag. Postcode.nl BV behoudt zich het recht voor om deze voorwaarden       -->
<!--  zonder voorafgaande aankondiging te wijzigen.                                     -->
<!--                                                                                    -->
<!--  ________________________________________________________________________________  -->

Durven we nog? Het zoeken is naar bronnen voor vrij te gebruiken postcodedata, mag iemand bijvoorbeeld zomaar integraal de “postcode”-kolom kopieren uit de zgn. “straatnamenboeken” van gemeenten als Wijk bij Duurstede, Cothen en Langbroek
http://www.gvi.amsterdam.nl/producten/straatnamenboek]Amsterdam
, Breda, [url=http://www.wijkbijduurstede.nl/over-wijk/gemeentegids/straatnamen-en-postcodes[/url]?

Als dat toegestaan zou zijn, dan krijgen de aspirant-beheerders van de nieuwe ‘open source-’, dan wel ‘vrije-’ postcodedatabase wel te maken met gegevens die afwijken van het officiële postcodeboek.

Nemen we als voorbeeld de lijst van gemeente Amsterdam:

[quote]Gemeente Amsterdam
Dienst Persoons- en Geo-informatie
Straatnamenboek Amsterdam 2008
Bijgewerkt tot juni 2008[/quote]
Daarin staan straatnamen opgesomd met hun oneven en even huisnummerreeksen en de bijbehorende 6-positie postcode:

[quote]Postcode

De postcode bestaat uit vier cijfers en twee letters. De cijfers geven aan een woonplaats of een wijk in een woonplaats; de letters hebben betrekking op een groep van ongeveer 25 woningen, bedrijfspanden e.d. of op een aantal postbussen. Indien de letters ontbreken, betekent dit dat in de betreffende straat geen afgiftepunten aanwezig zijn, of dat de “twee letters” (nog) niet toegekend zijn.

Gemeente Amsterdam - Straatnamenboek Amsterdam 2008
http://www.gvi.amsterdam.nl/producten/straatnamenboek
[/quote]
Of het zich leent voor overname in dat “open gratis postcodebestand van Nederland” is de vraag want bijvoorbeeld postcode “1028” uit het Straatnamenboek ziet er vergeleken met de overeenkomstige gegevens van “wederverkoper” Postcode.nl
http://www.postcode.nl/index?action=search&goto=postcoderesult&TreeID=1&address=1028&x=48&y=7
al anders uit:

[code]Straatnamenboek Amsterdam 2008

postcode van tot straatnaam
1028 26 26 Durgerdammergouw
1028 60 60 Poppendammergouw
1028 AX 25 35 Nieuwe Gouw
1028 AX 49 55 Nieuwe Gouw
1028 AZ 8 32 Poppendammergouw
1028 AZ 19 19 Poppendammergouw
1028 BA 3 3 Belmermeer
1028 BA 3 5 Belmermeer
1028 BA 4 6 Belmermeer
1028 BB 1 23 Dorpsstraat Holysloot
1028 BC 25 65 Dorpsstraat Holysloot
1028 BD 2 22 Dorpsstraat Holysloot
1028 BE 24 82 Dorpsstraat Holysloot
1028 BG 18 38 Uitdammerdijk
1028 BG 25 39 Uitdammerdijk
1028 BH 9 71 Bloemendalergouw
1028 BJ 4 60 Bloemendalergouw
1028 BJ 60 102 Bloemendalergouw
1028 BK 7 47 Dorpsweg Ransdorp
1028 BL 51 93 Dorpsweg Ransdorp
1028 BM 95 133 Dorpsweg Ransdorp
1028 BN 2 26 Dorpsweg Ransdorp
1028 BP 30 62 Dorpsweg Ransdorp
1028 BR 64 80 Dorpsweg Ransdorp
1028 BS 82 108 Dorpsweg Ransdorp
1028 BT 2 24 Durgerdammergouw
1028 BV 76 88 Liergouw
1028 BV 77 81 Liergouw[/code]

[code]Resultaten zoekopdracht “1028” Postcode.nl

Postcode Van Tot Straat
1028 Holysloter Die
1028 Kinselmeer
1028 Molenslootpad
1028 Ransdorperdie
1028 Uitdammerdie
1028 Weerslootpad
1028 AX 25 55 Nieuwe Gouw
1028 AZ 1 19 Poppendammergouw
1028 AZ 2 32 Poppendammergouw
1028 BA 1 5 Belmermeer
1028 BA 2 6 Belmermeer
1028 BB 1 23 Dorpsstraat Holysloot
1028 BC 25 65 Dorpsstraat Holysloot
1028 BD 2 22 Dorpsstraat Holysloot
1028 BE 24 82 Dorpsstraat Holysloot
1028 BG 18 40 Uitdammerdijk
1028 BG 19 39 Uitdammerdijk
1028 BH 1 71 Bloemendalergouw
1028 BJ 2 102 Bloemendalergouw
1028 BJ 99 99 Bloemendalergouw
1028 BK 1 49 Dorpsweg Ransdorp
1028 BL 51 93 Dorpsweg Ransdorp
1028 BM 95 133 Dorpsweg Ransdorp
1028 BN 2 28 Dorpsweg Ransdorp
1028 BP 30 62 Dorpsweg Ransdorp
1028 BR 64 80 Dorpsweg Ransdorp
1028 BS 82 108 Dorpsweg Ransdorp
1028 BT 2 24 Durgerdammergouw
1028 BV 76 88 Liergouw
1028 BV 77 81 Liergouw[/code]
Is het Straatnamenboek van Amsterdam misschien gebaseerd op de hierin beschreven
http://www.cendris.nl/fileadmin/data/document/pdf/cendris_pct_handleiding.pdf
postcodetabel op “huisnummerniveau”? Die is nauwkeuriger dan de postcodetabel op “reeksniveau” van Postcode.nl:

[quote]Als een gemeente een nieuwbouwwijk aanlegt dan overlegt ze met de TPG postcodecoördinator. Vervolgens wordt er een postcode toegekend en komen de straat en de postcode in de postcodetabel met reeksinformatie, maar nog niet in de Cendris huisnummertabel.

Daarin komt pas het huisnummer als er ook echt een huis is gebouwd en bekend is hoeveel, en waar zich de huisnummers bevinden. Niet alle nummers uit de reeks worden dus ook daadwerkelijk adressen. Postcode.nl baseert zich op de postcodetabel met reeksinformatie.[/quote]
Kijk je naar de hele lijst van Amsterdam dan valt al meteen vooraan op dat postcode “1011 AA” ontbreekt (die van postbussen ontbreekt sowieso), volgens postcode.nl
http://www.postcode.nl/index?action=search&goto=postcoderesult&TreeID=1&address=1011AA&x=33&y=17
hoort die wel in de lijst te staan:

Postcode Straat Reeks Woonplaats 1011 AA De Ruyterkade Steigers 3 t/m 9 AMSTERDAM 1011 AA De Ruyterkade Steigers 6 t/m 10 AMSTERDAM
Gemeente Amsterdam moest in ieder geval voor het gebruiken van de postcodetabel betalen?

[quote]Informatierelatie tussen TPG Post en de gemeenten

In het proces van toekennen van postcodes worden wederzijds geen kosten in rekening gebracht.

Bij de informatieverstrekking wordt onderscheid gemaakt in incidentele verstrekkingen, waarbij het gaat om één adres of enkele adressen, en bulk verstrekkingen, waarbij TPG Post tegen betaling, al of niet periodiek, bijvoorbeeld een postcodebestand levert.

De incidentele verstrekkingen zijn gratis, voor de bulkverstrekkingen worden tarieven in rekening gebracht. Daarbij maakt TPG Post geen onderscheid in publieke en private afnemers.

Eindrapport Onderzoek postcode in het kader van de Basis Registratie Adressen

[/quote]
Maar mocht zij de verkregen postcodegevens in deze vorm verder verspreiden?

[quote]Indien overeengekomen is dat de opdrachtgever door Cendris verstrekte gegevens op zijn beurt aan een derde ter beschikking mag stellen, is de opdrachtgever verplicht die derde dezelfde verplichtingen op te leggen als hijzelf jegens Cendris uit hoofde van de overeenkomst heeft.

Algemene Voorwaarden Cendris (juli 2007)
http://www.cendris.nl/fileadmin/data/document/zip/cendris_pct_testset.zip
[/quote]
De pdf-versie van “Straatnamenboek Amsterdam 2008” is echter in het geheel niet beveiligd en op de website geven ze ook een link naar een Excel-versie. Van daaruit tabellen exporteren is dan nog eenvoudiger. In “Voorwoord” noch “Toelichting” iets over de gebruiksrechten:

[quote]Met het gereedkomen van de Basisregistratie Adressen ligt de verantwoordelijkheid voor het onderhoud van deze Basisregistratie bij Dienst Persoons- en Geo-informatie (DPG). Hiermee is de verantwoordelijkheid voor het maken van dit boek ook bij DPG komen te liggen.

Gemeente Amsterdam - Straatnamenboek Amsterdam 2008
http://www.gvi.amsterdam.nl/producten/straatnamenboek
[/quote]

Eenieder wordt geacht de wet te kennen…

Maar voor een leek lijkt het door de gemeente Amsterdam openbaar maken van de postcode-kolom in het hiervoor
http://www.foondump.nl/forum/viewtopic.php?p=3192#3192
beschreven Straatnamenboek nog een hele kluif. Misschien voor een jurist ook nog wel?

De zaak: een gemeente komt met een nieuwe straatnaam, levert die in bij TNT Post en krijgt daarna van hen bericht, welke postcode aan die straat is toegekend. De nieuwe postcode wordt vervolgens opgenomen in zowel de lijst van de gemeente als in die van TNT Post.

Wil de postcodetabel in aanmerking komen voor bescherming vanwege de Databankenwet dan is de vraag, wie van beide heeft de daarvoor zo doorslaggevende

“substantiële investering” gedaan? Is het dan TNT Post die het recht op de postcodetabel verworven heeft? Omdat TNT Post uiteindelijk een postcodebestand voor heel Nederland “bijelkaar bracht en ordende”? Anders dan gemeente Amsterdam met alleen “Amsterdam”?

Mag Amsterdam op haar beurt wel haar deel van de postcodetabel openbaar maken zonder dat zij daarbij TNT Post/Cendris schade berokkent? En zou degene die een nieuwe, van meet af aan “rechtenvrije” postcodedatabase wil opzetten, de postcodegegevens daarvoor simpelweg bij elke betrokken gemeente kunnen opvragen?

VNG, Vereniging van Nederlandse Gemeenten, VROM en TNT Post hebben daarover in het zgn.
http://bag.vrom.nl/bag_com/c6d5c0840b9c7223e80207d9cb6d7f5d.php][i]“Postcodeconvenant”[/i
afspraken gemaakt:

[quote]Intellectuele eigendomsrechten

Alle intellectuele (eigendoms)rechten welke ten aanzien van de Postcodes kunnen worden uitgeoefend berusten bij TPG Post. Dit omvat in ieder geval het postcodesysteem met de onderliggende postcodegegevens.

Het staat de centrale en decentrale overheid vrij om met in achtneming van en overeenkomstig hetgeen daaromtrent bij wet is bepaald aan derden Adressen te verstrekken inclusief de door TPG Post op grond van het Nader Convenant verstrekte Postcodes, met dien verstande dat de Postcodes noch door de centrale en decentrale overheid noch door derden voor commerciële doeleinden mogen worden verstrekt dan wel gebruikt.

Ook is afgesproken dat gemeenten bestanden met postcodegegevens niet mogen doorleveren aan private partijen.

Handleiding woonplaatsen
http://bag.vrom.nl/ufc/file/bag_sites/0577af3112645762d2b7e73cbd3a12ba/pu/Handleiding_woonplaatsen.pdf
[/quote]
Databases met programmagegevens van omroepen, telefoonnummers of gegevens van huizen die te koop staan, in de ogen van de betrokken rechters was dan weer wel, dan weer niet sprake van een substantiële investering:

[quote]Een databank is beschermd als er een een substantiële investering voor is gemaakt. Als een databank een bijproduct van een andere activiteit is, is deze niet beschermd als die andere activiteit primair gericht was op iets anders dan het maken van een databank.

Ius mentis - Databankbescherming in Nederland: ook voor spin-offs?

[/quote]
TPG en later TNT Post lijken de louter proces-ondersteunende functie van het postcodesysteem te onderschrijven:

[quote]Belang TPG Post

  • De postcode is en blijft voor TPG Post van eminent belang, enerzijds voor de postsortering die volledig op postcode geschiedt en anderzijds voor het tijdig en op de juiste plaats bezorgen van post.

  • TPG Post heeft er geen direct belang bij dat de postcode in de BRA wordt opgenomen. Wel is het zo dat het noodzakelijk is dat overheidsinstellingen de (juiste) postcode bij correspondentie gebruiken voor een tijdige aflevering.

Eindrapport Onderzoek postcode in het kader van de Basis Registratie Adressen

[/quote]

[quote]Hoe waarborgt TNT Post de kwaliteit van het postcodesysteem?

TNT Post heeft als geen ander een heel groot belang bij het feit dat het postcodesysteem klopt en van hoge kwaliteit is. Onze bedrijfsvoering leunt zwaar op de postcode als ordeningsprincipe. Denk aan onze sorteercentra en postbezorging waarin vele tienduizenden mensen werkzaam zijn.

TNT Post - Factsheet postcodes

[/quote]
Het postcodesysteem is een bijproduct van de kernactiviteit van TNT Post, “postvervoer”, en dus geen databank? Bij TNT Post zien ze de bui kennelijk al hangen want er wordt aan toegevoegd:

… en hebben het vermarkten van de postcodebestanden doorgeschoven naar TNT-dochter Cendris. Een andere jurist daarover weer:

In geval van nood gaan ze er anders van overheidswege wel voor liggen: [quote]De postcode heeft in de loop der jaren een andere en bredere functie gekregen dan alleen de postsortering, waardoor de postcode een publieke functie heeft gekregen.

Kamervragen postcodeproblematiek

[/quote]
Dat is natuurlijk ook zo:

[quote]Ons postcode dating systeem vind een leuke lekkere meid in jouw buurt die zin heeft in jouw.

MarktNet - Advertenties - Prijs: Gratis
http://www.marktnet.nl/Postcode-Dating-1795743.htm
[/quote]
Of anders, waar duikt een eerder geregistreerd en vervolgens uitgegeven bankbiljet weer op:

[quote]Biljet rapport

Biljet Vxxxx8716xxx is 2 keer ingevoerd.
Dit is een 5 eurobiljet uit 2002. De short code is Mxxxxx.
Dit betekent dat het biljet gedrukt is bij Fabrica Nacional de Moneda y Timbre (Spain - Madrid) voor Spanje.

Gebruikers die het biljet hebben geregistreerd zijn:

Gebruiker Datum Ingave Locatie Opmerking

Koen vde 2007-07-27 20:17:40 Antwerpen 2018
Roolio 2007-05-19 19:11:17 Beuningen 6641

EuroBillTracker - Volg je eurobiljetten in hun sporen!

[/quote]
… afkomstig van welke prijs in welk postcodegebied:

[quote]3 prijzen op postcode 6641
In wijk: Beuningen

Datum Postcode Prijs Soort
08/2006 6641 € 5
04/2006 6641 € 5
01/2006 6641 € 3

Quipus Postcode Loterij Statistieken
http://www.quipus.nl/postcodeloterij/prijzen.asp?PC=6641
[/quote]
TNT Post en licentiehouder Cendris, monopoliseren zij niet de postcode, geenszins zegt de minister om het voormalige staatsbedrijf en haar dochter uit de wind te houden …

Dank u wel, u mag weer gaan zitten, vervolgens geef ik het woord aan de heer Pors inzake KONINKLIJKE TNT POST B.V. en CENDRIS DATACONSULTING B.V. tegen De MINISTER VAN VERKEER EN WATERSTAAT gevestigd te Den Haag:

[quote]1. Zoals in de gronden voor het bezwaar al aangegeven, is TNT Post de producent van het Postcodebestand. Cendris exploiteert het Postcodebestand op grond van een licentie van TNT Post, onder de naam Postcodetabel.

  1. Het Postcodebestand bevat uiteraard alle postcodes voor Nederland, maar daarnaast nog veel meer informatie. Het is een systematisch geordende verzameling van onder meer woonplaatsnamen, straatnamen, huisnummers, postcodes en overige informatie waarmee dit bestand verder verrijkt is. TNT Post heeft gedurende vele jaren substantieel geïnvesteerd in het Postcodebestand, zowel in de productie van het bestand als in de controle en de presentatie van het bestand. Het Postcodebestand moet dan ook worden aangemerkt als een databank in de zin van de Databankenwet en de DatabankenRichtlijn, waarvan TNT Post de producent is.

Ambtelijke bezwarencommissie VWS - Pleitnotities gemachtigde TNT Post/Cendris
http://www.verkeerenwaterstaat.nl/Images/20081545%20bijlage%201%20bij%20het%20verslag_tcm195-220171.pdf
[/quote]
Dit is dus wat ze tegen je proberen in te brengen:

… als je dit fout doet:

Heel ver kwam Bird & Bird niet:

[quote]6 Beslissing

  1. Op grond van hetgeen hiervoor onder 3. is overwogen, worden de bezwaren van TNT Post en Cendris ongegrond verklaard.
    In het NWB zal niet op postcode gezocht kunnen worden.

Min. V. & W. Eurlings - Beslissing op bezwaar
http://static.ikregeer.nl/pdf/BLG15750.pdf
[/quote]

Hoe gaat het met de nieuwe gratis ‘postcodetool’ waar Webwereld
http://webwereld.nl/articles/53395/gratis-postcodetool-gaat--open-source-.html
een maand geleden over schreef:

[quote]Gratis postcodetool gaat ‘open source’

6PP is een gratis webdienst voor conversie van postcodes naar straten en woonplaatsen. Het is een initiatief van webontwikkelaar Kees van den Broek. Hij verzamelde welke straatnamen bij welke postcodes horen via een zelfgeschreven webspider die websites afspeurt naar postcodes.

De postcode-lookup is onder meer handig voor webformulieren waarbij mensen hun adres moeten invullen. Na invullen van de postcode vult het systeem automatisch de straat- en plaatsnaam in. Het gebruik van een database met alle postcodes kost normaal gesproken geld.[/quote]
Zo te zien vindt van den Broek het al heel mooi als “6PP” een straat- en plaatsnaam kan leveren aan webformulieren. En dat is het ook, het blijft toveren. Al moet je de invuller van je formulier wel op een slimme manier weten duidelijk te maken dat hij of zij vooral niet met zijn of haar adres moet beginnen. Dat wordt wel eens irritant of soms zelfs met een snauw opgelost, weg magie.

En, alleen de straat- en plaatsnaam bij een postcode leveren, daar zie ik hem nog wel mee wegkomen, dat zullen “bronhouder” TNT Post en “licentienemer” Cendris minder snel als inbreuk beschouwen.

In de toen meteen maar opgehaalde database-snapshot kon je zien wat de opbouw van het bestand was:

CREATE TABLE "addressentry" ( id INTEGER NOT NULL, created TIMESTAMP NOT NULL, postcode VARCHAR(6), street VARCHAR, streetnumber VARCHAR, city VARCHAR, source VARCHAR, PRIMARY KEY (id) );
De website van “6PP”
http://kvdb.net/projects/6pp/
vandaag:

Afgemeten aan “… de laatst bekende omvang van 640.000 postcodes”. Dat is verwarrend, want tot voor kort waren er helemaal geen huisnummers (en geen postbussen) in de tabel van “6PP” opgenomen.

Geen huisnummers? Dan ook geen “links” en “rechts”, en dus geen “oneven” en “even” regels. De betreffende postcodetabel ‘aggregeert’ in dat geval alleen over postcode en straatnaam, dan komt je uit op een wat kortere tabel van een dikke 490 duizend regels. In dat geval zou het “vrije postcodebestand” van “6PP” met bijna 489500 regels al redelijk compleet zijn?

Volgens het getoonde schema was het echter wel de bedoeling om achter een postcode ook een huisnummer te vermelden. Zo’n volledige tabel met regels voor steeds één postcode met steeds één huisnummer zou veel langer worden dan die geschatte 640.000 regels. Ook al blijken de beschikbare reeksen huisnummers vaak genoeg maar voor de helft in gebruik te zijn. Wat dan hier en daar weer gecompenseerd wordt door de huisnummertoevoegingen, zoals te zien in deze “Testset Postcodetabel” die bij data-leverancier Cendris opgehaald
http://www.cendris.nl/fileadmin/data/document/zip/cendris_pct_testset.zip
kan worden:

[code]Cendris Postcodetabel op HUISNUMMER-niveau:

1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100085
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100087HS
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100087I
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100087II
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100087III
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100089
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100093
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100095HS
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100095I
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100097HS
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100097I
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100097II
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100097III
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100099HS
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100099I
1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L21100099II[/code]
De lengte van zo’n lijst “op huisnummerniveau” zou zonder en met huisnummertoevoegingen 7,5 of 8 miljoen regels zijn, op dat moment zou het “percentage ingevuld” van “6PP” zakken naar wat is dat, 6 of 7 procent?

Aan de eerder getoonde opzet zit ook nog iets van een privacy-aspect, dit is uit een van de snapshot’s die van “6PP” genomen is:

postcodereeks aantal bron 1000AD 3700AM 57 pvdv 1011AA 9999XL 453086 buurtlink.nl 1011DA 9999ZZ 2819 zoekplaats.nl 2152SM 2152SM 1 *quicknet.nl 2282DR 2282DR 1 *gmail.com 2513KH 2614HT 2 Harry 2800CC 2800CC 1 *internetgilde.nl 3826EG 3826EG 1 Alfons van Z.... 4200AR 9700AH 3 Samplevb.net 5951DN 5951DN 2 M.... 7500AE 9264LV 3 user 7522ZB 7522ZB 1 Hans B.... 8319AB 8319AB 1 Gevonden op schokland.nl - *gmail.com
Je kan het hieraan al een beetje zien, gecombineerd naar bron zou daar later eventueel van alles uit op te maken zijn, zeker als er grotere aantallen vermeldingen, afkomstig van crawler’s ingeleverd gaan worden. Wat als bijvoorbeeld door zo’n schraper deze of gene ledenlijst
http://www.google.com/search?q=leden+postcode+nl+ext%3Axls
in Excel aangetroffen wordt, de postcode en mogelijk ook het huisnummer van ieder lid komt dan onder dezelfde gemene deler in de “6PP”-database te staan. Postzegelverzamelaars, carnavalsvereniging? Psoriasispatienten? Dat wil je helemaal niet.

CBS doet daar ook om die reden iets aan in haar “kerncijfer”-bestand
http://www.cbs.nl/nl-NL/menu/themas/dossiers/nederland-regionaal/cijfers/incidenteel/maatwerk/toelichting-kerncijfers-postcodegebieden-20041.htm
op basis van de 6-positie-postcode:

Als je nu bij “6PP” een ‘snapshot’ van de database ophaalt dan wordt duidelijk dat er sprake is van voortschrijdend inzicht:

CREATE TABLE 'addressentry' ( id INTEGER NOT NULL, created TIMESTAMP NOT NULL, postcode VARCHAR(6), street VARCHAR, streetnumber_begin INTEGER, city VARCHAR, source VARCHAR, streetnumber_end INTEGER, preference INTEGER, active BOOLEAN, PRIMARY KEY (id) );
Men heeft bij “6PP” dus plaats ingeruimd voor een postcode met een huisnummerreeks, alleen de oneven-even-indicator ontbreekt nog. Maar er wordt op dit moment sowieso nog niet geaggregeerd door “6PP”:

postcode straat laag hoog 3083CX Zuidplein 346 346 3083CX Zuidplein 374 374 3083CX Zuidplein 376 376 3083CX Zuidplein 384 384 3083CX Zuidplein 388 388 3083CX Zuidplein 400 400 3083CX Zuidplein 434 434 3083CX Zuidplein 458 458 3083CX Zuidplein 464 464 3083CX Zuidplein 470 470 3083CX Zuidplein 534 534 3083CX Zuidplein 536 536 3083CX Zuidplein 568 568 3083CX Zuidplein 594 594 3083CX Zuidplein 664 664 3083CX Zuidplein 678 678 3083CX Zuidplein 686 686
Een adres is als het erop aan komt al beter te controleren op basis van én de postcode én het voorkomen van het huisnummer in de bijbehorende reeks. Dat biedt ook soelaas voor een aantal postcodes met meer dan een straatnaam:

[quote]Zoeken van postcodes of adressen

De basis van de postcode database op reeksniveau zijn de circa 640.000 postcodes met bijbehorende even of oneven huisnummerreeks (bijv. 2,4,6,8 etc). Bij zo’n combinatie van postcode en huisnummerreeks hoort altijd maar één straat en dus ook maar één plaats. Het kan dus voorkomen dat een postcode 2 straten of meer bevat, maar aan de hand van het huisnummer kan de juiste straat achterhaald worden.

Postcode.nl - Postcode database van Nederland
http://www.postcode.nl/index/75/1/0/postcode-database-van-nederland.html
[/quote]
En voor “6PP” zou de resulterende tabel weer hanteerbare afmetingen gaan krijgen. Vergelijk het uitgeschreven “Zeedijk”-lijstje hierboven met de één-regelige “het-huisnummer-moet-tussen-85-en-99-liggen”-Zeedijk:

[code]Cendris Postcodetabel op REEKS-niveau:

1012AT00008500099AMSTERDAM AMSTERDAM ZEEDK Zeedijk L211[/code]
De inzetbaarheid van de service van kvdb.net/projects/6pp/ zou dan toenemen, bijvoorbeeld voor dit soort toepassingen:

[quote]Alle orders die ingestuurd worden via EDI gecontroleerd op juistheid van de adresgegevens.

  • Aflevergegevens die correct zijn worden gewoon (zonder verdere melding) verwerkt

  • Aflevergegevens die qua huisnummer en postcode kloppen, maar waar de straatnaam afwijkt van hetgeen is ingestuurd dan wordt de order verwerkt, maar wordt wel in de EDI (http) melding terug weergegeven:
    According to our pstc-check, namc has been changed from “Dedooruingez.str. 1a” to “Dedooruingezondenstraat 1A”.

  • Aflevergegevens die qua postcode niet kloppen worden NIET verwerkt noch geaccepteerd. In de EDI (http) melding die wordt weergegeven staat:
    Pstc does not exist in pstc database

  • Aflevergegevens die qua huisnummer buiten een postcode-reeks vallen worden NIET verwerkt noch geaccepteerd. In de EDI (http) melding die wordt weergegeven staat:
    Housenumber “xxxxx” not within range (xxxxx - xxxxx)

ETC - Best’Store
http://www.etcdistribution.nl/beststore/bw-site.nsf/v01013/sounds/$FILE/EDI_error_returncodes.txt
[/quote]
Als men de huisnummerreeksen van “6PP” behoorlijk zou weten in te vullen kom je in zo’n geval dus een heel eind al blijven er beperkingen aan een tabel “op reeksniveau”:

[quote]Niet alle huisnummers binnen een reeks hoeven daadwerkelijk te bestaan, met de TNT postcode database op huisnummerniveau is het wel mogelijk om te controleren of een huisnummer daadwerkelijk bestaat. Deze database geeft elk postaal afgiftepunt weer inclusief de toevoeging. Zo kunt u altijd controleren of een adres daadwerkelijk bestaat.

Postcode.nl - Postcode database van Nederland
http://www.postcode.nl/index/75/1/0/postcode-database-van-nederland.html
[/quote]
Een snoodaard die een deel van zijn crimineel verworven opbrengst herinvesteert in zo’n dure, geheel uitgeschreven huisnummertabel, die kan immers daarin een niet-bestaand adres selecteren dat wel in een bestaande huisnummerreeks voorkomt. Voor een webwinkel als hierboven aangehaald al reden tot voorzichtigheid, helemaal bij het aanleggen en het onderhoud van de nieuwe basisregistraties
http://www.foondump.nl/forum/viewtopic.php?p=2663#2663
van de overheid.

Experiment …

Een ‘random’ selectie van duizend postcodes aan de websearch-API’s (Yahoo
Application programming interface - Wikipedia]Application Programming Interface
) van Google en [url=http://developer.yahoo.com/search/web/V1/webSearch.html[/url] gegeven om te proberen bij iedere postcode ook een straatnaam te krijgen. *

Daarbij is het zaak je zoekvraag zo te stellen dat het gevonden adres volledig of in de url of in de samenvatting getoond zal worden, ook als je via de API zoekt:

[quote]
1011 hz (Verversstraat 1-157, Amsterdam) · 1011 ja (Verversstraat 2-40, Amsterdam). Kies een supermarkt-keten. alles, AH, Aldi, Bas, C1000, Digros, Dirk …
www.super-zoeker.nl/Noord-Holland/Amsterdam/Verversstraat/1011hz/ - 8k -[/quote]
De postcode werd in eerste instantie - bijv. zoals nummer 1 van de selectie, “1011 HZ” - beurtelings kaal als “1011HZ” en als “1011.HZ” aan de query meegegeven en vervolgens nog eens in combinatie met de plaatsnaam, dus “10111HZ Amsterdam” en “1011.HZ Amsterdam” om te kijken of dat helpt. Het merendeel van de straatnamen komt er al zonder plaatsnaam uit. **

Om te beginnen met 1000 x opvragen via de (nieuwe) Google-api geeft 907 links verdeeld over 293 verschillende webadressen:

bron aantal 2miljoen.nl 13 aannemers.telefoongids.com 1 adresopzoeken.nl 1 advizier.nl 1 afdeling5.nl 1 ... .. ... .. zorgadressen.nl 2 zoutkamp.straatinfo.nl 1 zuka.nl 9 zwammerdam.straatinfo.nl 1 zwembadgids.nl 1
De resterende 93 postcodes met een nog oningevulde straatnaam via de Yahoo-api opvragen levert nog eens 58 straatnamen op.

Van de laatste 35 lege straatnamen komen er alsnog respectievelijk 26, 29 of 32 uit de Google-api als de query met de ‘site’-operator verfijnd wordt voor buurtlink.nl, nederland-in-beeld.nl of brandstof-zoeker.nl (uitwisselbaar met super-zoeker.nl, al presteert deze iets minder in de indexen van zoekmachines want hanteert geen ‘sitemap’).

Deze laatstgenoemde vorm van zoeken levert voor iedere ‘target’ afzonderlijk consistent dezelfde schrijfwijze van het gevonden adres - wat ‘extractie’ van de gezochte gegevens uit de omringende tekst eenvoudiger maakt dan bij “wild” zoeken - en als bonus komen daaruit ook nog eens de huisnummerreeksen voor een ingegeven postcode, zie hierboven. Daarbij zijn de webpagina’s waar deze gegevens uit komen zo ingericht dat alle postcodes voor een bepaalde straat op één pagina voorkomen of alle straten voor een plaats of alle plaatsen voor een provincie. Dit verhoogt sowieso de trefkans maar je zou ook gericht hele pagina’s via de Google-api uit de cache kunnen opvragen.

Twee van de drie overblijvende lege straatnamen heeft kvdb.net/projects/6pp aka 6PP nog. Dat zijn de straatnamen bij deze postcodes die eerder door iemand van 6PP rechtstreeks bij buurtlink.nl zelf werden weggeschraapt. Dus niet zoals in dit proefje - nog maar eens voor de duidelijkheid - gevonden door via hun API te zoeken naar de bijbehorende adressen in de eerder door Google en Yahoo opgeslagen versies van deze en andere webpagina’s. De straatnaam bij de derde en laatste postcode heeft 6PP eveneens maar die klopt niet. ***

Alles bijelkaar genomen een verrassend hoog percentage en het bevestigt wat ik al vermoedde, je kan bij Google en Yahoo heel goed een straat- en een plaatsnaam via een postcode opvragen en daarbij ook een groot aantal bronnen aanspreken zonder dat je daarvoor nog eens bij de bewuste websites zelf hoeft aan te kloppen.

Mogelijk hou je in deze opzet de ‘bronhouder’ van het postcodebestand wat meer op afstand:

  • er is nu geen sprake van “herhaald en systematisch opvragen” uit één enkele databank want de gegevens zijn afkomstig van een groot aantal verschillende bronnen

  • de getoonde 'snippets' met adresgegevens zijn afkomstig van in een eerder stadium al door Google en Yahoo naar de eigen opslag overgehaalde webpagina's, de 'cache', en die doen dat alleen als de eigenaar impliciet toestemming geeft, anders had deze de 'crawlers' van zoekmachines bijvoorbeeld met behulp van een http://nl.wikipedia.org/wiki/Robots_Exclusion_Protocol][i]"robots.txt"[/i -bestandje wel tot staan gebracht ****
Tot zover over "indirect schrapen". Er is een nog weer wat andere draai aan de hele opzet te geven, daarover binnenkort verder ... _________ [size=9]*) Dit keer nog wel uit het echte postcodeboek. Zelf een postcodetabel maken? Dat kan, het uitgangsprincipe ligt vast, het viercijferdeel loopt van 1000 naar 9999 en het tweeletterdeel van AA naar ZZ, dat resulteert in tabel met een lengte van 9000x26x26 regels.

Laat je de op de cijfers lijkende letters F, I, O, Q, U en Y die niet gebruikt worden, daaruit weg, alsmede de combinaties SA, SD en SS, dan wordt de lijst al korter, 9000x20x20-9000x3. Betrek daarin een zogeheten 4-positie-postcodetabel dan kan over het viercijferdeel van de postcode gelinkt worden met plaatsnamen zoals die voorkomen in bijvoorbeeld een van beschikbare
TNT Express zendingen | TNT Netherlands]deze
vier vrij [url=http://nl.wikipedia.org/wiki/Lijst_van_postcodes_in_Nederland[/url] 4-positie-postcodetabellen. Voor de lijsten met alleen postcode-bereiken steeds de plaatsnaam nemen waar een postcode in valt (where [postcode] between [postcode_laag] and [postcode_hoog]).

Als heilzaam neveneffect daarvan wordt de tabel nog eens de helft kleiner, immers alle niet in gebruik zijnde viercijferige postcodes sluit je daarmee uit. Wat nu nog overblijft is een te groot aantal niet-toegekende lettercombinaties, maar de tabel is in ieder geval in databankenwet-opzicht “steriel”, niet besmet.

Een ‘clean-room’ benadering als deze, geheel los van het bestaande postcodeboek een “synthetische” postcodetabel construeren, geeft je een voorsprong als je je moet verweren tegen klachten als zou je gegevens onwettig overgenomen hebben. Een dergelijke aanpak gebruikte Compaq destijds om de BIOS van de toen nog gloednieuwe Personal Computer (PC) van IBM als eerste zonder juridische repercussies te ‘clonen’ (wat ook tot een gigantische PC-industrie op basis van de daarna ver doorgevoerde standaardisatie geleid heeft).

**) Dit kan ook: “1011HZ*Amsterdam” maar of dat betere resulaten geeft moet nog blijken. Er zitten af en toe subtiele verschillen tussen wat je bij het uitproberen uit de gewone webinterface (de zoekpagina) ziet komen en wat uiteindelijk via de API lukt.

***) gewerkt
http://kvdb.net/projects/6pp/proxy.php?method=lookup&postcode=5711%20NE&streetnumber=]6PP
heeft voor postcode 5711 NE: “Floreffestraat Someren”, gevonden bij zoekplaats.nl. Maar de postcode voor “Floreffestraat, Someren” loopt volgens postcode.nl van 5711 AA tot 5711 AE. Voor 5711 NE heeft postcode.nl adressen “Dagpauwoog, 2 t/m 60, Someren”. Een verse postcode waar nog aan [url=http://onlineservices.ecsit.nl/1_8/index.php?gemeenteId=84700&page=dossier&dossier=A168&option=locatie[/url] wordt?

****) Gegevens uit een database al dan niet opzettelijk laten indexeren is kennelijk
http://www.opta.nl/download/202118+besluit+handhavingsverzoek+omgekeerd+zoeken.pdf
al een probleem:
“Tevens geeft DTG aan dat omgekeerd zoeken mogelijk wordt doordat aanbieders van abonnee informatiediensten via internet (de bestanden van) hun websites indexeerbaar maken teneinde meer verkeer te genereren naar de betreffende websites. Het gevolg is dat deze bestanden en websites via zoekmachines zoals Google kunnen worden doorzocht, onder meer door het opgeven van een telefoonnummer. Als zoekresultaat worden vervolgens naam-en adresgegevens gepresenteerd. Door deze indexering maken de betreffende aanbieders dus de facto een “omgekeerd zoeken” dienst mogelijk. DTG verzoekt het CBP en het college tegen deze praktijk (van indexeren) eveneens op te treden.”

Daarbij moet aangetekend worden dat klager, De Telefoongids, en de door haar overgenomen Gouden Gids zich zelf ook “schuldig” maken aan “zoekmachine-lokken”. De twee door Google “geindexeerde” websites, detelefoongids.nl en goudengids.nl waren samen goed voor praktisch een derde van mijn straatnaam-bij-een-postcode-resultaten, respectievelijk detelefoongids.nl met 214 en goudengids.nl met 135 resultaten. In een latere versie proberen dat beter te verdelen over alle beschikbare bronnen, de code sprong nu onmiddelijk als het een straatnaam gevonden had uit de lus met voor Google maximaal 32 resultaten (of 64, daar ben ik nog niet achter). [/size]

Terug naar het experiment met 1000 postcodes, voor bijna iedere postcode kom je bij Google of Yahoo op een straatnaam, en die straatnaam wordt al volledig getoond in hun lijst met zoekresultaten, dus zonder dat je moet doorklikken naar de oorspronkelijke website zelf.

Van die 1000 straatnamen kwamen er 35 niet zomaar uit. Een meer op een specifieke website toegespitste zoekvraag hielp het eindresultaat naar 997 van de 1000.

Als dat vrij opvragen bij Google en Yahoo echt zo goed gaat, waarom zou je al die straatnamen en postcodes dan uberhaupt nog ophalen om in je eigen databank bij elkaar te gaan zetten? Gewoon laten staan waar ze staan, krijg je ook geen ruzie met TNT Post, de “bronhouder” van de (mogelijk door de Datatabankenwet beschermde) postcodedatabank.

Nee, wie wil weten welke straatnaam bij een postcode hoort, die gaat dat net als ik zelf opvragen bij Google of Yahoo. Bijvoorbeeld via een daarvoor ter beschikking gestelde ‘open source’-applicatie. Stel, deze nieuwe ‘validatie’-software krijgt in 95% van de gevallen al rechtstreeks antwoord van een van de betrokken zoekmachines, voor de resterende 5% straatnamen zou een daartoe ingebouwde routine kunnen terugvallen op een alternatief:
— een niet of nog niet geindexeerde pagina alsnog rechtstreeks bij de betrokken website opvragen?
— incidenteel alsnog opvragen bij de betaalde “postcodevalidatie”-serviceprovider, tarief “Zoeken en verrijken op reeksniveau 1 x 0,06 eurocent”?

Of, je bezorgt de toekomstige gebruikers van je rechtenvrije postcodezoeker een gemeenschappelijke ‘fallback’-voorziening met daarin het verschil aan straatnamen die er bij de zoekmachines niet uitkomen. De betreffende webpagina’s worden op dat moment (nog) niet door Google of Yahoo geindexeerd en iets van een voorziening doet nu de klok rond zijn best om vast te stellen welke straatnamen dat zijn en probeert deze ontbrekende straatnamen alsnog in de caches van Google en Yahoo terecht te laten komen, via eigen webpagina’s, eventueel met behulp van daartoe geeigende SEO-technieken. En anders zijn deze reservegegevens wel langs een andere weg opvraagbaar te maken voor de uitgezette postcodezoeksoftware.

Als de hoeveelheid ontbrekende straatnamen inderdaad beperkt blijft en de lijst met de hiervoor beschreven “zoveel-mogelijk-bronnen”-methode samengesteld wordt, zou men jou dan nog met goed fatsoen van enige inbreuk op het databankrecht kunnen betichten? Welke server? Welke gebruikers? De eigenlijke servertaak wordt waargenomen door de genoemde zoekmachines en wie daar gebruik van maakt weet je niet.

Todo, eh, niet oplossen maar uitzoeken:
— wat staat hierover in de gebruiksvoorwaarden voor de Google- en Yahoo-API?
— door zoekmachines geindexeerde webpagina’s van een ander waarin een ingetrokken postcode voorkomt kan je niet zelf laten verwijderen, dat impliceert een een of andere ‘skiplist’ met updates?

Opvragen van straatnamen op de manier zoals hiervoor beschreven: dat kan om te testen ook mondjesmaat rechtstreeks
http://blogoscoped.com/archive/2008-04-09-n26.html
buiten zo’n API om, maar bijvoorbeeld Google wil jou om die reden wel eens op de vingers tikken:

[quote]We’re sorry…
… but your query looks similar to automated requests from a computer virus or spyware application. To protect our users, we can’t process your request right now.

We’ll restore your access as quickly as possible, so try again soon. In the meantime, if you suspect that your computer or network has been infected, you might want to run a virus checker or spy ware remover to make sure that your systems are free of viruses and other spurious software.

If you’re continually receiving this error, you may be able to resolve the problem by deleting your Google cookie and revisiting Google. For browser-specific instructions, please consult your browser’s online support centre.

We apologise for the inconvenience and hope we’ll see you again on Google.

Wikipedia - Google search

[/quote]
Voor geautomatiseerd opvragen hebben ze dus die API’s ingericht, daar kan je bijvoorbeeld al rechtstreeks vanuit de browser terecht …

    [img]http://img199.imageshack.us/img199/4396/roomtuintjes.gif[/img]
.. met behulp van een klein beetje javascript, als test: [code] Straat- en plaatsnaam bij postcode via Google [/code] Webformulieren kunnen ook een straatnaam gaan ophalen via een zgn. 'proxy', bijvoorbeeld dit minimale voorbeeld bij JSON http://developer.yahoo.com/javascript/howto-proxy.html]Yahoo die dan in aangepaste vorm straat- en plaatsnaam uit een teruggeven zoekresultaat van Google of Yahoo zeeft en vervolgens gaat vertalen naar een van de gangbare formaten waarin het naar de aanvragende browser teruggestuurd kan worden. Voor een gebruiker die niet beter weet lijkt het daarna alsof ze net als daarvoor rechtstreeks van een serviceprovider als AdresXpress of Webservices.nl komen. Of van 6PP natuurlijk. Anders dan de twee andere aanbieders levert deze de gegevens ook terug in het zgn. [url=http://nl.wikipedia.org/wiki/JSON[/url]-formaat, 6PP heeft een voorbeeld daarvan op de website: [code]{"result": [{"city": "Hilversum", "street": "Oude Amersfoortseweg", "postcode": "1212AB"}]}[/code] In een nieuwe indirect-zoeken-opzet zou de voorgaande regel dan het zoekresultaat van Google zijn geweest, ontdaan van de volgende ballast: [code]{"responseData": {"results":[{"GsearchResultClass":"GwebSearch","unescapedUrl":"http://www.nederland-in-beeld.nl/Noord-Holland/Hilversum/Oude Amersfoortseweg.html","url":"http://www.nederland-in-beeld.nl/Noord-Holland/Hilversum/Oude Amersfoortseweg.html","visibleUrl":"www.nederland-in-beeld.nl","cacheUrl":"http://www.google.com/search?q=cache:mCQ64TqleaIJ:www.nederland-in-beeld.nl","title":"Hilversum > Oude Amersfoortseweg luchtfoto's / foto's | Nederland ... ","titleNoFormatting":"Hilversum > Oude Amersfoortseweg luchtfoto's / foto's | Nederland ...","content":" ... Huisnummers 143 t/m 179 - oneven ( 1212AB ), Huisnummers 154 t/m 186 - even ( 1212AK), Huisnummers 181 t/m 223 - oneven (1212AC), Huisnummers 188 t/m 206 ... "}],"cursor":{"pages":[{"start":"0","label":1}],"estimatedResultCount":"1","currentPageIndex":0,"moreResultsUrl":"http://www.google.com/search?oe=utf8&ie=utf8&source=uds&start=0&lr=lang-nl&hl=nl&q=site:nederland-in-beeld.nl+1212AB"}}, "responseDetails": null, "responseStatus": 200}[/code] Na de query: [code]h**p://ajax.googleapis.com/ajax/services/search/web?v=1.0&hl=nl&q=site:nederland-in-beeld.nl+1212AB[/code] Als gezegd, behalve straat- en plaatsnaam is langs deze weg ook een huisnummerreeks bij een postcode op te vragen. De "dekkingsgraad" van Google en Yahoo is op dat punt even groot. Suppletie van hetzelfde complementaire percentage ontbrekende gegevens ligt even wat anders, naar schatting 5% procent van de huisnummerreeksen die in het postcodebestand zitten en die nog niet door Google of Yahoo geindexeerd zijn, moet in dat geval rechtstreeks opgehaald worden bij en zorgvuldig verdeeld over het aantal websites dat daadwerkelijk huisnummerreeksen in menu's en formulieren hanteert. Want een complete huisnummerreeks bij een postcode vindt je niet meer zomaar met wat 'crawlen'.

Hoe goed je in je recht staat als je voor deze, relatief kleine, aanvulling van de ontbrekende gegevens louter straatnamen verzamelt - indirect gekoppeld aan de postcodes die je bij een groot aantal door zoekmachines geindexeerde bronnen hebt aangetroffen - en of en hoeveel minder dat wordt als je je tot een veel kleiner aantal rechtstreekse bronnen met huisnummerreeksen zou beperken, wie zal het zeggen.

Wat dat aanvullingen bijelkaar zoeken aangaat, als het op scherpslijpen aankomt heeft zoeken op postcode via een straatnaam, anders dan een straatnaam bij een postcde, waarschijnlijk de voorkeur. Immers, een straatnaam is “publieker” bezit dan een postcode, al is het nog oppassen geblazen als een ander die verzameld en geordend heeft, en zoals in een postcodetabel, in relatie met elkaar gebracht, dan vallen ze - mogelijk - in hun geheel weer onder de Databankenwet.

6PP vertelt niet op de website, hoe ze de aangeboden postcodes valideren.
Hoe weten ze bijvoorbeeld dat hun database voor exact 78,22% volledig is?
Dat kunnen ze alleen exact berekenen, als ze de volledige database gebruiken als referentie.

Voor het opvragen van een postcode bij Google of Yahoo, heb je overigens al een lijst nodig met alle bestaande postcodes.
Ik neem aan dat je niet alle mogelijke combinaties van 1000AA t/m 9999ZZ wilt gaan opvragen bij Google.

Hoe los je dat op Weerman?

He Jan Peter

Kan nu geen verbinding maken met kvdb.net, 6PP dus, maar ik zag van de week dat hij die volledigheids-mededeling niet meer heeft staan, in de cache
http://74.125.77.132/search?q=cache:wXlJFg1tHwkJ:kvdb.net/projects/6pp/+6pp&hl=nl&strip=1
van Google ook niet meer.

Over het opvragen van een postcode bij Google of Yahoo:

het idee is eigenlijk dat je niet meer een hele lijst gaat zitten opvragen. Iedereen doet dat incidenteel zelf voor de postcode die hij of zij op dat moment aan het invullen is.

Is ie er onverhoopt niet, die postcode, dan gaat dat software-gevalletje dat daarvoor gemaakt zou zijn, hem ergens anders ophalen. Jij kan eventueel terugvallen op het abonnement dat je al had? Mogelijke besparing, 95%. Als je niet door de ondergrens zakt, want in ieder geval bij Webservices.nl vervalt het minimum aantal vooruitbetaalde keren opvragen dat na een jaar resteert.

Wel in bulk opvragen valt in deze opzet onder Plan-B: iemand als Kees van den Broek van 6PP zou bij zichzelf te rade kunnen gaan en zeggen, als dat werkt dan ga ik de vast te stellen lacunes in de dekking van beide zoekmachines opvullen.

In dat geval kan je daar op verschillende manieren naar kijken:

a) het lijkt erop dat het dan zou gaan om een ondergeschikt gedeelte van de gehele verzameling, die van zichzelf in alle opzichten is losgekoppeld van kopiëren en herpubliceren. Net als het bij het onderhoud van een eigen database mag je daarbij de hulp inroepen van een postcodebestand?

b) stel, jij bent het daar niet mee eens. Ik zei het al in het voorgaande deel, het is misschien zuiverder om vanuit een straatnamentabel naar postcodes te gaan vragen als je in bulk wil gaan webschrapen?

Straatnamentabel? Alle ogen zijn hier gericht op Kwatta, dwz. het vrij te geven Nationaal Wegenbestand. Per 1-1-2009 zoals toegezegd halen we dan weliswaar niet, dit is van begin deze maand:

[quote]De minister van Verkeer en Waterstaat zal geen verzoeken om toestaan
hergebruik NWB in behandeling nemen c.q. de behandeling van ingediende
verzoeken aanhouden, zolang de bestuursrechter nog niet beslist heeft op
het beroep van Falkplan-Andes BV tegen de beslissing op bezwaar van de
minister waarin hij het NWB openbaar maakte en hergebruik vooralsnog
niet toestond.
Nog niet is bekend wanneer de bestuursrechter het beroep zal behandelen.[/quote]
Via het NWB krijg je ook huisnummer informatie, zij het niet gekoppeld aan de postcodedelen van een straat maar aan de hele straat of aan een NWB-deel van die straat.

c) als je inschat dat je je uitgangspositie juridisch nog verder moet optuigen dan kan je wel degelijk mijn recept
http://www.foondump.nl/forum/viewtopic.php?p=3203#3203
voor een synthetische postcodetabel gebruiken. Een stuk langer dan je wil maar gekoppeld aan een 4-positie-postcodetabel slinkt die al tot de helft van het potentiele totaal.

Waar ik ook achter ben inmiddels, in bulk opvragen leidt al snel tot een bijvangst aan postcodegegevens die die waar je naar vroeg overtreft, dat gaat heel hard. Als je je zoals gezegd zou willen beperken tot een straatnaam bij een postcode, dan zou ik daar niet al te veel tegenop zien, een deels virtuele en dus langere tabel afgaan bij het opvragen.

d) heb je voor je juridische bijstand iets van een oorlogskas zoals onze held
http://www.twentevisie.nl/pdf/0012-06.pdf
hier, twee keer failliet inmiddels, dan jas je je hele tabel door eSort, een bulkmail-applicatie en tevens een zeer democratische want gratis postcodetabel van TNT Post. Aan de ander kant komen daaruit dan een groot aantal rolcontainers met vanwege een ongeldige postcode afgekeurde poststukken. Daarmee ram je TNT Post midscheeps. Argument: er kan geen sprake zijn van databankenwet aanspraken, want het is puur de lijst met postcodes die zij nodig heeft om post te sorteren, niet verrijkt met straatnamen of zo, niet zeuren.

Samenvattend:

je moet het dus uit elkaar trekken, allereerst is daar een “argeloze” manier van opvragen: “site:nl+1212ab”, dat is het. Zonder voorwetenschap, zoals de schrijfwijze van een langere straatnaam bijvoorbeeld. Uit de eerste 8 alinea’s zoekresultaten van de Google-API is dan al heel goed af te leiden hoe een straatnaam met spaties is samengesteld, de meeste stemmen gelden, als het ware. Waar ik het nog niet over gehad heb, die resultaten daarvan zou je nog door de clients-out-there bijvoorbeeld naar 6PP kunnen laten doorseinen. Net echt, daarvoor een dure term verzinnen? Distributed scraping?

Anderzijds de niet-publieke basis van een eventueel door jou ter beschikking te stellen aanvulling op de gaten in de grote postcode-wolk die van Google en Yahoo komt. Als je zover zou willen gaan.

[quote]Introductie postcode

In 1977 introduceert PTT de postcode. De postcode maakt het mogelijk om zowel op plaatsnaam als op wijk automatisch te sorteren. Tegenwoordig zijn de sorteermachines zo geavanceerd dat ook op huisnummer wordt gesorteerd.

TNT Post - Iconen Van De Post
http://www.iconenvandepost.nl/
[/quote]

Ze doen er daar op die pagina nu wel zonnig over maar post sorteren was lange tijd voornamelijk handwerk. En wat niet hielp, ook voor de introductie van de postcode was het kennelijk een hele toer om de klanten van de PTT bij de les te houden. Voorbeelden van het gebruik van wat was het ook alweer, aanvoegende wijs?, gebiedende wijs, respectievelijk uit 1966 en 1975:

    [img]http://imageshack.us/a/img26/3799/doolhof.jpg[/img]__[img]http://imageshack.us/a/img545/1527/woonplaats.gif[/img]
In dezelfde trant werd in 1977/1978 ook het gebruik van de postcode bij het publiek geïntroduceerd. Want dat hebben we geweten, zij hadden er vanaf nu graag de postcode bij. Via affiches, huis-aan-huisbrieven, tv-spotjes en folders worden we er maar eens goed met de neus ingewreven:
    [img]http://img175.imageshack.us/img175/8589/gebruikhemgoedpj8.gif[/img]
Voor deze "uitingen", alsook voor de omslag van een gloednieuw"Postcode"-boek http://www.iconenvandepost.nl/site2/icoon.php?id=7485383 :
    [img]http://img175.imageshack.us/img175/1987/postcodeboek1gw7.gif[/img]__[img]http://img187.imageshack.us/img187/8532/postcodeboek2kz2.gif[/img]
.. en een tegelijkertijd uitgebrachte "Postcode"-zegel http://www.iconenvandepost.nl/site2/icoon.php?id=8434439 :
    [img]http://imageshack.us/a/img194/6065/postzegel.gif[/img]
.. werd een eigen lettertype http://www.precious-forever.com/2008/07/31/postcode/ ontworpen:
    [img]http://img175.imageshack.us/img175/589/lettertypezn1.gif[/img]
Had je het adres voorzien van een postcode, bleef het afgestempelde poststuk evengoed nog zeuren:
    [img]http://img175.imageshack.us/img175/6964/gewoonevendoenop9.gif[/img]
"Gebruik hem goed", "Gewoon even doen", na deze campagne is het mooi geweest en gaan ze de klant echt achter z'n vodden zitten:
    [img]http://img6.imageshack.us/img6/4392/dringendverzoek.gif[/img]__[img]http://img187.imageshack.us/img187/9443/vertraagdnz6.jpg[/img]
Bij VPRO/Geschiedenis hebben ze onder andere een link naar dit filmpje over de stand van de techniek toen, 1979, een jaar nadat de postcode is ingevoerd:
    http://cgi.omroep.nl/cgi-bin/streams?/ibg/sn165025-bb.wmv?title=Proef%20met%20automatische%20sorteermachines][img]http://img208.imageshack.us/img208/5056/sorteren.gif[/img

    [size=9]Video: Proef met automatische sorteermachines
    Polygoon Hollands Nieuws, 1979, zw/w
    [/size]


Voor een groot deel nog “handbedrijf” in de z.g.n. “arbeids-onaangename uren”, aldus de ‘voice-over’ van het Polygoon-journaal. De resultaten waren ernaar:

[quote]Vanaf het begin van de 20ste eeuw tot aan de privatisering van de PTT moest de overheid geld toeleggen op de postbezorging. Ondanks de mechanisatie en de invoering van de postcode in 1977 bleef de PTT over het algemeen verliesgevend.

VPRO/Geschiedenis - Het Postkantoor verdwijnt - Na meer dan 200 jaar - za 8 maart 2008

[/quote]

De “Post” zou uiteindelijk het tij weten te keren:

[quote]Staatsbedrijf werd winstgevend postbedrijf op wereldmarkt

Postcode
Door de in maart 1977 verplichte postcode werd automatische sortering mogelijk hetgeen essentieel was voor een efficiënt automatisch verwerkingsproces. Vijf jaar na de introductie bleek ruim 90 procent van de post voorzien te zijn van de onmisbare postcode, die daarmee de opmaat vormde naar het vaarwel zeggen van de rode verliescijfers.

Document-Manager - Interview 12-dec-2008
http://www.document-manager.nl/interview.aspx?id=21328
[/quote]

De onmisbare postcode.

Zou je niet kunnen volhouden dat TNT Post nu “schatplichtig” is aan ons, de sukkels die jaar na jaar zorgen dat hun post voorzien is van die postcode?