Java grafieken voor Opendata


#261

“Miljoenenroof van digitale munt Ether”

Vervolg 15:00 uur, iemand heeft als dader een serieuze waarschuwing achtergelaten …

Staat weliswaar volledig in zijn recht maar blijft toch maar anoniem, heeft zijn bericht weer wel met een encryptie-sleutel ondertekend en zal “working with my law firm” eenieder in rechte aanspreken wanneer die hem zijn “reward” zal proberen te onthouden:

===== BEGIN SIGNED MESSAGE =====

An Open Letter

To the DAO and the Ethereum community,

I have carefully examined the code of The DAO and decided to participate after finding the feature where splitting is rewarded with additional ether. I have made use of this feature and have rightfully claimed 3,641,694 ether, and would like to thank the DAO for this reward. It is my understanding that the DAO code contains this feature to promote decentralization and encourage the creation of “child DAOs”.

I am disappointed by those who are characterizing the use of this intentional feature as “theft”. I am making use of this explicitly coded feature as per the smart contract terms and my law firm has advised me that my action is fully compliant with United States criminal and tort law.

Yours truly,

“The Attacker”

===== END SIGNED MESSAGE =====

Message Hash (Keccak): 0xaf9e302a664122389d17ee0fa4394d0c24c33236143c1f26faed97ebbd017d0e

Signature: 0x5f91152a2382b4acfdbfe8ad3c6c8cde45f73f6147d39b072c81637fe81006061603908f692dc15a1b6ead217785cf5e07fb496708d129645f3370a28922136a32

Pastebin - a guest - Jun 18th, 2016

Gaan we weer …

Iets van een jurist, “Exploiting a known vulnerability in ATM card code doesn’t give you the right to take money that isn’t yours from a bank”:

Bullshit!

If you fool an ATM you are hacking or stealing money because you are taking property away which is not yours.

This situation is completely different as it wasn’t a bank or something like this, it isn’t even related to money or property. It was a piece of code and you can do what the code says thats the rule!

A bank never uses “rules” like this. Their rules are pretty strick you give us your money and you can take it back. Here the rule was, you can do what the code says. And the code said you can get all the tokens which are here.

This guy is a joke not a lawyer.

bitcointalk.org - msg15264371

Reddit, “He did nothing wrong. He simply used the code better than others.”:

An Open Letter - From The Hacker

The irony here is impeccable: Ethereum uses smart contract for law but now requires paper law to determine liability. This goes against the core point of Etherum.

Reddit - baronofbitcoin - 4 punten - 36 minuten geleden

Reddit-gebruiker elux, 19.544 linkkarma, 11.197 reactiekarma, in zijn of haar commentaar:

Pfft. The attacker will get his money. Or Ethereum dies.

En een poging om de dader te traceren:

The local time puts him on the east coast of Australia, Brisbane
or Sydney most likely. Except he’s talking about US law.

Steemit - Ethereum - 3 hours agoo

Sidney? Dan weet ik het wel, inwendig ziedend omdat hij de vorige keer zo snel ontmaskerd werd:

Australian Craig Wright claims he is bitcoin founder Satoshi Nakamoto

Wright, 45, is an Australian IT and security consultant, who described himself on a now-deleted LinkedIn page as a “senior management executive information security specialist”.

Until recently he was the director of more than a dozen companies, some involved in cryptocurrency, until he divested himself of 12 of them in the space of a week in July 2015.

Wired and Gizmodo published investigations in December claiming to reveal Wright’s identity based on leaked transcripts, emails and financial records. Wright declined to comment on the stories, which were the subject of scepticism among some of his contemporaries.

The same day his north Sydney home was raided by Australian federal police in connection with a tax investigation, unrelated to bitcoin.

theguardian.com - Technology - Monday 2 May 2016


#262

Hoi Weerman,

The Web’s Creator Looks to Reinvent It
SAN FRANCISCO — Twenty-seven years ago, Tim Berners-Lee created the World Wide Web as a way for scientists to easily find information. It has since become the world’s most powerful medium for knowledge, communications and commerce — but that doesn’t mean Mr. Berners-Lee is happy with all of the consequences.
“It controls what people see, creates mechanisms for how people interact,” he said of the modern day web. “It’s been great, but spying, blocking sites, repurposing people’s content, taking you to the wrong websites — that completely undermines the spirit of helping people create.”

De (bovenstaande) negatieve dingen kan je m.i. met techniek oplossen.

“The web is already decentralized,” Mr. Berners-Lee said. “The problem is the dominance of one search engine, one big social network, one Twitter for microblogging. We don’t have a technology problem, we have a social problem.”. One that can, perhaps, be solved by more technology.

Ik denk dat het een juiste constatering is dat de problemen “the dominance of one search engine” (= Google) en the dominance of “one big social network” (= Facebook) zijn.

Blijkbaar filtert men content door hash codes in database te gebruiken.

Aangezien op die manier annoteren precies het omgekeerde is van wat ik hier eigenlijk altijd zit te doen, niet knippen en plakken vanaf het web en dat gelinkt met opmerkingen onder elkaar zetten, nee, hun systeem maakt het mogelijk (delen van) webpagina’s ter plekke van commentaar te voorzien en het daar ook met elkaar te delen:

Dit is precies wat ik ook graag wil. Gewoon op twitter en facebook virtueel commentaar/posts kunnen zetten zonder dat men het kan traceren van wie het is. Je kan dan helemaal op twitter losgaan in bijvoorbeeld de “Zwartepieten discussie”.

Miljoenenroof van digitale munt Ether
Er is vrijdag een grote roof geweest van de digitale valuta Ether. Bij een belangrijk project dat met Ether wordt betaald, DAO genoemd, is inmiddels voor bijna 80 miljoen dollar (71 miljoen euro) aan de valuta gestolen.

Best wel leuk te lezen hoe men reageert. Veel aangeven dat het niet aan hen ligt.

Er zat een lek in dat autonome ‘smart contract’:

Smart contract zou m.i. ook wel (virtuele) transactie kunnen zijn.

Staat weliswaar volledig in zijn recht maar blijft toch maar anoniem, heeft zijn bericht weer wel met een encryptie-sleutel ondertekend en zal “working with my law firm” eenieder in rechte aanspreken wanneer die hem zijn “reward” zal proberen te onthouden:

Ik denk dat je wel eerlijke transacties moet hebben. N.B. Als ik bij de boer een stalletje met groente zie mag ik producten pakken, maar wordt wel van mij verwacht dat ik het bedrag ‘aftik’ wat ik meeneem. Niet dat ik denk er is toch niemand, dat ik alles gratis mag meenemen. Je kan ook voor kiezen om naar AH te gaan om dezelfde producten te kopen voor veel meer geld en dat dan een cassiere (vaak scholier) je helpt met ‘aftikken’. Bank blockchain is een goedkoop manier om product te verkrijgen (denk aan stalletje bij de boer) als je zwaar gereguleerd wil hebben ga je maar naar de bankier toe. Dezelfde persoon die je in het verleden een woekerpolis in de maag heeft gesplitst.

I am disappointed by those who are characterizing the use of this intentional feature as “theft”. I am making use of this explicitly coded feature as per the smart contract terms and my law firm has advised me that my action is fully compliant with United States criminal and tort law.
Reddit, “He did nothing wrong. He simply used the code better than others.”:
I feel sorry for all who have, or would have lost, funds today. However, rollbacks have no place in a decentralized economy UNLESS they are integrated into the system as part of the rules that govern how the system operates from within the internal mechanics of the software or specification.

Ik denk dat het programma ook een modus zou moeten hebben dat je kan terugrollen naar bepaald point in time. Dit natuurlijk wel bij uitzonderlijke gevallen. Het lijkt mij evident dat alle peers wel in andere mode het programma gaan zetten als een rover met de helft van alle inleg er vandoor wil gaan.

Wat ik al voorspelde gaat apple en google over op het ook kunnen aanbieden van abonnementsvormen aan gebruikers van programma’s.

De hartelijke groet Jan Marco


#263

Jan Marco, hoeveel zoekmachinesites weet jij bij naam te noemen? Je tijd loopt … nu! Jammer. Blijft natuurlijk maar een spelletje.

Niks leukers dan letterlijk tegen een zoekmachine zeggen, “Zoek” - google.com/#q=search

Dan geeft de eerste pagina met zoekresultaten:

Google

About 4,820,000,000 results (0.44 seconds)

Maar jij wil hiernaartoe, wat als Alphabet Corporation Europa zou verlaten, “Glexit” Y/N?

Marktanteile der Suchmaschinen

- Google          90 Prozent
- Yahoo            2,4 Prozent
- Bing             2,2 Prozent
- T-Online         2 Prozent
- Ask.com          0,6 Prozent
- AOL Suche        0,5 Prozent
- Web.de           0,5 Prozent
- MSN Live Search  0,4 Prozent
- GMX              0,2 Prozent
- Search.com       0,1 Prozent
- DMOZ             0,1 Prozent
- Ixquick.com      0,1 Prozent
- Altavista        0,1 Prozent
- Fireball         0,1 Prozent
- Freenet          0,1 Prozent
- Allesklar        0,1 Prozent
- Metager          0,1 Prozent

Der Spiegel - deutschlandweiter Marktanteil, erhoben nach Webbrowser-Angabe, Stand: April 2011

Dan krijg je te maken met een tariefmelding, “Deze zoekopdracht kost 15 ct / min” of je moet het doen met een van de mindere goden?

Dan is er evengoed nog hoop, Do ist der Bahnhof:

DeuSu - Finden

Suche im gesamten Datenbestand: 2.135.581.126 Webseiten

Es wurden insgesamt 13 Ergebnisse gefunden.

https://deusu.de/query?q=Ge+Arie+Temmes

Of anders alles net als Chriet Titulaer maar aan ‘Cortana’ gaan vragen nu Microsoft haar op haar verjaardag in Windows 10 volgende maand ook hier gaat vrijlaten?


#264

Hoi Weernan,

Je mist Ilse in de opsomming.

ilse is de eerste Nederlandse zoekmachine op het internet. De site kwam op 22 februari 1996 online en de naam was oorspronkelijk een acroniem voor InterLink Search Engine. Wikipedia

Ik zoek wel eens met Bing, niet omdat ik dat wil, maar omdat Microsoft mij ´met alle macht´ mij probeert door te routeren naar Bing. Opvallend is de grote dominantie van Google 90%. Wat mij triggert is dat `Freenet 0,1 Prozent´ in opsomming staat. Freenet is soortgelijk aan Gnunet en zal op de aangesloten peers gaan zoeken. Ik denk dat probleem met Freenet en Gnunet is dat er maar weinig clients draaien. Om iets te bouwen wat wel geduchte concurrent van Google zou kunnen worden is om Big Data concept van Splunk te pikken.

Al jouw peers zijn je Facebook vrienden en worden in Spunk schema Sites genoemd.

Elke peer maakt indexen en search head in de informatie. Over al jouw peers `facebook vrienden´ zoek je de informatie uit. Anders geformuleerd elke pc zorgt dat de informatie zoekbaar is geworden op hoger level.

De hartelijke groet Jan Marco


#265

Jajaja, het is trouwens weer man en ik deed “search” bij google.com, heeft dat effect, dat het dan niet gelijk het Nederlandse “Ilse” aan de eerste 10 hits toevoegt.

Jij dacht dat ik me er te makkelijk van af maak?

Niet, voor mijn eerdere bijdrage vanmorgen nog eens langs mijn verzameling links voor “Distributed Search” geweest maar op dat terrein lijken nauwelijks nieuwe ontwikkelingen te bespeuren.

Sowieso moet je allereerst nog steeds langs onderzoeker Jon Kleinberg:

The Small-World Phenomenon and Decentralized Search

The small-world phenomenon – the principle that we are all linked by short chains of acquaintances, or “six degrees of separation” – is a fundamental issue in social networks; it is a basic statement about the abundance of short paths in a graph whose nodes are people, with links joining pairs who know one another.

The ability to construct a searchable network in this way, with long-range links whose probabilities decay with distance, has proved useful in the design of peer-to-peer file-sharing systems on the Internet, where content must be found by nodes consulting one another in a decentralized fashion.

In other words, nodes executing these look-up protocols are behaving very much like participants in the Milgram experiments – a striking illustration of the way in which the computational and social sciences can inform one another, and the way in which mathematical models in the computational world turn into design principles with remarkable ease.

Het ‘proprietary’ Faroo had ik vorig jaar al een keer voorgesteld:

Faroo

Another is Faroo, which has an interesting FAQ that includes this section explaining why even privacy-conscious non-distributed search engines are problematic:

Some search engines promise privacy, and while they look like real search engines, they are just proxies. Their results don’t come from their own index, but from the big incumbents (Google, Bing, Yahoo) instead (the query is forwarded to the incumbent, and the results from incumbent are relayed back to the user).

Unfortunately, unlike YaCy, Faroo is not open source, which means that its code can’t be audited – an essential pre-requisite in the post-Snowden world.

Het genoemde YaCy:

YaCy

Perhaps the best-known is YaCy:

YaCy is a free search engine that anyone can use to build a search portal for their intranet or to help search the public internet. When contributing to the world-wide peer network, the scale of YaCy is limited only by the number of users in the world and can index billions of web pages.

It is fully decentralized, all users of the search engine network are equal, the network does not store user search requests and it is not possible for anyone to censor the content of the shared index. We want to achieve freedom of information through a free, distributed web search which is powered by the world’s users.

The resulting decentralized web search currently has about 1.4 billion documents in its index (and growing – download and install YaCy to help out!) and more than 600 peer operators contribute each month. About 130,000 search queries are performed with this network each day.

Leek even een spannend experiment want gebruik makend van de WebRTC-optie in browsers maar loopt vast op iets met een Chrome-bug:

Discovery of scientific software

TL;DR: I’ve started building a distributed search engine for scholarly literature, which is completely contained within a browser extension: install it from the Chrome Web Store.

Luckily, it’s quite possible to use Scholar Ninja for scientific software discovery. In fact, it’s more than possible — it’s already done.

Before we get ahead of ourselves, let me provide just a bit of necessary backstory: Scholar Ninja indexes every paper you read online and adds paper’s metadata, keywords and URLs to a globally distributed search index, which is based on browsers, WebRTC and magic. Everyone who has the extension installed is a node in a Chord DHT network and is both an indexer and a server of content. Scholar Ninja’s mission in life is to become a complete and completely open search engine for science.

Had je dit wel eens gezien, een uitgestrekte begraafplaats voor overleden P2P zoeksoftware-initiatieven. Waar deze nog bijgezet moet worden, Blippex, ook “using the new WebRTC real-time communications technology” en ook “ex”:

This is the first interesting search engine since Google

One of Blippex’s key selling points is that Kossatz and Baeck are fanatical about privacy. Though Blippex constructs its search results on the basis of data gathered from its users, it does it in a way that’s anonymous and untraceable to any individual Blippex user. This obsession with privacy allows Blippex to rank pages—i.e., decide which pages to show people—with an algorithm that Google can’t match, because if Google gathered the data that Blippex does, users would find it unacceptably creepy.


#266

Hoi Weerman,

Had je dit wel een gezien, een uitgestrekte begraafplaats voor overleden P2P zoeksoftware-initiatieven.

Wist niet van het bestaan van deze lijst. Het is positief dat mensen iets geprobeerd hebben.:slight_smile: Niet alles wordt een succes! Kan ook zijn dat iets wat wel werkte gaande de tijd “oubollig” is geworden. Net als de V&D.

Ik vind plaatje van Splunk wel mooi. Ik ga source code zoeken die in het plaatje past. Ik zie ook wel “distributed search code” die actief Internet afstruint. Ben ik niet kapot van. Wel wil ik graag code hebben die snel alle Facebook vrienden bij bepaald Facebook account oplevert. Eigenlijk maak je de informatie van site (of peer of anders geformuleerd ‘Facebookvriend’) opzoekbaar. Ik denk aan Open-VPN tunnels naar je Facebookvrienden.

Ik weet dat Funda checkt of je probeert hun informatie te kopiëren. Ik denk dat je het beste Chrome in gevisualiseerde omgeving (bijvoorbeeld https://www.virtualbox.org/wiki/Downloads ) kan laten draaien, dus “ad banners” etc gewoon toestaan, net alsof je een normale browser bent. Waarbij je via TOR-netwerk naar de sites toe gaat.

Naast overgaan naar Windows 10 probeer ik ook Visual Studio Community 2015:


Wat ik leuk vind is de nieuwe “Team” en “Analyse” opties. Mijn bedoeling is om opties in Ultimate++ in te bouwen. Dus ik wil van Visual Studio Community 2015 GUI af. Ultimate++ gebruikt wel de Visual Studio compiler, dus de Visual Studio Community software uitrollen met Npackd software.

Iemand heeft iets gemaakt om Fossil in Tortoise framework op hoofdlijnen aan de praat te krijgen.

TortoiseFossil for Fossil SCM
What you’ll find here is a work in progress to have a Tortoise-style tool for Fossil repositories. Currently there is no release just yet, there are no commands implemented as of right now, but file overlays are working great.

Via de windows verkenner kan je files in versiebeheersysteem zetten en er uit halen. Je kan ook zien of file/directory is veranderd ten op zichte van orgineel.

Versiebeheer wil ik wat prominenter doortrekken. Je kan ook versiebeheer op mails doen. Versiebeheer op je foto’s in Facebook en Instagram uitvoeren. Alle documenten die je met LibreOffice in versiebeheertool opslaan, etc.

De hartelijke groet Jan Marco


#267

Jan Marco, jij vraagt mij wat ik nou het leukste vind. Niet? Ok, maar nu we het er toch over hebben, net als de schrijver en gedragsbioloog en ex-jurkdrager in die Maartens Moestuin-serie, zolang ik maar met af en toe weer een ander hoedje op gewoon in mijn digitale tuintje kan scharrelen vind ik alles best: vandaag internet-snijbiet doen, op zware zeeklei?

Moet ik jou wel eerst even laten vertalen, ziet er wat onwennig uit:

Hi Weatherman,

Did you like this have a seen a vast cemetery for deceased P2P search software initiatives.

Did not know of the existence of this list. It is good that people have tried something. : Slight_smile:Not everything is a success! May also be that something was working depth has become time “corny”. Like the V&D.

Enzovoort:

The cordial greeting Jan Marco

Vergeleken met je oorspronkelijke bijdrage in onze eigen taal levert dit een verbetering op van bijna 10%:

                html   brotli  omvang
jm 29-6-2016    2421    1138    47,0%
idem Engels	2263     852    37,6%

In bytes. Net als zopfli, zoete broodjes, is brotli iets Zwitsers van bladerdeeg:

Introducing Brotli: a new compression algorithm for the internet

At Google, we think that internet users’ time is valuable, and that they shouldn’t have to wait long for a web page to load. Because fast is better than slow, two years ago we published the Zopfli compression algorithm. This received such positive feedback in the industry that it has been integrated into many compression solutions, ranging from PNG optimizers to preprocessing web content.

Based on its use and other modern compression needs, such as web font compression, today we are excited to announce that we have developed and open sourced a new algorithm, the Brotli compression algorithm.

Google - Open Source Blog - Tuesday, September 22, 2015

Daar heb je het, Google heeft je hierboven vertaald en kan jou daarna nog beter samenpersen dan in het Nederlands.

Te danken aan de grove dwarsdoorsnede van webpagina’s die Google uiteraard allemaal langs ziet komen:

Static dictionary

Brotli also features a static dictionary. Unlike most general purpose compression algorithms, Brotli uses a pre-defined 120 kilobyte dictionary. The dictionary contains over 13000 common words, phrases and other substrings derived from a large corpus of text and HTML documents.

It contains 13,504 words or syllables of English, Spanish, Chinese, Hindi, Russian, and Arabic, as well as common phrases used in machine readable languages, particularly HTML and JavaScript. The total size of the static dictionary is 122,784 bytes. The static dictionary is extended by a mechanism of transforms that slightly change the words in the dictionary. A total of 1,633,984 sequences, although not all of them unique, can be constructed by using the 121 transforms.

Static dictionary:

Internet-Draft                   Brotli                         May 2015

The hexadecimal form of the DICT array is the following, where the
length is 122,784 bytes and the zlib CRC-32 of the byte sequence is
0x5136cb04.

  74696d65646f776e6c6966656c6566746261636b636f64656461746173686f77
  6f6e6c7973697465636974796f70656e6a7573746c696b6566726565776f726b
  74657874796561726f766572626f64796c6f7665666f726d626f6f6b706c6179
  6c6976656c696e6568656c70686f6d65736964656d6f7265776f72646c6f6e67
  7468656d7669657766696e64706167656461797366756c6c686561647465726d
  656163686172656166726f6d747275656d61726b61626c6575706f6e68696768
  646174656c616e646e6577736576656e6e65787463617365626f7468706f7374
  757365646d61646568616e6468657265776861746e616d654c696e6b626c6f67
  ...

In leesbare vorm:

  timedownlifeleftbackcodedatashow
  timedownlifeleftbackcodedatashow
  onlysitecityopenjustlikefreework
  textyearoverbodyloveformbookplay
  livelinehelphomesidemorewordlong
  themviewfindpagedaysfullheadterm
  eachareafromtruemarkableuponhigh
  datelandnewsevennextcasebothpost
  usedmadehandherewhatnameLinkblog
  ...

Verder naar beneden in de lijst worden de individuele termen langer en ook samengesteld uit meer dan een woord:

  stated   is only   discussion of
  top"><   search/   middle of the
  racing   tuesday   an individual
  resize   loosely   difficult to 
  --&gt;   Solomon   point of view
  pacity   sexual    homosexuality
  sexual   - <a hr   acceptance of
  bureau   medium"   </span></div>
  .jpg"    DO NOT    manufacturers
  10,000   France,   origin of the
  obtain   with a    commonly used
  titles   war and   importance of
  ...      ...       ...

Het is natuurlijk een statistische selectie maar als je door de lijst loopt slaat je fantasie steeds op hol, niet “god”, wel “goddess”, in welke pagina’s dan?

Het hele idee van een woordenlijst bij compressie gebruiken nog even:

Improving compression with a preset dictionary

For example almost all HTML files start with the string "<!doctype html><html ", however in this string only the second HTML will be replaced with a match, and the rest of the string will remain uncompressed. To solve this problem the deflate dictionary effectively acts as an initial back reference for possible matches.

So if we add the aforementioned string "<!doctype html><html " to the dictionary, the algorithm will be able to match it from the start, improving the compression ratio. And there are many more such strings that are used in any HTML page, which we can put in the dictionary to improve compression ratio.

Hoe het voorstel van Google ontvangen werd - door Google:

The current state of Brotli compression

In late May 2016 Chrome pushed out Chrome 51, unlike many releases of Chrome which are complete non-events, this release has an enormous impact. Google turned on Brotli support – and they promptly backported it into Chrome 50.

Firefox added support for Brotli in September 2015. 8 months later, thanks to Google, Brotli went from a compression format supported in less than 10% of global browsers to nearly 50% global adoption!

En hoe Google’s Brotli-initiatief valt bij Slashdot:

Google Launches Brotli, a New Open Source Compression Algorithm For the Web

  • If they want to make webpages load quicker, remove ads.

  • Stop making my browser run 500 trips to DNS in order to run 500 trips to every ad server in the world.

  • And lossless too? I’d prefer if they lost the ads, then the compression wouldn’t be needed.

  • This is not about speed, this is about GOOGLE’s bandwidth. Because they process so many transactions a second, they see cost savings even for small improvements.


#268

Hoi Weerman,

Based on its use and other modern compression needs, such as web font compression, today we are excited to announce that we have developed and open sourced a new algorithm, the Brotli compression algorithm.

Ik gebruikte altijd Winzip, vaak maakte ik backup van mijn source projectjes met (niet open)rar formaat in WinZip. Ontwikkeling van de proprietary Rar format houdt op en wordt ingehaald door open source varianten. Nu heb ik 7zip.exe geïnstalleerd. N.B. Ik denk dat ik 20 jaar geleden de officiële WinZip applicatie een keer heb gekocht. Zou ik nu nooit meer doen.

And lossless too? I’d prefer if they lost the ads, then the compression wouldn’t be needed.

Nadeel van ad blocker is dat bijvoorbeeld Funda hierna kijkt. Ze denken dat je iemand bent die hun site probeert te kopiëren.

Er zijn ook andere technieken die momenteel gebruikt worden om browsers sneller te maken.

What are protocol buffers?
Protocol buffers are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define how you want your data to be structured once, then you can use special generated source code to easily write and read your structured data to and from a variety of data streams and using a variety of languages.

Cap’n Proto is an insanely fast data interchange format and capability-based RPC system. Think JSON, except binary. Or thinkProtocol Buffers, except faster. In fact, in benchmarks, Cap’n Proto is INFINITY TIMES faster than Protocol Buffers.

Hier is een diagram van Cap’n Proto

Volgend project is een Distributed Search Engine die ik gevonden heb. Ben nog zoekende naar de beste Distributed Search en Index Engine

  1. Distributed Search Engine with Nanomsg and Bond
    Exploring Microsoft’s open source Bond framework by building a distributed search engine. I’m using bond for serialization/deserialization and nanomsg for communication.

The source for this C++14 project is located at:
The nanomsg library is a simple high-performance implementation of several “scalability protocols”. These scalability protocols are light-weight messaging protocols which can be used to solve a number of very common messaging patterns, such as request/reply, publish/subscribe, surveyor/respondent, and so forth. These protocols can run over a variety of transports such as TCP, UNIX sockets, and even WebSocket.

Bond is a cross-platform framework for working with schematized data. It supports cross-language de/serialization and powerful generic mechanisms for efficiently manipulating data. Bond is broadly used at Microsoft in high scale services.

In de volgende post legt Daniel uit hoe zijn aanpak is.

Naast bovenstaande distributed search project heb ik nog twee andere projecten gevonden

  1. An open source, feature rich search engine dataparksearch.

  2. Xapian is an Open Source Search Engine Library, released under the GPL v2+. It’s written in C++.

De hartelijke groet Jan Marco


#269

Vergeet je ‘Zlib’ niet:

Korte inhoud van het voorafgaande - Foondump is 11 jaar geworden

Ondanks al het geld dat er in hun bedrijf gestoken werd kon De Telefoongids BV een telefoonabonnee niet garanderen dat zijn of haar vermelding in de telefoongids niet onmiddellijk weglekte als die ook in de elektronische gids gepubliceerd werd.

Vervolgens kon dan moeiteloos ook op nummer naar die vermeldingen gezocht worden, hetgeen de uitgevers zelf bij wet niet is toegestaan, althans niet zonder meer.

Door het spoor via de producent van de Telefoongids-cd-roms, C-Content, te volgen kon je later simpelweg ook zo de beveiliging van de elektronische uitgaven van Van Dale Lexicografie passeren.

Tot op de dag van vandaag zijn trefwoordenlijsten, detailgegevens en betekenissen eenvoudig uit de verschillende woordenboeken van Van Dale los te weken.

De gegevens bleken louter zeg-maar “gezipt” op de CD te staan, zoals dit bestand waar de postcode-coördinaten voor de CD-foongids-routekaart door producent C-Content in gezet zijn:

CD-foongids\Data\ahn\ahn.idx
=============================================================================
0000 0000  76 64 6C 6E 76 61 70 69  00 00 00 00 5C EF 12 00  vdlnvapi....\...
0000 0010  01 00 00 00 01 00 00 00  25 00 00 00 7F 1C 23 00  ........%.....#.
0000 0020  1A 5E 3B 00 00 30 2D 00  00 00 80 00 00 8B 2B 00  .^;..0-.......+.
0000 0030  00 00 80 00 00 00 08 78  DA 75 5D 59 B6 65 2B 88  .......x.u]Y.e+.
0000 0040  7C 43 B2 41 D4 F9 4F AC  80 88 F0 EE 93 55 F5 91  |C.A..O......U..
=============================================================================

Hier en in alle andere betrokken databestanden is de combinatie 78 DA - de ‘info-marker’ voor Zlib - gewoon zichtbaar gebleven, daar waar het normaliter gemaskeerd wordt om zomaar kunnen ‘ontzippen’ te voorkomen.

Een compressieprogramma zal altijd naarstig op zoek gaan naar alles wat vaker voorkomt om de grootte van bestanden zo goed mogelijk te kunnen reduceren en dat mechanisme is ook nog eens uiterst fijngeslepen vanwege de ‘performance’, de reden dat de werking van zo’n programma opeens ook heel geschikt blijkt voor de volgende onverwachte toepassing:

Onbevangen op zoek naar structuur

Rudi Cilibrasi werkt bij het Amsterdamse Centrum voor Wiskunde en Informatica, hij en onder anderen zijn collega Paul Vitanyi gebruiken een slimme truc om structuren te zoeken. Ze werken met bekende zip-programma’s. Een zip-programma, zoals bijvoorbeeld Winzip, zoekt naar structuur binnen een file en slaat ze dan kleiner op als een zip-file. Hoe meer structuur er in een file zit, hoe kleiner deze file uiteindelijk zal worden na het gebruiken van een zip-programma.

Cilibrasi laat een zip-programma eerst losse files kleiner maken. Die files kunnen mp3-bestanden van liedjes zijn, stukken tekst en alles wat je verder op je computer als een file op kan slaan. Daarna gebruikt hij hetzelfde zip-programma om combinaties van die files tegelijk te zippen. Als twee files nu veel op elkaar lijken, dan zal het zip-programma de combinatie van die twee erg klein op kunnen slaan. Dus aan de grootte van de zip-files kan je zien hoeveel de files op elkaar lijken.

www.kennislink.nl - Nieuws - dinsdag 8 februari 2005

De methode is gevoelig genoeg om bijvoorbeeld die paar minieme edits in jouw vorige posting te signaleren:

versie1 versie2 0,067437

versie2 versie3 0,035920

versie1 versie3 0,078255

versie3 versie3 0,000000

Die laatste vergelijking dus even als bewijs dat een en ander “geijkt” is.

Bij nagenoeg alle compressie-formaten schijnt dat per definitie niet mogelijk te zijn maar je zou wensen dat je in zips naar bepaalde tekst kon zoeken, dus zonder die eerst voor dat doel tijdelijk uit te pakken.

Bijvoorbeeld het Basisregistratie-bestand met alle adressen en gebouwen van Nederland dat pas nog ter sprake kwam bevat zoals het door het Kadaster geleverd wordt in dit geval voor de maand juni maar liefst 3894 bestanden, 47GB aan XML, gezipt in 10 verzamelbestanden, en die zelf ook weer gezipt tot een uiteindelijke levering van ca. 1,5GB.

De mogelijke reductie is zeker bij XML enorm maar als jij alleen maar op zoek bent naar de gegevens voor jouw eigen woonplaats dan moet je de hele bups eerst helemaal uitpakken en laten doorzoeken om je eigen deelverzameling te kunnen samenstellen.

Precies dat is wat de software van Geon achter de schermen voor je deed. Jammer genoeg is deze BAG Extract Conversie-software (BEC 4.2.0) van de website van dat bedrijf verdwenen.

Had je de laatste versie zuinig bewaard dan komt er na een hele tijd stampen een nieuw geproduceerd index-bestand tussen al die andere daartoe uitgepakte BAG-bestanden te staan, “inspireadressen.zip.idx”:

<?xml version="1.0" standalone="yes"?>
<DocumentElement>
  <INDEX>
    <GEMEENTECODE>0003</GEMEENTECODE>
    <BAGOBJECT>02</BAGOBJECT>
    <COUNT>20</COUNT>
    <BESTAND>D:\BAG\20160608\xml\9999LIG08062016-000001.xml</BESTAND>
  </INDEX>
  <INDEX>
    <GEMEENTECODE>0005</GEMEENTECODE>
    <BAGOBJECT>02</BAGOBJECT>
    <COUNT>22</COUNT>
    <BESTAND>D:\BAG\20160608\xml\9999LIG08062016-000001.xml</BESTAND>
  </INDEX>
  ...

#270

Hoi Weerman,

Je vorige post moet ik nog bestuderen.

Kamp wil handelsregister deels beschikbaar maken als open data

Volledig open wordt het handelsregister niet. Na een onderzoek concludeert Kamp dat alleen geanonimiseerde gegevens uit het handelsregister vrij beschikbaar zullen worden gesteld. Die gegevens kunnen dan worden gebruikt om het volledige Nederlandse bedrijfsleven te analyseren.

Daarnaast wordt het voor ondernemers mogelijk om 25 keer per jaar gratis een uittreksel uit het register aan te vragen.

Zo moet het handelsregister opener worden, zonder dat de Kamer van Koophandel (KvK) te maken krijgt met een financiële klap. Volgens Kamp verdient de organisatie nu zo’n 50 miljoen euro per jaar aan “informatieproducten”, hoofdzakelijk de verkoop van informatie uit het handelsregister. De beleidswijziging zal ervoor zorgen dat de KvK naar schatting 5 miljoen euro minder per jaar zal verdienen.

Innovatie
Kamp zegt met de stap te voldoen aan het kabinetsbeleid dat oproept tot meer transparantie en de beschikbaarheid van open data. Maar critici vinden dat het handelsregister helemaal zou moeten worden opengesteld.

Voormalig GroenLinks-Kamerlid Arjan El Fassed, nu directeur van de Open State Foundation, riep vorig jaar in NRC Handelsblad op tot volledige openbaarmaking van het register.

“Het Handelsregister zou als basisregister authentiek en publiek toegankelijk gemaakt moeten worden”, schreef hij. “Juist het openstellen van de data opent de weg naar innovatie, versterkt de economie en verbetert de handel.”

Maandag zegt El Fassed dat het voorstel van Kamp “een eerste stap” is, maar dat meer moet worden gedaan om de financieringsvorm van het handelsregister aan te passen, zodat meer open data beschikbaar kan worden gemaakt.

De hartelijke groet Jan Marco


#271

Jij dacht, eerst moet-ie dit zien, rode lap, stier, lachen? Ok, biefstuk:

Wel zout, geen peper, dat wordt bitter door de hitte, doe dat na het bakken.
Zuchtje olie, dichtschroeien, beetje temperen en dan pas boter in de pan.

Denk dat Kamp het handelsregister helemaal niet als open data beschikbaar wilde stellen maar er lag een motie van de Tweede Kamer:

Datum 4 juli 2016

Betreft Ontsluiting handelsregister als open data

Geachte Voorzitter,

Op 24 november jl. is de motie Verhoeven (Kamerstuk 32637 nr. 210) aangenomen. In de motie wordt de regering verzocht om 'met een onderzoek te komen om het Handelsregister (HR) te ontsluiten als open data’. Met deze brief informeer ik uw Kamer over de uitvoering van deze motie.

Uitvoering motie

De Kamer van Koophandel (KvK) heeft in december 2015 naar aanleiding van bovenvermelde motie een onderzoek gestart naar mogelijkheden om het HR te ontsluiten als open data (bijlage 1). In april jl. heb ik het Kenniscentrum Open Data van de TU Delft gevraagd om een ‘second opinion’ te geven (bijlage 2). Dit heeft geleid tot enkele aanpassingen in het rapport van de KvK. Beide rapporten zijn recent opgeleverd.

Rijksoverheid - Documenten - Kamerbrief - 04-07-2016

Tussen de regels door valt al te lezen dat de Kamer van Koophandel en Fabrieken daar ook niet zo’n zin in had en ook dat rapport uit Delft gaat van meh, meh:

Delft, 22 juni 2016

Ontsluiten handelsregister met open data nader belicht

Ten geleide

Deze rapportage bevat een reflectie op de conceptrapportage van de Kamer van Koophandel van 2 mei 2016. Een eerdere versie van onderhavige rapportage is op 31 mei besproken met het ministerie van EZ en een vertegenwoordiging van de Kamer van Koophandel.

Mede naar aanleiding daarvan heeft de Kamer van Koophandel de conceptrapportage aangepast om te komen tot een betere rapportage. Dit heeft tot gevolg dat onderhavige rapportage niet meer op alle punten correspondeert met het definitieve rapport van KvK.

Zo heeft KvK op 9 juni ons op de hoogte gebracht van een tweetal nieuwe varianten die zullen worden meegenomen in de rapportage (o.a. ter vervanging van de oude variant 1, waar deze rapportage op reageert).

Rijksoverheid - Documenten - Rapport - 22-06-2016

Bij die club van “voormalig GroenLinks-Kamerlid Arjan El Fassed” en trouwens ook Stef van Grieken die “voor Google.org, de filantropische tak van Google werkt” hebben ze gewobd of zo, daar valt te lezen dat het een heel lange bevalling was, al vanaf januari:

Kamer van Koophandel zelf gevraagd om open data onderzoek te doen

Uit interne mails van de Kamer van Koophandel blijkt dat de Kamer van Koophandel specifiek is gevraagd om zelf onderzoek te doen naar het beschikbaar stellen van het handelsregister als open data. Een rapport getiteld ‘Verkenning naar de mogelijkheden om Handelsregisterinformatie als open data ter beschikking te stellen’ ligt reeds twee maanden bij het Ministerie van Economische Zaken.

www.openstate.eu - News, Politiek en Bestuur - 03/05/2016

Maar je hebt gelijk, smullen. Zag al van alles voorbijkomen in die twee PDF’s, morgen of zo meer daar over?


#272

Jan Marco, jouw schuld, na het eten nog twee rapporten doorwerken …

Ter oriëntatie begint de KvK eerst over de “rijkbijdrage” voor het beheer van het Handelsregister:

Kosten en opbrengsten

De kosten van het Handelsregister bedragen € 102 miljoen per jaar, bestaande uit kosten voor informatieverstrekking van € 24 miljoen en kosten voor registervoering van € 78 miljoen (Jaarrekening 2015). De opbrengsten bestaan uit € 50 miljoen voor informatieverstrekking en € 17 miljoen aan overige opbrengsten (waarvan € 12 miljoen voor inschrijfvergoedingen). De overige kosten worden gedekt door de rijkbijdrage.

Verdeling opbrengsten

De € 50 miljoen aan opbrengsten worden voor 54% gedekt door grote afnemers (waaronder banken, verzekeraars en advocatenkantoren) van Handelsregister informatieproducten. Deze relatief kleine groep gróte afnemers bestaat uit 104 afnemers met meer dan € 25.000,- aan vergoedingen voor handelsregister-informatie in 2015. Dit beperkte aantal grote bedrijven haalt nominaal het grootste voordeel als data gratis worden.

Gaat het dan wel lukken, de kool en de geit sparen:

Tegelijkertijd is in art. 28 Handelsregisterwet 2007 neergelegd dat het de KvK niet is toegestaan gegevens gerangschikt naar natuurlijke personen te verstrekken, behoudens aan enkele in de wet genoemde instanties.

Het wordt niet verenigbaar met de doelen van het Handelsregister geacht wanneer de gegevens beschikbaar worden gesteld in zodanige vorm dat bijvoorbeeld ten aanzien van bepaalde personen kan worden nagegaan bij hoeveel rechtspersonen zij zijn betrokken.

De KvK moet passende technische en organisatorische maatregelen treffen, die tegengaan dat afnemers dergelijke overzichten gerangschikt naar natuurlijke personen alsnog genereren.

De kans is klein:

Wanneer de gegevens uit het Handelsregister ook als open data worden aangeboden, zijn de gegevens zonder enige beperking beschikbaar in een vrij te doorzoeken (bulk-) bestand. De afnemer is onbekend en een verklaring om de gegevens te gebruiken voor een gerechtvaardigd doel ontbreekt daarmee.

Is dit zo’n partij en zou u een tweedehands auto van hem kopen:

Kredietcheck-startup Eccentrade wil met big data KvK en Graydon verslaan

De Amsterdamse startup Eccentrade wil met big data en kunstmatige intelligentie kredietchecks op een slimmere manier doen. Maar de ambitie van het bedrijf reikt verder: inzichtelijk maken hoe duurzaam een onderneming. “Wij geloven in kredietmanagement 2.0.”

Gaat hij dat woord ook in de mond nemen? Ja, “Big data”:

Big data en kunstmatige intelligentie

Eccentrade kan de kredietchecks goedkoop aanbieden, omdat het naar eigen zeggen gebruikmaakt van big data en kunstmatige intelligentie, twee toverbegrippen in de startup-scene. Welke gegevens Eccentrade precies analyseert, wil Witteveen niet zeggen. “Dan geef ik mijn concurrenten te veel informatie.” Hij blijft in algemene termen hangen: internationale handelsdata die openbaar verkrijgbaar zijn.

Zal dit o zo breekbare bouwsel het dan wel houden als het weer vloed wordt:

Bescherming tegen direct marketing: Benader-me-niet registratie

Bij de inwerkingtreding van de Wet bescherming persoonsgegevens in 2000 heeft de KvK een Non Mailing Indicator (NMI) geïntroduceerd. Hiermee kan een ondernemer in het Handelsregister aangeven dat zijn adresgegevens in het Handelsregister niet mogen worden gebruikt om hem post te sturen of aan huis te benaderen voor direct marketing doeleinden.

Weet ik nog, ook toen weer vragen in de kamer. Dat was alleen niet in 2000 maar april 2009:

De Kamer van Koophandel onderzoekt of nieuwe inschrijvers bij inschrijving direct de mogelijkheid kunnen krijgen om adresgegevens voor mailingdoeleinden te blokkeren.

En? Resulteerde onder druk van de goegemeente opeens toch in een “actieve uitvraag”:

Inmiddels heeft één op de drie ondernemingen en rechtspersonen in het Handelsregister een NMI geactiveerd. Als gevolg van de actieve uitvraag bij inschrijving, is het percentage vestigingen waarop een NMI is geactiveerd, vanaf 2009 sterk toegenomen. Inmiddels tot circa 80% per jaar. Hierdoor zal het percentage van 33% op het totaal aantal inschrijvingen (zie bijlage 2) sterk blijven stijgen.

Inschrijvingen met zo’n vinkje kunnen niet meer doorverkocht worden, vandaar dat jarenlange tegenstribbelen:

Bijlage 2: Aantal bedrijven dat aangeeft niet te willen dat hun gegevens door derden voor direct-mailing worden gebruikt (Non-Mailing Indicator)

Rechtsvorm     NMI = Nee   NMI = Ja       Totaal      %
=======================================================
01 Eenmanszaak   598.691    440.445    1.039.136    42%

Men maakt zich zorgen, niet over te derven inkomsten maar over het welbevinden van de bij hen ingeschreven ondernemers:

Afnemers, die van de KvK gegevens afnemen van ondernemingen en rechtspersonen met een geactiveerde NMI, moeten deze NMI respecteren. De KvK maakt hiertoe contractuele afspraken met deze afnemers. Maar in de praktijk werkt dit onvoldoende, omdat ondernemers toch ongevraagd worden benaderd.

Daar kan de KvK vaak niets aan doen, omdat de adresgegevens uit tal van andere (openbare) bronnen afkomstig kunnen zijn.

Daarbij maken de snelle ontwikkelingen op ICT-gebied het steeds eenvoudiger om die bronnen te doorzoeken (‘scrapen’). Vrijwel ieder (nieuw) bedrijf heeft tegenwoordig een website waarop de contactgegevens staan; via zoekmachines kunnen die (in bulk) worden achterhaald.

Komt weer “dit beperkte aantal grote bedrijven met nominaal het grootste voordeel” in beeld:

Door de gegevens uit het Handelsregister op te nemen in een vrij te doorzoeken open data bestand, zullen de klachten van ongewenste acquisitie naar alle waarschijnlijkheid verder toenemen. De KvK kent de gebruiker van de open data bestanden niet en er worden geen contractuele afspraken mee gemaakt.

De KvK kent ze niet, ik ken ze wel. Een op naam gestelde brief komt aan op het bij het HR opgegeven adres:

Een inschrijving die dus wel degelijk van een NMI-vlag voorzien was. Het TU Delft-rapport:

Andere vormen van inbreuk op privacy

De voorgestelde wijze van verstrekking van open data, maakt het in de praktijk wel mogelijk om bij een gegeven huisadres van een woning, alle bijbehorende bedrijven te vinden. Gegeven de Memorie van Toelichting van de Wet bescherming persoonsgegevens is dit een ongewenste inbreuk op het recht van gegevensbescherming.

Dit geldt met name voor eenmanszaken en personenvennootschappen waarbij het huisadres het vestigingsadres is. Echter, op dit moment is het wel mogelijk om de gratis openbare gegevens zodanig systematisch op te vragen (te scrapen) dat er eenvoudig een databank van deze gegevens kan worden aangelegd.24
______________________________________

24 Zie bijvoorbeeld de gegevens die beschikbaar zijn via openkvk.nl.

Door het “zodanig systematisch op te vragen” worden ook nog eens de inschrijvers die zich tot een bepaalde hoogte beschermd wisten - door het laten aanzetten van die fameuze “Non Mailing Indicator” - weer in de openbaarheid teruggeplaatst.

Europa-wijd ook nog eens, zonder dat hen toestemming gevraagd is en op voorspraak van lobby-organisaties als openstate.eu die een flink eind voor een eventueel te wijzigen wet uitlopen.


#273

Hoi Weerman,

Jij dacht, eerst moet-ie dit zien, rode lap, stier, lachen?

Ik had geen tijd. Ben druk bezig met Splunk.
Ik vind wel moeizaam stroperig verhaal van KvK. In mijn beeld moeten ze handelsregister gewoon kosteloos beschikbaar stellen. Hun verdienmodel moet berusten op toegevoegde waarde die zij leveren aan ondernemers. Denk aan coaching, netwerkcontacten, etc.

Arjan El Fassed richtte in blog aan Rutte. Ook zag ik stuk op NRC (online).

De hartelijke groet Jan Marco


#274

Het tegenrapport van TU Delft vindt de voorstellen voor open data die de Kamer van Koophandel zelf doet ook nog te mager, zij zeggen, probeer “open, tenzij”:

Conclusies

Wat zijn mogelijke andere varianten ten opzichte van de reeds geschetste die tegemoet kunnen komen aan de wens tot meer data aanbieden als open data, maar die minder voorwaarden of geringere implicaties kennen?

Allereerst constateren wij dat de geschetste varianten als voorzichtig moeten worden bestempeld. Geen van de varianten voldoet aan het uitgangspunt van de nationale open-data-agenda: alles open… Ten opzichte van de beschikbare open data in de onderzochte buitenlandse cases, wijken de varianten van de KvK af. Het blijft in de meest vergaande variant beperkt tot een beperkte uitbreiding van de gegevens die nu reeds gratis beschikbaar zijn via kvk.nl, persoonsgegevens uitgezonderd.

Het verdient aanbeveling om alternatieven te onderzoeken die meer recht doen aan het principe open, tenzij. Een alternatief kan zijn om te starten met alle gegevens uit het Handelsregister die geen persoonsgegevens zijn. Dit zijn bijvoorbeeld veel gegevens van grotere ondernemingen: dat wil zeggen niet de eenpersoonszaken, de personenvennootschappen, e.d. die goed zijn voor meer dan de helft van de geregistreerde ondernemingen. In een latere fase kunnen daar eventueel andere gegevens aan worden toegevoegd.

Een andere variant doet nog meer recht aan ‘open, tenzij‘. Via kvk.nl kunnen een aantal basisgegevens gratis worden geraadpleegd. Veel andere gegevens kunnen in bulk worden gekocht via toegang via een API of HR dataservices. Een vergaande open variant zou kunnen inhouden dat alle huidige gratis, openbare gegevens open data worden, en de huidige openbare gegevens (waarvoor nu nog wel betaald moet worden) gratis via kvk.nl beschikbaar worden gesteld met de vereiste technische en organisatorische privacywaarborgen.

Tenzij:

In hoeverre zijn de voorwaarden en aannames in het KvK-rapport over open data en handelsregister van KvK reëel?

De voorwaarden in het KvK-rapport op het gebied van gegevensbescherming zijn reëel. Daar waar persoonsgegevens worden verwerkt kan er in principe geen sprake zijn van open data.

Daarnaast dienen er, voor zover er sprake is van persoonsgegevens, zoveel mogelijk technische maatregelen te worden geïmplementeerd ter voorkoming van het systematisch bevragen van kvk.nl.

Vergeleken met de buurlanden:

Het KvK-rapport laat zien dat in het buitenland ook niet alle gegevens uit het handelsregister gratis zijn. Hoe wordt de infrastructuur van het handelsregister elders bekostigd, wat is de omzet van informatie-producten, welke publieke geldstromen zijn, in hoeverre zijn deze registers te vergelijken en wat zijn eventuele leerpunten of voorbeelden uit het buitenland?

Wat betreft de data die beschikbaar is, gaan de open data policy van Companies House, KBO en CVR verder dan de voorgestelde varianten van de KvK. Zo schaart de KvK veel documenten onder de bescherming van persoonsgegevens, namelijk alle documenten die gegevens over natuurlijke personen, eenmanszaken en personenvennootschappen bevatten. Het gaat dan ook over oprichtingsakten, statuten, jaarrekeningen, volmachten e.d.

Deze stukken zijn bij Companies House, KBO en CVR gratis via internet in te zien, inclusief de eventueel daarin opgenomen persoonsgegevens. Wat de juiste toepassing is van de privacy-wetgeving zou nader moeten worden onderzocht

Zover lopen we hier ook nog niet achter:

Wat zijn de positieve en negatieve effecten van de gang van zaken in het buitenland m.b.t. het aanbieden van gegevens uit het handelsregister als open data?

In al de bestudeerde buitenlandse casussen is open data van het handelsregister een nieuw fenomeen. In het Verenigd Koninkrijk is de website bijvoorbeeld voorzien van de aanduiding: ‘BETA This is a trial service — your feedback will help us to improve it’.


#275

Ontsluiten handelsregister met open data nader belicht

In hoeverre zijn de voorwaarden en aannames in het KvK-rapport over open data en handelsregister van KvK reëel?

De voorwaarden in het KvK-rapport op het gebied van gegevensbescherming zijn reëel. Daar waar persoonsgegevens worden verwerkt kan er in principe geen sprake zijn van open data.

Daarnaast dienen er, voor zover er sprake is van persoonsgegevens, zoveel mogelijk technische maatregelen te worden geïmplementeerd ter voorkoming van het systematisch bevragen van kvk.nl.

TU Delft - Kenniscentrum Open Data - Eindrapport - 22-06-2016

Jan Marco, nieuwe plannen met het Handelsregister, daarom terug naar een vraag van jou, eind vorig jaar:

Dat OpenKvK-Overheid.io-duo uit mijn antwoord van toen heeft tegenwoordig een mededeling op de website:

openkvk.nl gebruikt de Overheid.io API

Een link naar een document daarover. Net echt:

Beleidsplan 2016 Stichting OpenGeo
31 december 2015
**3.3 Overgedragen Projecten**
  1. openkvk;
    In de afgelopen zeven jaar hebben meerdere Nederlandse organisaties zich ingezet om bedrijfsinformatie uit het handelsregister als als open data beschikbaar te krijgen. Een van hen is Open State Foundation, dat vanaf het eerste moment betrokken is geweest bij openkvk.nl.

    Ook zijn er partijen opgestaan die daadwerkelijk APIs zijn gaan bouwen op verschillende brongegevens. Downsized, bekend van overheid.io, heeft zich bereid gevonden openkvk.nl onder minstens dezelfde voorwaarden uit te voeren. Het bestuur van OpenGeo heeft daarom besloten het project over te dragen, omdat zowel op het gebied van lobby en exploitatie invulling wordt gegeven aan haar statutaire doelen.

Het zinnetje “minstens dezelfde voorwaarden” zal wel niet inhouden:

mogelijk wettelijk niet toegestaan, gegevens zijn weliswaar openbaar maar daardoor nog geen open data en in ieder geval is het dan toch doen zoals openkvk dat doet inbreuk op bescherming persoonsgegevens van ingeschreven ondernemers

Het toch doen en dan maar wat rommelen bij het verkrijgen van de gegevens, nog in het midden gelaten of ze daarin technisch heel goed zijn of ook wat minder.

Bij het zgn. “schrapen” van het Handelsregister kan je namelijk de werking van het beschermingsfilter tegen ongewenste direct marketing abusievelijk ongedaan maken.

Dat is wat OpenKvK overkomt want de over te hevelen gegevens worden kennelijk direct aan zoekresultaten in het zoekscherm voor het publiek ontleend.

Dit in afwijking van een reguliere klant die een adressenbestand van de Kamer van Koophandel wil gaan afnemen.

Die dient 1) eerst te betalen:

Wat kost een adressenbestand?

Aanvragen via internet

Adressen (KvK-nummer en NAW) € 0,04 per adres 
Extra rubrieken € 0,03 per rubriek / adres 
Levering op cd-rom of dvd € 45,00 extra

En 2) bij het samenstellen van het gewenste bestand rekening te houden met deze beperking:

Start uw selectie

Let op! Deze adressenselecties bevatten alleen adressen van ondernemingen en organisaties die geen bezwaar hebben gemaakt tegen het gebruik van hun adresgegevens.

Bij wijze van voorbeeld een selectie op basis van de postcode van eerder genoemde Stichting OpenGeo waarvan gezegd wordt dat die tot voor kort verantwoordelijk was voor de website OpenKvK.

Respectievelijk Bestellen bij en Zoeken in het Handelsregister van de Kamer van Koophandel, webpagina OpenKvK en vervolgens nog eens internationaal, OpenCorporates met de gevraagde selectie:

Bestellen     Zoeken       OpenKvK       OpenCorporates
--------------------------------------------------------------------------------
              20147376     20147376      20147376 Source OpenKVK.nl, 28 May 2016
27163238      27163238     27163238      27163238 Source OpenKVK.nl, 29 May 2016
27297365      27297365     27297365      27297365 Source OpenKVK.nl, 29 May 2016
              27327121     27327121      27327121 Source OpenKVK.nl, 29 May 2016
27345326      27345326     27345326      27345326 Source OpenKVK.nl, 29 May 2016
              27354465     27354465      27354465 Source OpenKVK.nl, 29 May 2016
              27365935     27365935      27365935 Source OpenKVK.nl, 29 May 2016
              55518427     55518427      55518427 Source OpenKVK.nl, 15 Jun 2016
56279930      56279930     56279930      56279930 Source OpenKVK.nl, 16 Jun 2016
              56744765     56744765                  
              57397201     57397201                  
60942258      60942258     60942258                  
              62997246     62997246      62997246 Source OpenKVK.nl,  9 Jun 2016
              63008882     63008882      63008882 Source OpenKVK.nl,  9 Jun 2016

Wat je hier gedemonstreerd ziet is dat in het bestelscherm maar een deel verschijnt van de bij elkaar veertien in het gewone zoekscherm gevonden adressen met die postcode.

N.B. eigenlijk zijn het er 15 maar twee inschrijvingen, “Tanden voor u” en “Rijk Tandtechniek en Supra Structuren B.V.” tellen beide met 27163238 als dossiernummer dubbel.

Zes bedrijven waarvan gegevens tegen betaling afgenomen kunnen worden. De overige kunnen dus alleen op de website van de Kamer van Koophandel ingezien worden omdat deze gegevens vanwege een vlag in de database niet (in bulk) voor andere doelen gebruikt mogen worden.

Gezien de gedeeltelijk lege eerste kolom heeft een meerderheid van negen inschrijvers, waaronder het genoemde OpenGeo zelf (20147376), de Kamer van Koophandel gevraagd om voor hen de Non Mailing Indicator (NMI) in te schakelen:

waardoor een ondernemer of organisatie in het Handelsregister laat aangeven dat adresgegevens van betrokkene in het Handelsregister ingevolge de Wet bescherming persoonsgegevens niet mogen worden gebruikt om post te sturen of hem te benaderen voor direct marketing doeleinden


#276

De kapitein: ik zet je nu af en ben precies over een week weer hier. Zorg dat je klaarstaat dan want ik wacht niet op je, veel te gevaarlijk. En pas op mijn console met je maanpak wil je …

Eindelijk in Urbit!

[[snareto](https://player.vimeo.com/video/75312418?autoplay=1)]

Roadmap:

[[pluck](http://urbit.org/posts/roadmap/)]

Een being maar wat zegt-ie:

    ace [1 space]   gal <               pel (
    bar |           gap [>1 space, \n]  per )
    bas \           gar >               sel [
    buc $           hax #               sem ;
    cab _           hep -               ser ]
    cen %           kel {               soq '
    col :           ker }               tar *
    com ,           ket ^               tec `
    doq "           lus +               tis =
    dot .           pam &               wut ?
    fas /           pat @               zap !

Hoon!

Waar is dat leitje dat ze me voor deze missie meegegeven hebben:

How to form expressions

Hoon does not typically use reserved words to form expressions. Instead, expressions are formed with runes: digraphs of two ASCII symbols. Each rune takes a specific number of children, either expressions formed by other runes or literals that produce their own value (some runes take N children, and are usually closed with ==).

For example, the rune ?: from line 17 is the classic ‘if-then-else’ statement, and thus takes three children:

  ?:  (lth a b)           ::  if first child evals to true
    0                     ::  then produce result of second
  (add b $(b (add 3 b)))  ::  else, produce result of third

Since runes are such a fundamental structure in Hoon, we found ourselves speaking them out loud frequently. It quickly grew cumbersome to have to say “question mark, colon” to describe ?:. To alleviate this problem, we came up with our own naming scheme: each ASCII glyph has a single-syllable pronunciation phonetically designed to be both easily remembered and easily pronounced in conjunction with the other glyphs (when forming a rune).

Using this scheme, we would pronounce ?: as ‘wutcol’.

For those who prefer to use reserved words to form expressions, you can substitute any rune with that rune’s keyword, which you can find in ++twig in /arvo/hoon.hoon.

[trap]

Dat licht!

‘Visor Down’ …

Schim:

[rope]

Uh-oh:

[grip]

‘Governance’ in een ‘Larval’ stadium:

[burn]

Taiwindigero? Smeet. Klump.

o/o


#277

Jan Marco, De Slimste Mens, voor 10 seconden nu, wat betekent: Miniatuurzacht?

Ja! Dat is juist, Microsoft. Meep, meep:

Is Windows 10 installation using a Windows 7 key still possible after 29/07/2016?

The Windows 10 Free Upgrade Offer ended on July 29th 2016 officially. It is now August 2016, the official recommendation for users who missed the free upgrade offer, is to purchase a full license.

Buy Windows 10 Home/Pro

Mijn geliefde c’t kwam met een tegenbericht. Kan nog steeds:

Pseudo-Ende - Windows 10 noch kostenlos erhältlich

Am 29. Juli lief Microsofts Angebot aus, kostenlos von Windows 7/8.1 auf Windows 10 umzusteigen.
Doch faktisch endete nur die Werbung, denn kostenlos umsteigen kann man weiterhin und es bleibt dabei weiterhin die Wahl zwischen Neu- und Upgrade-Installation. Letztere geht nun allerdings anders als bisher.

Dat wat je nodig hebt om naar versie 10 te komen blijkt op drie plaatsen nog gewoon op te halen.

Ten eerste door vol te houden dat jij het schermtoetsenbord wel eens gebruikt of dat je je bij tijd en wijle iets door het operatingsysteem moet laten voorlezen:

Gratis upgrade naar Windows 10 voor klanten die technologieën voor toegankelijkheid gebruiken

Voor het algemene publiek eindigt de gratis upgradeaanbieding voor Windows 10 op 29 juli. Als je echter ondersteunende technologie gebruikt, kun je nog altijd de gratis upgrade krijgen nadat de deadline voor het algemene publiek is verstreken. Bij Microsoft blijven we ons best doen om de ervaring met Windows 10 te verbeteren voor mensen die deze technologieën gebruiken. (Link)

Met knop Nu upgraden > haal je dan het bestand “Windows10Upgrade24074.exe” naar je toe om dat vervolgens onder je bestaande 7/8-licentie te kunnen installeren.

Optie 2:

Windows wordt steeds beter.

Windows 10 Jubileumupdate is de tweede grote update sinds de lancering van Windows 10. Deze update bevat diverse geweldige nieuwe functies waarvan we weten dat klanten ze graag willen zien. Windows 10 Jubileumupdate wordt automatisch gedownload en geïnstalleerd zodra de update beschikbaar is voor uw apparaat (na de update wordt Windows 10 versie 1607 op uw apparaat uitgevoerd). Wilt u de update nu downloaden? Klik dan op de onderstaande knop. (Link)

Knop Jubileumupdate nu downloaden resulteert nu in een download van “Windows10Upgrade28084.exe”.

Waaraan de Microsoft-klant dan alleen nog de naam van dat andere, dáárvoor genoemde invalidenbestand moet geven, Windows10upgrade28084.exe dus veranderen in Windows10Upgrade24074.exe anders werkt het alsnog niet maar zo simpel is het wel:

Was nach dem Download auf der Platte landet, ist identisch mit „Windows10upgrade24074.exe“, unterscheidet sich aber durch den Namen („Windows10upgrade28084.exe“) – und der steuert das Verhalten des Programms. Solange es so heißt, verlangt es unter Windows 7 und 8.1 die Eingabe eines Windows-10-Schlüssels. Benennt man es aber in „Windows10upgrade24074.exe“ um, wandelt es einfach ein bestehendes Windows-7/8.1 problemlos in ein aktiviertes Windows 10 um.

Moest Wehrmannchen dit nog vertalen, nee toch? Het derde adres waar men zich nog steeds kan melden voor een gratis-beurt:

Microsoft - Software-download - Windows10

De aanbieding voor de gratis Windows 10-upgrade is beëindigd. Klik hier voor meer informatie. (Link)

Nu hangt het er even vanaf of op de PC waar men dit doet Windows 10 al geïnstalleerd is of niet. Om het voor een andere computer te kunnen ophalen is dat dit keer vereist want anders maakt de webpagina van:

<div class="row-margined-bottom row-fluid">

… heel slinks de regel:

<div class="row-margined-bottom row-fluid" style="display: none;"> 

En is dit stukje van deze pagina dientengevolge niet meer zichtbaar voor de teleurgestelde bezoeker:

Update nu

We zien dat je Windows 10 gebruikt. Als je wilt updaten naar de laatste versie, klik dan op Update nu.

Maar onder Windows 10 ziet hij dus wel een knop Update nu voor “Windows10Upgrade9252.exe”.

Mijn zegslieden weer:

Es trägt dann den Namen „Windows10upgrade9252.exe“, auch hier reicht wieder das Umbenennen in „Windows10upgrade24074.exe“.

Microsoft zou maar al te graag ook van de resterende 56% Windows 7 gebruikers af willen:

Those free Windows 10 upgrades are over. Now what?

That’s still a lot of Windows 7 PCs, And even the carrot of a free upgrade was not enough to move that number more than another few percent in the final months of that offer, which explains why the offer wasn’t extended.

Asking existing Windows 7 users to pay $99 or more after they’ve spent a year avoiding the free upgrade seems like a surefire way to guarantee that they never upgrade. That significantly increases the risk of an XP-style mess come 2020.

Maar zwijgt als een sfinx:

Fazit

Dass Windows 10 als kostenloses Upgrade weiterhin auf gleich mehreren Wegen verfügbar ist und dass Microsoft dafür jeweils auch noch Zeit und Geld investiert hat, macht deutlich, dass das durchaus Absicht ist – auch wenn Microsoft sich dazu offiziell nicht äußern will. „Kommentieren wir nicht“ war die einzige Aussage, die c’t dem Konzern entlocken konnte. Das wiederum ist ein weiteres Indiz, dass hier Absicht vorliegt, denn sonst hätte Microsoft widersprochen.

Bye now (Tschüss)


#278

Hoi Weerman,

Met knop Nu upgraden > haal je dan het bestand “Windows10Upgrade24074.exe” naar je toe om dat vervolgens onder je bestaande 7/8-licentie te kunnen installeren.

Mijn broer heeft niet geupgrade, omdat een collega van hem had gezegd dat Windows 10 niet zo veel aan hebt. Nu heeft hij spijt. Hij vond dat hij te veel door anderen heeft laten leiden. Met jouw tip kan ik zijn systeem alsnog gaan upgraden :slight_smile:

Ik heb mijn moeder xp-pc ook vervangen door een Windows10 PC.

Mijn moeder was niet blij/dankbaar. Oude had betere toetsenbord….
Ik heb mijn moeder ook Facebook account aangemaakt. Een zus van haar heeft wel email-account. Een broer van haar heb ik gebeld, maar die wilde niet op Facebook en gaf aan alleen via telefoon te communiceren. Ik denk dat mijn oom wel email account heeft. Op zich wel moeilijk om goed de familie met elkaar te verbinden. Anders geformuleerd is er wel iets te ontwikkelen om beter oudere mensen met elkaar te laten communiceren.

De hartelijke groet Jan Marco


#279

Podium Witteman - Uitzending 16 oktober (2016)

Violist Shin Sihan speelt met pianiste Anne Brackman de tweede vioolsonate uit 1923 van de excentrieke Amerikaan George Antheil.

Korte inleiding door de presentator:

De meest doeltreffende methode om af te rekenen met hoestend publiek werd gebruikt door de Amerikaanse componist en pianist George Antheil. Nadat hij plaats had genomen op de pianokruk pakte hij een automatisch pistool uit de binnenzak en legde die dreigend op de vleugel.

Het bleef stil.

George Antheil vierde begin vorige eeuw vooral triomfen in Parijs waar veel van zijn krankzinnige composities in premiere gingen. Het Ballet Mechanique bijvoorbeeld. Hij plaatste voor de uitvoering acht vleugels, sirenes, pianola’s, een windmachine en een vliegtuigpropeller in de salon van een rijke dame. Het publiek, gekleed in avondkleding werd geboden onder de vleugels te gaan liggen. Enkele bevoorrechten mochten in de kroonluchters hangen.

Het werd een rel.

Antheil was een kwajongen die wilde spotten met al die vertrouwde regels die volgens hem de klassieke muziek zo voorspelbaar maakten. De conservatieve critici maakten gehakt van zijn muziek. Anti-kunst vonden ze het, en ze wilden dat hij in een krankzinnigengesticht werd opgenomen. Zo ver kwam het niet, maar na een mislukte loopbaan als componist van filmmuziek in Hollywood stierf hij nog voor zijn zestigste.

Er is gelukkig nog wat van die gekke muziek bewaard gebleven. Waaronder de 2e vioolsonate. Antheil schreef voor dat er een bak water voor de pianist klaar moest staan om de handen te af te koelen.

Hij, Witteman, liet de grootste helft weg!

Dat kan natuurlijk niet. Hier, inmiddels ruim 5 jaar oud en voor deze gelegenheid liefdevol gerestaureerd, uit het oude ‘phpBB’-forum mijn bijdrage van destijds …


#280

Podium Witteman (2)

Plaatje, dient weliswaar als ‘wallpaper’ voor een iPhone maar het moet een afstemschaal van een “tafel radio” voorstellen, zeg maar van 50 jaar geleden:

Deze radio is overduidelijk bestemd voor de ontvangst van de “omroepbanden”, niet zichtbaar is of men op dit moment bijvoorbeeld de “middengolf” geselecteerd heeft. Maar waar het hier even om gaat, was de afstemknop van dit toestel ook voorzien van een vliegwiel?

Ok dan, gaan we lukraak zomaar eens op wat stations afstemmen. Vanwege de genoemde vliegwielwerking is het comfortabel snel zenders zoeken en opeens weer halthouden als je iets van je gading tegenkomt. We zien de rode stationsaanduiding af en aan in een flits voorbijkomen en dan plotseling weer hier, dan weer daar, stoppen op de afstemschaal.

Voor je het weet heb je dan:

a. een geheel nieuwe interpretatie van Stockhausen’s avant-garde stuk “Kurzwellen” toegevoegd aan het korte lijstje van reeds bekende uitvoeringen:

b.of je hebt zoals deze dame:

Samen met een andere avant-garde componist een uitvinding gedaan die later in de 20e eeuw van verstrekkende betekenis zal blijken te zijn voor de ontwikkeling van nieuwe vormen van civiele en militaire communicatie, stuk voor stuk direct of indirect gebaseerd op deze vondst, ‘frequency-hopping’:

The Story So Far: Mobile & Wireless Computing

1940 Actress Hedy Lamarr and composer George Antheil begin work on spread-spectrum technology

1962 Spread-spectrum radio is used for secure communications during the Cuban missile crisis

1970 AlohaNet links computers throughout the Hawaiian islands, first radio-based computer network

1983 Global Positioning System (GPS) - originally used by the U.S. military as a missile guidance system - is now available to commercial aircraft

1991 Digital cellular phone networks begin operating in Europe and the U.S.

1992 First domestic cordless telephone to the DECT standard, Siemens Gigaset 900 telephone

1993 Nokia develops text messaging between mobile phones

1993 GPS system declared to be no longer in the developmental stage and approved for civilian use

1999 Apple’s AirPort wireless networking product is the first to use Wi-Fi

2000 Bluetooth wireless networking begins to appear in mobile telephones and handheld computers

2010 Apple does not yet support USB 3.0 (if ever)