Java grafieken voor Opendata


#181

Hoi Weerman,

New kid on the block (about half the age of me) Jelle van den Hooff (24). Hij maakt (visie) stuk en hoopt dat anderen hem mee gaan helpen. Het genereren van noise (nep berichten) is wel bekend bij mij, iets wat ze ook bij Gnunet doen.

Mijn visie is dat je net als je vroeger cowboys naar het wilde westen trokken om het land te koloniseren van de Indianen. Ik geloof dat de vondst van goud toen ook een sterke driver is geweest. Zal je zien dat men in de toekomst de darknet gaat exploiteren. Het zou best kunnen dat als we marktplaats/ebay/airbnb, etc. in de Darknet werkend zouden kunnen krijgen, we de huidige spelers zouden kunnen verslaan. Mijn assumptie: Gebruikers willen graag anoniem (niet door anderen bekeken) transacties afsluiten.

Nederlandse Vuvuzela maakt internet veiliger

Anoniem internet kan nog anoniemer. Daarvoor heeft de Nederlandse student Jelle van den Hooff (24) een compleet nieuw netwerk ontwikkeld. Dat moet het veel moeilijker maken voor inlichtingendiensten en hackers om mensen te bespioneren. Dankzij de vuvuzela.

Miljoenen mensen die anoniem willen internetten, zoals klokkenluiders en oppositieleden in dictaturen, gebruiken momenteel het zogeheten TOR-netwerk. Dat brengt ze via veel afgeschermde tussenstappen naar hun bestemming, bijvoorbeeld een verboden website. De eerste computer in het netwerk kent de gebruiker, de laatste computer kent de bestemming, maar door alle tussenstappen kent niemand beide. Gebruikers verdwijnen in de menigte.

Dat is althans de gedachte. Want inlichtingendiensten en hackers worden steeds beter. “Een sterke tegenstander kan de hele menigte volgen en nauwkeurig zien dat ik praat met de eerste tussenstap. Die praat met het tweede tussenpunt, enzovoort. Daarnaast kan de tegenstander zien wat er heen en weer gaat. Als ik met een stapel kranten een menigte in ga, en iemand anders verlaat daarna de menigte met een stapel kranten, weten ze dat die van mij moet komen, zonder dat ze ons ooit hebben zien praten”, aldus Van den Hooff tegen het ANP.

De oplossing: schijnbewegingen. Bij het netwerk van Van den Hooff stuurt iedere gebruiker constant informatie naar iedereen. Een deel daarvan is echt, een deel is nep. Alle pakketjes zijn even groot. Daardoor komt er zo veel verkeer op het netwerk, dat een aanvaller door de bomen het bos niet meer ziet. Hij wordt bedolven onder ruis en getetter. Dat bracht Van den Hooff en zijn collega’s op de naam: Vuvuzela. Die Zuid-Afrikaanse toeter was bij het WK voetbal in 2010 overal te horen en maakte sommige kijkers horendol.

Het prototype van Vuvuzela is af, maar het is nog niet klaar voor invoering, benadrukt Van den Hooff. “Vuvuzela is afhankelijk van een klein aantal vertrouwde servers, die moeten worden beheerd door zeer betrouwbare mensen met veel geld. Die zijn niet zo gemakkelijk te vinden.”

De hartelijke groet Jan Marco


#182

Nederlandse Vuvuzela maakt internet veiliger? Tjee, de Telegraaf zit wel in de loop. Google hits:

Dec  2, 2015 - Private messaging system that hides metadata. 
Dec  3, 2015 - For example, Section 9 in the paper mentions
Dec  3, 2015 - Vuvuzela can't provide anonymity, and at best 
Dec  7, 2015 - Because the system confuses adversaries by dr
Dec 10, 2015 - Git Clone URL: https://aur.archlinux.org/vuvu
Dec 12, 2015 - The system, dubbed Vuvuzela after the infamou
Dec 13, 2015 - MIT researchers claim they have developed “Vu
Dec 14, 2015 - A group of computer scientists at the Massach
Dec 14, 2015 - It's this last technique that gave the system
Dec 14, 2015 - The Vuvuzela system uses a constant random pa
Dec 16, 2015 - So a team of researchers from MIT has present
Dec 17, 2015 - As privacy of The Onion Router (Tor) network 
Dec 18, 2015 - Communicating by Vuvuzela, for when anonymity
Dec 18, 2015 - Tor may have met its privacy match: Vuvuzela,
   1 day ago - Nederlandse Vuvuzela maakt internet veiliger.

Waarbij "1 day ago" uitkomt op “za 26 dec 2015, 12:32”.

En ook nog eens geïllustreerd met het obligate ‘stock’-fotootje van een paar groene ledjes achter een speciaal voor ons even omhooggehouden netwerk-connector.

Voor degene bij de Telegraaf die dat dus op Tweede Kerstdag zat te doen ook niet al te lastig gezien de bestandsnaam van dat plaatje:

images0.tcdn.nl/binnenland/article24916173.ece/BINARY/d/Stock_+computer_+netwerkkabel_
+RJ-45_+modem_+server_+kabels_+kabel_+ledje_+led_+energie_+UTP+kabel_+glasvezel_
++internet_+snelheid_+kabel_+draad_+glasvezelnet_+netwerk_+infrastructuur_++werkzaamheden_
+digitaal_++lichtsnelheid_+licht_+glas_+aanleg_+oranje_

Maar Jan Marco, toch te laat.

Want op de omslag van het computertijdschrift c’t staat “1/2016 dd. 28.12.2015” terwijl het vandaag 27 december 2015 is en het donderdag 24-12 al in de brievenbus lag.

Dus, jij mijn beste wensen voor de aanstaande jaarwisseling, wat zullen we ervan maken, een inspirerend 2016?

En twee, ze komen te laat met dat Vuvuzela want het overgrote deel van de Duitse pers had afgelopen woensdag 23-12 dit nieuws uit c’t over “Die Kabel-Deutschland-Lücke” online staan:

Der Kunde stieß auf den Kanal für den Kunden-Service

Graf konnte sich Profile und Passwörter von anderen Kunden-Modems herunterladen und im Namen fremder Rechner surfen. Darüber hinaus stieß er auf das interne Wartungsnetz für die Modems. Dieser Kanal ist für den Kunden-Service vorgesehen. Techniker der Firma müssen in der Lage sein, auch aus der Ferne auf ein Modem zuzugreifen. So können sie bei Problemen helfen, ohne jedes Mal persönlich beim Kunden vorbeizukommen. Graf konnte sehen, dass die Modems miteinander kommunizierten und vernetzt waren.

Vodafone bestätigt Grafs Erkenntnisse: “Wir sind Mitte November auf eine ernst zu nehmende Schwachstelle von Kabelnetzbetreibern hingewiesen worden, über die sich ein externer IT-Experte zwischenzeitlich Zugang auf das Wartungsnetz von Vodafone Kabel Deutschland verschafft hatte”, teilt ein Unternehmenssprecher auf Anfrage mit. Die Firma habe umgehend die Bundesnetzagentur und den Bundesbeauftragten für Datenschutz informiert.

Volle Zugriffsrechte für das Modem

Für wenig Geld lassen sich aus China Produkte bestellen, die man auf den Speicher des Modems aufstecken könne, sagt Graf. “Die sehen aus wie kleine Wäscheklammern.” Der Effekt: Er konnte den Speicherchip auslesen und so die Betriebssoftware des Modems analysieren. Dabei fand er Schwachstellen im Code und bekam volle Zugriffsrechte für das Modem.

Das ist ein doppeltes Desaster. Zum einen innerhalb des Netzwerks, also auf den Rechnern der Kunden. Laptops, Smartphones, Tablet-PCs: Die Lücke erlaubte es Graf, auf fremde Fotos oder Dokumente zuzugreifen. Wenn im Haus ein externer Festplattenspeicher (NAS) eingesetzt wird, damit alle Familienmitglieder auf gemeinsame Dateien zugreifen können, dann stand auch dieser Speicher offen. Denn ein Heimnetz wird in aller Regel nicht besonders gut abgesichert. Wer sich einmal Zugang verschafft hat, kann sich bedienen.

Süddeutsche Zeitung - 2,8 Millionen Vodafone-Kunden waren jahrelang ausspionierbar - 23-12-2015

Daar helpt geen Vuvuzela aan. Vanavond zou die gozer - Alexander Graf heet hij - om 18.30 zijn verhaal houden voor het Chaos Communication Congress van dit jaar (32c3), compleet met stream dus ik weet nu nog niet of het precies dat merk was maar ze doen er inderdaad wel schamper over:

technicolor tc7200 cable “modem”

The lowest-end cable modem available for UPC, KabelDeutschland and other cable internet provides is the Technicolor TC7200. It is marketed as “modem”, but in fact it is a router. The firmware is branded/limited, buggy and “ugly” (e.g. complete web interface live-translates via javascript, non-working options like bridge-mode and wifi). As the device runs linux and provides different interfaces (including cable), it would be nice to get into the system and play with it.

[!!!] FOR CHANGES/MODS/HACKS ON THE DEVICE I USE A UNIT OFF EBAY WHICH I (not a KabelBW customer!) NEVER CONNECT TO THE CABLE NETWORK FOR THIS EXPERIMENTS [!!!]

The Technicolor tc7200 runs linux. Neither Technicolor nor the cable provider (KabelBW) provides the sources for the GPL licenced code. Technicolor does not answer end-customer questions, KabelBW does not answer questions without a customer number (which I will not provide because it is not relevant for the request).
On top of that, the device is unstable and insecure (e.g. get admin password or do factory reset from LAN side with a single http requst) - yay! It is not possible to configure wireless (config page just shows up a error message), but wireless is still enabled.

hackaday.io - technicolor-tc7200-cable-modem

Nogmaals, nog niet bekend of het doorgelichte modem van dit merk was maar net als bij Kabel Deutschland van Vodafone is het in ieder geval ook een van de kabelmodems die Ziggo uitzet bij klanten en ik zag een andere Duitser zich afvragen waarom bijvoorbeeld wel liften periodiek gekeurd moeten worden maar zo’n netwerk waar een kleine 3 miljoen klanten op zitten, niet?

De eigenaar van Ziggo en de eigenaar van Kabel Deutschland draaien ook al een tijd om elkaar heen.

Eigenaar Ziggo aast op Vodafone

Liberty Global,het moederbedrijf van de kabelmaatschappij Ziggo, onderhandelt met het Britse telecombedrijf Vodafone over een fusie. Vodafone bevestigt dat er gesprekken gaande zijn.

Zo’n fusie zou grote gevolgen hebben voor de Nederlandse telecommarkt. Ziggo heeft na de fusie met UPC 4,5 miljoen klanten. Vodafone heeft vijf miljoen klanten.

Liberty Global en Vodafone zijn twee internationale telecomgiganten met een waarde van 200 miljard dollar. Met Ziggo heeft Liberty in Nederland nog geen eigen mobiel netwerk. Het bedrijf huurt capaciteit op het netwerk van Vodafone.

opendata-forum.nl - 5-6-2015

Of andersom:

Liberty Global, Becoming a Big Fish, Risks Attracting the Eye of a Shark

But a senior banker who specializes in global telecommunications companies contends that before long, Liberty Global will be too enticing for others to resist. “In a year or two, it will be the must-have asset,” he said.

opendata-forum.nl - 10-6-2015

Liever Vodafone? Want voortgekomen uit het Britse Racal, leverancier van defensie-apparatuur en heeft dan heel misschien meer oog voor kwaliteit in de te gebruiken kabelmodems:

Vodafone leaves door ajar to striking a deal with Liberty Global

Last month, Vodafone showed that investment in its core European operations — part funded by its exit from Verizon Wireless in the US — was starting to pay off, with customers increasingly buying 4G mobile services.

This improved performance has led to hopes among some Vodafone shareholders that the new year will bring a fresh attempt by the UK telecoms group to strike a deal with US-listed Liberty Global after abortive attempts to combine their European businesses this year.

Vodafone and Liberty executives have spent the past few weeks meeting investors, and both companies say the door remains open to deal talks.

“Neither side is pushing the other away, which is interesting in itself, and even their language seems similar,” says one shareholder in both groups. Vodafone and Liberty declined to comment.

Financial Times - Telecoms - December 15, 2015

Aas? Shark? Of het wel goed gaat met de Kerstgedachte:

Finding Nemo (2003)

  • Bruce: So, what’s a couple of bites like you doing out so late?
  • Marlin: Nothing, we’re not doing anything, we’re not even out.
  • Bruce: Great! Then how would you little morsels like to come to a little - a little get-together I’m having?
  • Bruce: [reciting] I am a nice shark, not a mindless eating machine. If I am to change this image, I must first change myself. Fish are friends, not food.
  • [Sniffs the blood; his eyes turn black]
  • Bruce: Ooooooooo, that’s good…
  • Chum, Anchor: Intervention!

www.youtube.com

JM, nog even terug naar de Vuvuzela-berichtendienst? Ik zie dat MIT haar eigen onderzoekers eigenlijk ietsjes te onwetenschappelijk naar voren schuift:

Untraceable communication — guaranteed

New untraceable text-messaging system comes with statistical guarantees.

“Tor operates under the assumption that there’s not a global adversary that’s paying attention to every single link in the world,” Nickolai Zeldovich says. “Maybe these days this is not as good of an assumption.”

“The mechanism that [the MIT researchers] use for hiding communication patterns is a very insightful and interesting application of differential privacy,” says Michael Walfish, an associate professor of computer science at New York University. “Differential privacy is a very deep and sophisticated theory.

The observation that you could use differential privacy to solve their problem, and the way they use it, is the coolest thing about the work. The result is a system that is not ready for deployment tomorrow but still, within this category of Tor-inspired academic systems, has the best results so far. It has major limitations, but it’s exciting, and it opens the door to something potentially derived from it in the not-too-distant future.”

mit.edu - News - December 7, 2015

Temeer daar Wikipedia gewag maakt van al langer bestaand onderzoek inzake ‘Differential privacy’:

Differential privacy

In cryptography, differential privacy aims to provide means to maximize the accuracy of queries from statistical databases while minimizing the chances of identifying its records.

Netflix Prize

Netflix has offered $1,000,000 prize for a 10% improvement in its recommendation system. Netflix has also released a training dataset for the competing developers to train their systems. While releasing this dataset they had provided a disclaimer: To protect customer privacy, all personal information identifying individual customers has been removed and all customer ids have been replaced by randomly assigned ids.

Netflix is not the only available movie rating portal on the web; there are many others, including IMDB. On IMDB individuals can register and rate movies and they have the option of not keeping their details anonymous. Arvind Narayanan and Vitaly Shmatikov, researchers at The University of Texas at Austin, linked the Netflix anonymized training database with the IMDB database (using the date of rating by a user) to partially de-anonymize the Netflix training database, compromising the identity of a user.

En zo’n metadata-argument als uit hun ‘paper’ hoeft niet overeind te blijven:

For example, if Bob repeatedly emails a therapist, an adversary might reasonably infer that he is a patient?

Ken een concreet en actueel geval waarin dit haar aannemer betreft, over de fundering van het pand waarin haar praktijkruimte gevestigd is.

Het is inmiddels half zeven en ik heb nu Alexander Graf als stream via VLC: Duitser met een staartje in het Engels, weet waar hij het over heeft en heeft de zaal mee, men lacht op de juiste momenten. Dat moeten dan wel eveneens hackers zijn.


#183

Weerman,

Dus, jij mijn beste wensen voor de aanstaande jaarwisseling, wat zullen we ervan maken, een inspirerend 2016?

Voor jou ook de aller beste wensen voor het nieuwe jaar.

Ik ga zeker vanuit dat 2016 een inspirerend jaar zal worden. Ik zie dat we steeds verder komen. Mijn dank is groot voor jouw grote bijdragen :smiley:

The firmware is branded/limited, buggy and “ugly” (e.g. complete web interface live-translates via javascript, non-working options like bridge-mode and wifi).

Ik heb een wrt1900ac gekocht. Wat ik mooi vind is dat het openwrt ondersteunt. Ik ga hem alleen gebruiken voor openwrt experimenten en voor gebruik van wifi. Ik heb thuis sterke voorkeur voor kabels en zal niet gauw wifi gebruiken omdat het voor mijn gevoel makkelijker te hacken is en minder stabiel is dan normale utp-kabels. Ik kreeg ook de volgende Java foutmelding, die ik heb opgelost door opnieuw aan te loggen.

Foutmelding: Details verbergen
/jnap/wirelessap/GetRadioInfo – Cache-Control: no-cache, no-store, max-age=0 Content-Type: text/plain Date: Fri, 01 Jan 2016 15:01:12 GMT Server: Apache/2.2.19 (Unix) mod_ssl/2.2.19 OpenSSL/1.0.0d mod_jk/1.2.28 Content-Length: 126

Je moet via een linksys applicatie deze (wifi) router gaan beheren. NSA kijkt met je mee deze zomer.

Ik probeer telefoonkosten te besparen. Ik heb dual sim telefoon gekocht.

In de ene sim doe ik www.simpel.nl (10 euro per maand (twee jaar contract), gratis bellen en SMS-en) in de andere SIM zet ik op de dataverbinding en daarvoor ga ik een tele2 (11 euro per maand, maandelijks opzegbaar abonnement) gebruiken.

Ik hoop zo te voorkomen dat ik per mb (0,13 euro) moet gaan betalen als je buiten databundel van simpel.nl raakt.

Ik wil tethering/hotspot aan gaan zettten op de acer-liquid-z630 en met mijn andere telefoons/ppc’s op deze toestel gaan inloggen. Ik geloof dat het ook via wifi kan, maar dat ga ik nog uitzoeken.

Definition - What is tethering?
Tethering is the practice of using a mobile device (such as a cell phone) as a modem to connect another device (such as a laptop) to the Internet. A tether is a long leash. In phone tethering, the leash is either a USB cable or a wireless Bluetooth connection.

Weerman, Wat ik zie is dat er verschillende (online) koppelingen ontstaan. Denk aan koppeling naar telecom provider, zorgverzekering, etc. Komend jaar ga ik kijken of ik deze koppelingen ook kan automatiseren vanuit mijn source stack. Ik ga daarvoor het Ultimate++ als “paraplu programma” gebruiken.

De hartelijke groet Jan Marco


#184

OpenWRT.

Mooi speelgoed.

Letterlijk:

Linux Light Bulbs Allow Devices To Talk To Each Other With Flashes Of Brilliance

Modern light bulbs based on Light Emitting Diodes (LEDs) can be used to create smart indoor environments: LED light bulbs provide a foundation for networking using visible light as communication medium. With Visible Light Communication (VLC), LED light bulbs installed in a room can communicate with each other and other VLC devices (e.g., toys, wearables, clothing).

The vision of the Internet of Things requires that light bulbs and VLC devices communicate via the Internet Protocol (IP). This paper describes how an IP stack can operate on an LED-based VLC node, using the OpenWRT light-weight variant of Linux.

www.disneyresearch.com - Workshop on Visible Light Communication Systems (VLCS) 2015

Smart LED’s - met embedded software - zitten eraan te komen maar deze LED-lamp is nog door hen gepimpt:

Visible Light Communication (VLC)

Light Emitting Diodes (LEDs) are used in consumer electronics, toys, light bulbs, cars, and monitors. With LEDs, it is possible to control light brightness at a frequency much higher than conventional light bulbs: LEDs can be switched on and off at very high rates. As result, LED-based lighting can be used for wireless communication services by modulating the intensity of the emitted light. Further, LEDs can also be used as receivers just like photodiodes. We call this concept Visible Light Communication (VLC) with LED-to-LED networking.

Significant research contributions have been achieved by Disney Research in the area of networked systems for VLC. VLC creates opportunities for low-cost, safe, and environmentally friendly wireless communication solutions. We focus on connected toys and light bulb networks. Our work targets a full system design that spans from hardware prototypes to communication protocols, and applications.

www.disneyresearch.com

Het hoeft geen lamp te zijn waarmee het zenden en ontvangen plaats vindt, in de video van de presentatie door mensen van Disney Research zag ik een soort opwindsleuteltje uit zowel een iPad als een iPhone steken:

 Toy and Smartphone

       

Maar dat blijkt een audio-jack-adapter voor ‘VLC’ die zijn oer-vorm ontleent aan Mickey Mouse.

Zou zo vermarkt kunnen gaan worden:

Zij van Disney Research in Zwitserland zijn niet voor één gat te vangen:

Peripheral Device Hardware

Audio signals are AC-coupled, hence it is not possible to directly generate an on-off pattern to drive an LED. Further, even with the loudest audio settings, the amplitude of the audio output signal is still in the millivolts range (around 100mV to 200mV, depending on the device) and therefore not large enough to emit light with reasonable intensity through a standard LED. Our device uses a hardware design that is based on University of Michigan’s Hijack project.

The schematics show a low-complex system with only a handful of components, without the need to include a microcontroller.

The audio signals of the left and right channel are joined together to increase the available current and therefore also power. The transformed signal’s amplitude provides high enough voltage to drive an LED.

Jan Marco, hou je geld over voor iets van een accessoire dan? Toen ik wat zat te bladeren voor dat Disney-plugje wist ik niet wat ik zag …

Begint kennelijk allemaal in China met de mogelijkheden van kunsthars en onder het mom van een iPhone Earphone Dust Plug eerst nog Mickey Mouse zelf. Maar dan:

        

Mijn mond viel open, fruit, kroonjuwelen en wat wil zij nog meer:

        

        

        

Blijft niet beperkt tot een bedeltje:

        

Your place or mine?


#185

Hoi Weerman,

Jan Marco, hou je geld over voor iets van een accessoire dan? Toen ik wat zat te bladeren voor dat Disney-plugje wist ik niet wat ik zag …

Ben op ‘koopjesjacht’ pad geweest bij V&D om het gespaarde geld weer uit te geven :grinning: Koopjesjacht klinkt beter dan ‘roverspad’. Artikel nr. BEPR8102 516, (adviesprijs 234,95;V&D_prijs 71,90 euro, is 30% van het adviesprijs van leverancier).

EAN: 8714322871607 (volgens http://www.flessendop.nl/vandyck-fibersoft-4-seizoenen-dekbed-140-x-220.html )
http://www.kieskeurig.nl/eanchecker geeft op (EAN: 8714322871607) volgende record terug.
ID =3227547
UID=55C578187E3848ACB7B42FB5E5DDF7BD
BRAND=Vandyck
DESCRIPTION=
TYPE=Fibersoft 4-seizoenen Dekbed

Maat dekbed is momenteel niet leverbaar bij de webshop van vandyckshop. Ander maat van het dekbed kost 169,95 euro. Fonq zegt het nog wel te kunnen leveren voor 190,90 euro, adviesprijs 234,95 is die zij daarbij aanhouden. Zou de vandyckshop prijs niet het adviesprijs van het dekbed moeten zijn, want leverancier hanteert een lager prijs in hun webwinkel?

Ik weet niet zo gauw of maat ook onderdeel van EAN. Denk ik niet.

Ik zie dat er ook bedrijf is die zegt marktleider te zijn op gebied van gestandaardiseerde productinformatie, namelijk icecat.

Over Icecat:

Icecat is wereldmarktleider op het gebied van de syndication van gestandaardiseerde productinformatie.

Open Icecat biedt gratis productinformatie voor inmiddels 300+ participerende fabrikanten. Veel leidende ecommercebedrijven in de wereld maken gebruik van de Open Icecat-catalogus, die uitgegroeid is tot een marktstandaard voor productinformatie waarbij alle gangbare wereldtalen worden ondersteund.

Icecat beperkt zich niet tot de productinformatie van de participerende merken, maar helpt etailers en andere ecommercepartijen ook om hun assortimenten volledig af te dekken met hoogwaardige productdata (Full Icecat-catalogus met productinformatie). De miljoenen gestandaardiseerde product-datasheets binnen Icecat hebben daardoor inmiddels betrekking op duizenden verschillende merken en categorieën.

Het intensieve gebruik van Icecat heeft geleid tot een enorme (miljarden!) hoeveelheid jaarlijkse downloads van product-datasheets door de tienduizenden aangesloten ecommerce-sites: online shops, ERP-systemen, vergelijkingssites, inkoopsystemen, review-sites en andere ecommerce-applicaties. In ieder koop- of bestelsysteem is immers het raadplegen van goede productinformatie essentieel. De afgeleide downloadstatistieken vormen een interessante bron voor marktonderzoekers.

Open Catalog Interface PDF. In het eind van pdf staan de tabel definities voor MySQL.

Weerman, Ik denk dat jij beter in dit onderwerp zit. Zou het volgens jou mogelijk zijn om de data van te icecat te gaan ‘synchoniseren’ ?

De hartelijke groet Jan Marco


#186

Jan Marco, één woord, TakeitNow.

Dat was immers een van de slimmeriken toen, productinformatie als plofkip, 2003:

Er is een schreeuwende behoefte aan betaalbare “rich content”.

Dat zegt Martijn Hoogeveen, directeur van webwinkel TakeitNow en initiatiefnemer van ICEcat. ICEcat levert gestandaardiseerde productbeschrijvingen en opereert om zijn kosten laag te houden werkt Hoogeveen veel met offshore labor, voornamelijk uit Oost-Europa. Zo wordt het redactie- en ontwikkelwerk van ICEcat in Oekraïne en Wit-Rusland verricht. De eindredactie en het bouwen van de interfaces vindt in Nederland plaats. Technologiepartner is het Nederlandse ICEshop, waar Hoogeveen een onbekend belang in heeft.

Hoogeveen – die ook hoogleraar E-commerce is aan de Open Universiteit – heeft voor “enige tonnen” ICEcat opgezet. Het in Utrecht gevestigde ICEcat is een 100 procent dochter van webwinkel TakeitNow, maar wordt mogelijk op termijn verzelfstandigd. ICEcat legt zich toe op het produceren van gestandaardiseerde productbeschrijvingen.

TakeitNow is nu Aces Direct, je kon destijds ook zaken doen met Eddy Gans van 06-Software, thans Misco Nederland (Microcomputers Supplies Company). In 1985 begonnen als “postorderbedrijf”, 06-nummers dienden in die tijd als de gratis 0800-nummers van nu.

En net als tegenwoordig “Internetretailer” Centralpoint, ze hebben zelf nog geen schroefje in huis, als je daar een bestelling doet zie je aan soms de pakbonnen, de verschillende bezorgdiensten en aan de tape waarmee de dozen dichtgeplakt zijn dat het spul in werkelijkheid geleverd wordt door groothandels uit alle windstreken.

Omdat zij van Icecat in die tijd alles maar dan ook alles door zoekmachines lieten indexeren zat dat altijd in de weg als je iets probeerde te vinden.

Hierzo, op het verkeerde moment uit de tijdmachine stappen bij web.archive.org, de Wayback Machine dan wel Internet Archive:

http://icecat.nl
----------------
monitoren CRT
PDA's
plasma pannels
schermfilters
diskettes

Als je er een beetje in zit weet je, gedateerd en is geweest.

Overkomt ze bij De Correspondent nu ook, nog niet gestopt met roken of het was al beige:

Staat op dit moment boven een artikel van “Correspondent Hacken”, Dimitri Tokmetzis:

Vijf tips die je helpen je computer echt te doorgronden

4 dagen geleden · Leestijd 4 - 5 minuten

Ik werk aan een diepgravende serie over de kunst en schoonheid van het programmeren en wil daarmee inzicht geven in hoe computers werken.

We gebruiken de hele dag door computers, maar hoe werken ze op een fundamenteel niveau? Vijf fascinerende tips om je computer te doorgronden.

Dit jaar wil ik leren programmeren. In het verleden ben ik een aantal keer begonnen om Python onder de knie te krijgen, maar telkens strandde dat voornemen na een aantal weken al.

Wat niet hielp, was dat ik geen antwoorden had op een aantal fundamentele vragen. Want wat doet een programma nu precies? Hoe verwerkt een computer dit? Waarom wordt Python een high level language genoemd en wat is dan een low level language?

Onder dit soort vragen ligt een grote - en ik denk voor velen onbeantwoorde - vraag: hoe werkt een computer eigenlijk? Ik weet dat een computer eigenlijk niet veel meer doet dan nullen en enen verwerken, maar hoe dan? Hoe is het mogelijk dat een stuk plastic geheugen heeft? Een input kan nemen, die kan verwerken en een output kan geven die voor jou, als gebruiker, nuttig is?

decorrespondent.nl - 6 Jan 2016

De beeldredacteur zet daaronder:

Foto: Getty Images

Een oud beestje maar hoe oud? Om daarachter te komen wil je aan de hand van een merk of logo eventjes zoeken op internet en die zijn discreet verwijderd. Alleen op de beige klont meteen boven de klep - onder eigenlijk, je moet het plaatje wel 180 graden draaien - staat nog:

DISKETTE DRIVE
Assembled in Taiwan
COMPAQ Part Number: 215510-001

Compaq, ook een drama. In dit geval heeft het toetsenbord een Duitse indeling, de Ctrl-keys hebben het opschrift “Strg” en verrek, we hebben hier inderdaad te maken met een Duitse fotograaf van stockfoto’s, doorsnee kiekjes in een wat chiquer segment.

Want aan de hand van deze afbeelding bij Google Images zoeken levert de volgende gegevens op:

GettyImages|Prestige
Stock Photo
Constituent Parts Of A Laptop
Credit: Erik Dreyer
Keywords: Plain Background, Order, Laptop, Machine Part, Part Of, Connection,
Close-Up, Colour Image, Germany, Horizontal, Munich, No People, Photography, 
Studio Shot, Technology, White Background, Wireless Technology

Als ik op mijn beurt het ding in Photoshop weer in elkaar zet:

Dan kan ik hem bij “Google Image Search” met “compaq laptop 1994”, vervolgens “-1995”, “-1996” en verder door de tijd laten schuiven - rond de introductie van Windows 95 - en meteen in 1996 al weer ophouden met een aantal hits bovenaan de pagina:

  

Wat ik al zei, door de maker van die foto zijn merk en type kies uit de montage gedefibrilleerd:

Getty Images gaat er toch zeker niet ordinair reclame mee zitten maken.

Deed je met de Duitse mark eigenlijk ook gedeeld door 2,20371 om naar Euro’s te gaan? Iets ander model voor de prijs van je zus haar autootje:

Compaq LTE 5100     Modell 810 CTFT Pentium-Notebook  
Preis 	            11.166,50 DM 
Hersteller	    Compaq, München 
Ausstattung 
Prozessor	    Pentium 90 
RAM (std./max.)     8/72 MByte 
Festplatte          810 MByte 
Display             10,4"-TFT 800 × 600-Pixel 

#187

Constituent Parts Of A Laptop - vervolg

De vraag is nog, was de fotograaf van het helaas niet te dateren gedemonteerde laptopplaatje hierboven niet een epigoon van deze Canadese vakbroeder:


Old Macintosh - Todd McLellan

Beetje een one-trick pony wel maar diens reeks Things Come Apart is toch een feest om te bestuderen, neem nou de Poederblusser of de (draagbare) Schrijfmachine. En wat er van zijn werkruimte te zien is - in een van zijn video’s - bevalt me uitstekend.

Meer mensen met sorteerdrift:


Julia, 39, London - Paula Zuccotti

“Every Thing We Touch” heet de reeks, chronologisch catalogiseren wat mensen aanraken gedurende een dag van 24 uur. Hier niet maar zo te zien is het mobieltje toch vaak het eerste waar de 62 deelnemers aan het begin van de dag naar grijpen.

Nog iemand, supertreiterkop Wehrli:


Blumenstrauss - Ursus Wehrli

Rigoureus:


Ghost II - Michael Johansson

Idem sorteren toegepast op de te rubriceren medemens:



Brigade - Rotterdam 2010 - Exactitudes (Ari Versluis/Ellie Uyttenbroek)

Ze hebben tot nu toe 154 categorieën gerealiseerd, deze is nummer 128, op de website krijgt iedere groep deelnemers ook nog een korte ingesproken (Engelse) toelichting.

Voorzichtig wennen aan de verschillende smaken? Doe eens 65, Carry Daddies - Rotterdam 2005 of anders 119, Intellectuals - Limburg 2009. Daar aangekomen nog een keer klikken om de ‘zoom’-optie te activeren.


#188

Hoi Weerman,

Ik vond het filmpje heel leuk hoe ze apparaten uit elkaar halen en tonen waaruit het bestaat.

Ik was vanmorgen begonnen met het lezen over Icecat. Ze verwijzen ook naar unspsc. Waar je een pdf kan downloaden met productgroepen. Pdf kan je gemakkelijk in text omzetten met pdftotext.exe

Ik heb de SQL-tabellen ook al aangemaakt met de informatie uit H6 “SQL Setup” uit de handleiding van Icecat.

Weerman, Ik denk dat we Icecat wel zouden kunnen gebruiken als prototype. Ze gebruiken icon’s die bedrijven weergeven. In Ultimate++ zit weer code om icons op scherm te zetten. Ze hebben ook soort product vergelijkingsmodule ingebouwd. Ik heb nog niet goed bestudeerd. Ben niet zo van XML, maar wordt ook gebruikt.

In onderstaande staat link met grote tekst file met hun catalog:

If you do in-depth coverage analyses, please use the following matching file, which is a plain dump of everything in our catalog: https://data.Icecat.biz/prodid/prodid_d.txt.gz (a very large file with all known products in the Icecat database, described and standardized or not in gzipped archive).

Je hebt ook PHP interface for Icecat. Lijkt mij handig om in C om te zetten:

TIP: for osCommerce – a popular open source webshop based on PHP and MySQL – a free Icecat interface is available, which can be downloaded and adapted for your special needs.

Weerman, Kunnen we volgens jou structuur en/of inhoud van opencat gebruiken?

N.B. Ik denk zelf om ook andere producten er in te zetten bijvoorbeeld M&M’s. Ik zie wel voedingswaarden, maar geen EAN nummer.

Ander onderwerp Bitcoins:

'Bitcoin is een gefaald experiment’

Het wordt niets meer met bitcoin, de digitale valuta die de gemoederen de afgelopen jaren flink heeft beziggehouden. Dat stelt althans Mike Hearn, een programmeur die vijf jaar lang één van de belangrijkste ontwikkelaars van de techniek achter bitcoin was. Hearn is op donderdag opgestapt.

Lijkt mij dat je een probleem tot een uitdaging maakt en die weer probeert op te lossen.

De hartelijke groet Jan Marco


#189

Jan Marco, liever die drie maanden vervangende hechtenis?

Wou schrijven “is het tweelingbroertje van HTML” maar dat klopt niet. Over de familie-relatie:

  • SGML In this family of markup languages, Standard Generalized Markup Language (SGML) is the parent
  • HTML HyperText Markup Language (HTML) is a child, or application, of SGML
  • XML   Extensible Markup Language (XML) is a cousin to HTML and a nephew to SGML

Ze zijn daar heel streng in. Moet je alleen nog weten wat het verschil is tussen nephew en cousin:

Nephew: the son of your brother or sister.
Cousin: the son or daughter of your uncle or aunt.

Hier, nog een familie, dit (Nederlandse) stel zit bij de VPRO al 4 weken in deze houding op de bank:

De wereld in zeven dagen

Anjoke en Maarten zijn beiden eerder getrouwd geweest – Anjoke zelfs twee keer. Soms zijn ze met z’n tweeën, soms met zijn achten thuis. Anjoke is een high-achiever: cum laude afgestuurd, gespecialiseerd tot gynaecoloog en perinatoloog, is coördinator interne opleidingen in het ziekenhuis waar ze werkt en zit daarnaast in allerlei besturen.

Maarten heeft een carrière bij ING achter de rug en is nu intervisiecoach op Nijenrode. Hij begeleidt managementteams en geeft leiderschapstrainingen. Hij is fanatiek met sport: hij speelt hockey en hij fietst veel. Anjoke wandelt graag met de hond.

VPRO - Buitenland - elke zondag t/m 31 januari 2016 - 20.15 - 21.00 uur op NPO 2

XML sucks, aldus XmlSucks, onder andere vanwege ‘FeatureCreep’ …

Of dat zo is, machine-leesbare versie van bovenstaande beschrijving:

<document_info>
    <omroep>VPRO</omroep>
    <titel>De wereld in zeven dagen</titel>
    <datum>20160110</datum>
    <prid>VPWON_1219417</prid>
    <tt888>http://e.omroep.nl/tt888/VPWON_1219417</tt888>
    <human_interest_blurb>
        <vraaggesprek>
            <deelnemers>
                <burgelijke_staat>gehuwd</burgelijke_staat>
                <gezinsgrootte_min>2</gezinsgrootte_min>
                <gezinsgrootte_max>8</gezinsgrootte_max>
                <deelnemer>
                    <naam>Anjoke</naam>
                    <eerder_huwelijk>2</eerder_huwelijk>
                    <beschrijving>
                        <werk>
                            Anjoke is een high-achiever: cum laude afgestuurd,
                            gespecialiseerd tot gynaecoloog en perinatoloog,
                            is coördinator interne opleidingen in het ziekenhuis
                            waar ze werkt en zit daarnaast in allerlei besturen.
                        </werk>
                        <persoonlijk>
                            Anjoke wandelt graag met de hond.
                        </persoonlijk>
                        <correctie>
                            <is>afgestuurd</is>
                            <moetzijn>afgestudeerd</moetzijn>
                        </correctie>
                    </beschrijving>
                </deelnemer>
                <deelnemer>
                    <naam>Maarten</naam>
                    <eerder_huwelijk>1</eerder_huwelijk>
                    <beschrijving>
                        <werk>
                            Maarten heeft een carrière bij ING achter de rug
                            en is nu intervisiecoach op Nijenrode.
                            Hij begeleidt managementteams en geeft
                            leiderschapstrainingen.
                        </werk>
                        <persoonlijk>
                            Hij is fanatiek met sport: hij speelt hockey
                            en hij fietst veel.
                        </persoonlijk>
                    </beschrijving>
                </deelnemer>
                <totaal_aantal_huwelijk>4</totaal_aantal_huwelijk>
            </deelnemers>
        </vraaggesprek>
    </human_interest_blurb>
</document_info>

Beauty is in the eye of the beholder, maar je wordt toch vaak verwezen naar JSON: The Fat-Free Alternative to XML. En tegenwoordig voor tekstopmaak ook naar Markdown, zoals bijvoorbeeld voor dit forum.


#190

Hoi Weerman,

Ik denk dat een generiek online telefoonboek (telemedia) en opencat (icecat) hetzelfde principe hebben. Telefoonbedrijven geven/uploaden individueel hun records aan een generiek online telefoonboek. Bij opencat geven/uploaden leveranciers hun specs naar een online generieke “producten boek” (icecat o.i.d).

Ik ben veel meer voorstander van (peer-to-peer) concept. Leveranciers (bijvoorbeeld M&M’s) hebben de specs in hun database staan. Je kan met sleutel deze gegevens benaderen. Winkels hebben weer een database met producten, aantallen, locatie en prijs. Je kan als gebruiker met (M&M) sleutel alle supermarkten afgaan om M&M te zoeken die dichtbij is of laagste prijs heeft.

Een online telefoonboek en online generieke “producten boek” houden niet van het geheel kopiëren (“rippen”) van hun database. Ze denken dat die gene die dat doen “beren” zijn die hun “honeypot” komen plunderen.

Nee, beter analogie is dat wij een bijenkolonie (“bedrijven”) helpen door een honingraat te geven.

Bedrijven kunnen met ‘onze’ honingraat ((Mysql) “database definities”, source code, source code versie beheertools) gemakkelijk hun honing (big data) opslaan en uitwisselen met andere bedrijven :grinning:

De hartelijke groet Jan Marco

P.S.

Wou schrijven “is het tweelingbroertje van HTML” maar dat klopt niet. Over de familie-relatie:
• SGML In this family of markup languages, Standard Generalized Markup Language (SGML) is the parent
• HTML HyperText Markup Language (HTML) is a child, or application, of SGML
• XML Extensible Markup Language (XML) is a cousin to HTML and a nephew to SGML

Je gaat gestructureerde (MySQL) data in ander gestructureerde SGML, HTML of XML data verpakken en op de andere kant haal je de data weer uit de SGML, HTML of XML verpakking waarna je de data weer in originele gestructureerde (MySQL) data gaat omzetten. Overhead vind ik niet efficiënt.


#191

JM, data uitwisselen tussen online product- en telefoonboeken, daar liggen voetangels en klemmen.

Voetangel? Van Dale: kraaienpoot, ijzeren voorwerp met vier uitstekende punten, waarvan er, hoe men het ook neergooit, altijd een omhoog steekt (gebruikt om op de weg te strooien en daardoor achtervolgers te hinderen).

Bijvoorbeeld, als dat uitwisselen van gegevens over de landsgrens gaat dan dient zich hier de eerste hindernis aan, men heeft in het UNSPSC-productcoderingssysteem waar jij bij de aankoop van je nieuwe dekbed tegenaan liep voor een huiveringwekkend slechte vertaling gezorgd:

UNSPSC Codeset Dutch Translation - UNSPSC v06_1101 - 11/30/2012

Code     Translation Name                     English Name
--------------------------------------------------------------------------
20121416 Landing nippels                      Landing nipples
20121417 Zwevende spoortrekkers               Liner hangers
20121418 Tussenstuk duwwerktuig               Packer pulling tools
...      ...                                  ...
20121424 Gepolijste boorgaten                 Seal bores or polished bores
20121425 Draaibank met zijtas                 Side pocket mandrels
20121427 Veiligheidsventiel onder oppervlakte Subsurface safety valves
20121428 Bewegende scharnieren                Travel joints

Dan, als dat uitwisselen van data zich beperkt tot prijslijsten zal dat al snel aan computers overgelaten worden, ‘dynamic pricing’ kan daarbij uitmonden in een bizarre wapenwedloop:

Amazon’s $23,698,655.93 book about flies

A few weeks ago a postdoc in my lab logged on to Amazon to buy the lab an extra copy of Peter Lawrence’s The Making of a Fly – a classic work in developmental biology that we – and most other Drosophila developmental biologists – consult regularly. The book, published in 1992, is out of print. But Amazon listed 17 copies for sale: 15 used from $35.54, and 2 new from $1,730,045.91 (+$3.99 shipping).

As I amusedly watched the price rise every day, I learned that Amazon retailers are increasingly using algorithmic pricing (something Amazon itself does on a large scale), with a number of companies offering pricing algorithms/services to retailers.

www.michaeleisen.org - it is NOT junk - April 22, 2011

Overhead. Neem nou de BAG, niet een online telefoon- of productenboek maar een online stratenboek.

De raketgeleerden die zich over de inrichting van het Nederlandse Stelsel van Basisregistraties gebogen hebben kwamen destijds tot een andere slotsom dan jij, ook voor de Basisregistratie Adressen en Gebouwen.

Kijk maar, koppelvlak BAG Bevragingen, opvragen Nummeraanduiding met Adresseerbaarobject aan de hand van NummeraanduidingID en Actuele of Peildatum:

<?xml version="1.0" encoding="UTF-8"?>

  
  
    
      
        
          1
        
        
          0200200000015375
        
      
    
  

Dit is alleen nog maar het verzoek en ik zal vanwege de omvang alleen naar het antwoordbericht linken.

Wat ambtenaren van één enkel object willen weten. Het zal bij de Landelijke Voorziening BAG - dus bij het Kadaster - niet om veel meer gaan dan “0200200000015375” met een datum terugplakken in een database query?

Het lijkt er dus even op dat jij gelijk hebt, zo gegevens uitwisselen leidt tot een overhead. Maar SQL gebruiken heeft ook beperkingen, het is een standaard maar de bij het uitwerken daarvan ontstonden diverse smaken:

  • Oracle
  • MySQL
  • SQLite
  • Postgres
  • MSSQL (Microsoft)
  • Microsoft Access

Ik hoef vanwege die verschillen niet bij jou aan te kloppen want dit gaat niet lukken bij jou in MySQL:

SELECT   straat, huisnummer Mod 2 AS oneven,
         Min(huisnummer) & "-" & Max(huisnummer) AS reeks,
         postcode, woonplaats
FROM     bag_compact_20160101_nummeraanduiding
GROUP BY straat, huisnummer Mod 2, postcode, woonplaats
HAVING   straat="Grote Markt" And woonplaats="Groningen"
ORDER BY postcode;

Terwijl het bij mij moet goed werkt als ik BAG-adressen weer op “reeks”-niveau zou willen brengen, dwz. al de bij een postcode betrokken adressen op basis van even of oneven huisnummers tot één regel herleiden.

Wat ze ook doen op de website van Postcode data, daar zeggen ze net als jij, trek het als SQL in je eigen database. Compleet met het benodigde (hier even vereenvoudigde) schema is dit zo’n genoemde reeks:

SELECT postcode.postcode,
       CONCAT(postcode.minnumber, '-', postcode.maxnumber) AS reeks,
       postcode.numbertype,
       postcode.street,
       postcode.city
FROM   postcode
+----------+-------+------------+----------------+-----------+
| postcode | reeks | numbertype | street         | city      |
+----------+-------+------------+----------------+-----------+
| 7333BB   | 1-21  | odd        | Fabianusstraat | Apeldoorn |
+----------+-------+------------+----------------+-----------+

Dit werkt dus wel bij jou in MySQL maar weer niet bij mij in Access.

Eigenlijk is er iets van een ‘cottage’-industrie ontstaan voor het in de eigen database terugtoveren van het BAG-databeest:

Bijvoorbeeld aanbieder pstcd.nl vermeldt niet de bron van de data. Als je niet weet waar het vandaan komt of hoe oud het is kan je altijd nog proberen het te fingerprinten door daar in het zoekformulier om het adres en plaatsnaam te vragen voor postcode “5089 NA” en huisnummer “2”:

{"status":"ok","total":1,"results":[{"street":"Openbare ruimte uit buurgemeente",
"city":"Haghorst","municipality":"Hilvarenbeek","province":"Noord-Brabant",
"streetnumbers":"2","lat":51.4893461,"lng":5.2233205,"sixpp":"5089NA",
"streetnumber":"2"}]}

De straatnaam hier is een soort ‘Easter egg’ uit de BAG. Andere postcode/adres-combinaties om mee te testen:

3446 DH, Apenijnenstraat, Woerden (een n te weinig)
4504 AS, Provinciale  Weg, Nieuwvliet (met twee spaties)
4386 CV, Maria van Bourgondiestraat, Vlissingen of idem
4461 LE, van Bourgondiestraat, Goes (is PostNL-formaat)

Die laatste twee werken dus eigenlijk andersom, anders dan bij PostNL zit in alle andere Bourgondië-straatnamen in de BAG altijd een “ë”)

Webservices.nl wil misschien ook niet bekennen dat ze lekker goedkoop overheidsdata inkoopt en voor geld doorverhuurt? De eigen service in het eigen contactformulier stinkt ook niet in “5089 NA” maar wel in “4504 AS” en “Provinciale  Weg” + spatie x 2.

Daarmee is natuurlijk nog niet gezegd dat de daadwerkelijk geleverde gegevens van Cendris komen of toch ook van het Kadaster. Klein tipje van de sluier wordt hier wel opgelicht door Support.

Veel van de genoemde leveranciers wekken de indruk dat het allemaal alleen tegen betaling kan en dat we nog mazzel hebben omdat juist zij zo goed en goedkoop zijn. Maar dat is niet helemaal juist.

Zonder tussenkomst en nabewerking van hun kant - en dat is vaak te prefereren omdat men naar eigen inzicht aan het husselen is geslagen - is in het geval van de BAG het hele bestand gewoon te downloaden.

Iedere maand geactualiseerd, een paar werkdagen na de officiële betaalde release, vanwege Europese richtlijnen over de beschikbaarheid:

En een gigantische hoeveelheid andere gegevens in vrij beschikbare ‘datasets’ - waar je na 10 jaar in dit forum stil van wordt ;o)

Iets minder vrij beschikbaar maar nog steeds kosteloos:

  • www.postnl.nl - e-Sort, voor grootverbruikers om zelf grote partijen post te kunnen sorteren

Een applicatie met maandelijkse updates voor het onderliggende postcodebestand, anders kan je niet in eigen beheer continu 100% foutloos sorteren.

Actueel want het schema loopt één maand voor, op die manier kunnen bedrijven in het eigen tempo partijen post gereed maken om die vervolgens gesorteerd en wel aan PostNL te kunnen aanbieden.

Onmisbaar als je af en toe wil checken hoe groot de verschillen eventueel nog steeds zijn, tussen die in de BAG en de originele postcode zoals die nog steeds wordt uitgegeven door PostNL.

Jan Marco, nu jij het honing-thema geïntroduceerd hebt, kan ik je dan ook interesseren voor een heus honingkunstboek? Men heeft daar zo te zien wel met veel grotere hoeveelheden van het kostelijke goedje gewerkt.


#192

Hoi Weerman,

Bijvoorbeeld, als dat uitwisselen van gegevens over de landsgrens gaat dan dient zich hier de eerste hindernis aan

Ik denk dat Engelse definitie leidend is. (sommige Engelse termen zijn niet vertaald in Nederlands). In mijn beeld kan je makkelijk de vertalingen later aanpassen zolang Engelse tekst helder blijft.

Dan, als dat uitwisselen van data zich beperkt tot prijslijsten zal dat al snel aan computers overgelaten worden, ‘dynamic pricing’ kan daarbij uitmonden in een bizarre wapenwedloop:

Ik zie ‘dynamic pricing’ fenomeen als (nog) niet goed bepaalde grenswaarden. N.B. Tip: Elon Musk kijkt bij de prijsbepaling van een batterij naar de hoeveelheid materiaal en prijs van de componenten waaruit de batterij bestaat.

De raketgeleerden die zich over de inrichting van het Nederlandse Stelsel van Basisregistraties gebogen hebben kwamen destijds tot een andere slotsom dan jij, ook voor de Basisregistratie Adressen en Gebouwen.

Als je data initieel definieert mag je m.i. een structuur met veel overhead gebruiken. Ik weet nog wel dat ik vroeger veel problemen had met karaktersets in bestanden. Als je dat in XML structuur zou kunnen zou je hopelijk kunnen oplossen, maar als je XML velden in database veld zet, kan je m.i. niet snel zoeken. Je zal m.i. XML structuur in database veldenstructuur omzetten. Hopelijk heb jij andere visie?

Het lijkt er dus even op dat jij gelijk hebt, zo gegevens uitwisselen leidt tot een overhead. Maar SQL gebruiken heeft ook beperkingen, het is een standaard maar de bij het uitwerken daarvan ontstonden diverse smaken:
• Oracle
• MySQL
• SQLite
• Postgres
• MSSQL (Microsoft)
• Microsoft Access

Ik hoef vanwege die verschillen niet bij jou aan te kloppen want dit gaat niet lukken bij jou in MySQL:

In mijn beeld hoeven we niet voor ‘1 size fits all’ concept te gaan, maar wel beperkte aantal smaken uitkiezen

Mijn (huidige) voorkeur:
• SQLite: SQLite wordt in mijn huidige programma veel gebruik. Vroeger wilde ik naar MySQL migreren, echter nu denk ik beter om als aparte smaak te beschouwen. Wordt o.a. bij SQLYog en Fossil gebruikt.

• MySQL:Gebruiken voor onderlinge synchonisatie van database tussen peers.

• Postgres: Mogelijk voor applicatie gebruiken zoals bitcoins applicaties. Ik geloof dat er ook tool is waarin je visueel model kan checken/updaten.

En een gigantische hoeveelheid1 andere gegevens in vrij beschikbare ‘datasets’ - waar je na 10 jaar in dit forum stil van wordt ;o)

Misschien handig om opendata met bittorrent laten seeden. Over week heb ik 512 Mbit verbinding -up en -down.

De hartelijke groet Jan Marco


#193

Jan Marco. Daarom iets proberen dan met gevallen als “über” en “schließlich”?

String-Theorie - Umgang mit Zeichenketten in der Datenbank

Zeichenketten sind auf den ersten Blick einer der simpelsten Datentypen. Wer sie in Datenbanken nutzt, sollte sich jedoch über einige Regeln im Klaren sein und nützliche Funktionen kennen.

Zeichenketten und Zeichensätze

Wer mit Zeichenketten und in Europa üblichen Sonderzeichen umgeht, wird recht schnell mit der Bedeutung des Datenbank-Zeichensatzes konfrontiert. Er legt fest, wie der Server Zeichenketten als Bytes codiert und speichert. Häufig gibt es genau einen Datenbankzeichensatz; dieser legt die Codierung für alle Strings (CHAR, VARCHAR, CLOB) fest. Bei einigen Systemen, etwa MySQL, darf jedoch jede Tabelle oder gar Spalte ihren eigenen Zeichensatz verwenden.

Der einfachste Zeichensatz ist der altbekannte ASCII (American Standard Code for Information Interchange), in dem das „A“ als 65 und die „1“ als 49 codiert ist. Umlaute und andere Sonderzeichen enthält ASCII nicht. Daher entstanden im Laufe der Zeit weitere Codierungen.

Deutsche Umlaute gibt es etwa in den Zeichensätzen „iso- 8859-1“, „windows-1252“ oder „iso-8859-15“. Sie bieten jedoch nur Platz für 256 Zeichen, was nicht für alle in Europa oder gar weltweit verwendeten Zeichen reicht.

Mit der Zeit wurde der Bedarf einer universellen Codierung für alle Zeichen immer dringlicher: Heutzutage ist es völlig normal, Namen aus aller Herren Länder zu speichern. Dazu benötigt man einen Zeichensatz, der alle Zeichen abdeckt. Diese Anforderung erfüllt Unicode, das jedem Zeichen einen 4-Byte-Wert zuordnet.

Je nach konkreter Codierung braucht man weniger – das weitverbreitete UTF-8 etwa benutzt 1 Byte für ASCII und 2 für die meisten europäischen Zeichen. Asiatische Symbole benötigen darin drei und weitere Sonderzeichen iwie Smileys vier Bytes.

Je bent niet alleen met dit probleem, er is van alles voorgesteld om SQL en XML in elkaar te schuiven. En anders speciaal voor alleen XML, bijvoorbeeld eXist-db. Vrij naar dit voorbeeld daar, Quack:

xquery version "3.0";

let $testje := "Unicode"
return
switch ($testje)
  case "können" return "koennen"
  case "schließlich" return "schliesslich"
  case "Informationen" return "auf Englisch: information"
  case "Informations" case "Rechtschreibungs-Pitbull" return "Wuff"
  case "Remember the time when the hype wave was riding high for anything XML related?" 
  return "Quack"
  default return "Lukt het niet?"

Dat met die verscheidenheid speelt niet alleen bij SQL. Niet alles is nu nog terug te vinden in Wikipedia’s List of XML markup languages maar destijds werd er inderdaad enthousiast gewerkt aan “Ze World Domination of XML”:

Wirtschaftlich bedeutende XML-Dialekte

Bankwesen

  • ACORD XML XML für Versicherungen
  • FIXML Financial Information eXchange protocol Markup Language
  • FPML Financial Product Markup Language
  • FUNDSML Funds Markup Language
  • XBRL eXtensible Business Reporting Language

Biowissenschaften

  • AGAVE Architecture for Genomic Annotation, Visualization and Exchange
  • BSML Bioinformatic Sequence Markup Language
  • CML Chemical Markup Language

Publikationen

  • SportML Sport Markup Language
  • NewsML News Markup Language
  • XBITS XML Book Industry Transaction Standards
  • XPRL eXtensible Public Relations Language

Verschiedene

  • LandML Land Development Markup Language
  • MODA-ML Middleware tOols and Documents to enhAnce the textile/clothing supply chain through xML
  • MatML Materials Property Data Markup Language
  • JXDM Global Justice XML Data Model
  • ebXML Electronic Business using eXtensible Markup

#194

“Jan Marco, zo! Het is toch wat.”

Voorgaande tekst overzetten op ponsband:

Ik wil zeggen, als je bedenkt waar het mee begon toen we mekaar wel eens wat wilden gaan sturen:

Baudot-Murray code

In digital telegraphy (teleprinter, telex) a standard 5-bit code is commonly used to represent a character (letter, number or punctuation mark). Although this code is generally known as the Baudot code, this name is actually wrong. The official name for the latest telegraphy standard is ITA2 (International Telegraph Alphabet No 2). It was superceeded by ASCII in 1963, but is still used by amateurs today. The most common ‘Baudot’ code is also known as Murray code, or as Baudot-Murray code.

www.cryptomuseum.com - ITA2 code

“Superseded by ASCII in 1963”:

ASCII

ASCII is the abbreviation of American Standard Code for Information Interchange. The standard defines the 128 codes that are possible with 7 bits, all based on the English (Latin) alphabet.

As there are a number of small variations in ASCII between different countries, the common standard is often referred to as US-ASCII.

Compared to the 5-level ITA2 standard (Baudot), where the characters are sorted in such a way that they cause minimum (mechanical) stress on the equipment, characters in the ASCII table are sorted in the logical order of the alphabet.

ASCII is commonly used by computers for storing programs (software) and information (data). It has also been the major encoding scheme on the internet, until it was surpassed by UTF-8 in 2007.

The first 32 characters are unprintable. They are known as the control characters and were mainly used for text formatting on teleprinters and on the first generations of video terminals.

www.cryptomuseum.com - ASCII

Elkaar wat sturen. Daar waar nodig via de kortegolf - als storend ervaren wanneer het gepriep door jouw gewenste zender heen te horen was - en anders via een telefoonlijn en een daarmee verbonden modem (MOdulator-DEModulator), karakteristiek geluid tijdens het inbellen.

Destijds toen je je ‘devices’ nog regelmatig met een druppeltje olie moest smeren, een heleboel herrie, wagenterugloop, tabulator «klunk», ‘operator’ aan de andere kant oproepen met ‘BEL’:


‘All the President’s Men’ (1976)

En het zit er allemaal nog steeds op nu, ‘CR’, ‘TAB’, dondert niet hoe ‘smart’ het is:

En niet alleen wij profiteerden van de ontwikkelingen in die periode, hoopvolle nullen en enen vertrokken destijds ook naar ‘outer space’:

The Arecibo Message

In 1974, the most powerful broadcast ever deliberately beamed into space was made from Puerto Rico. The broadcast formed part of the ceremonies held to mark a major upgrade to the Arecibo Radio Telescope.

The transmission consisted of a simple, pictorial message, aimed at our putative cosmic companions in the globular star cluster M13. This cluster is roughly 21,000 light-years from us, near the edge of the Milky Way galaxy, and contains approximately a third of a million stars.

The message consists of 1679 bits, arranged into 73 lines of 23 characters per line (these are both prime numbers, and may help the aliens decode the message). The “ones” and “zeroes” were transmitted by frequency shifting at the rate of 10 bits per second. The total broadcast was less than three minutes.

Although it’s unlikely that this short inquiry will ever prompt a reply, the experiment was useful in getting us to think a bit about the difficulties of communicating across space, time, and a presumably wide culture gap.

SETI Institute - Early SETI

Ook weer een heel eigen geluid, zaag-zaag, wat willen ze ons zeggen? Nou:

<handwerken class="borduren" type="kruissteek" target="merklap">Message</handwerken>

Een ‘message’ als ‘binary string’ versturen zou door deze of gene intergalactische civilisatie nog onopgemerkt kunnen blijven?

Twee jaar eerder kwam men daarom hiermee, voor als de sondes eventueel door vreemden aan de kant gezet zouden worden voor een controle:

Pioneer-Plakette

Die Pioneer-Plaketten sind zwei goldene Platten, die an Bord der beiden interstellaren Raumsonden Pioneer 10 und Pioneer 11 angebracht sind. Die Plaketten wurden 1972 in der Hoffnung hergestellt, etwaige intelligente, außerirdische Lebensformen könnten dadurch von der Menschheit und ihrer Position im Universum erfahren, auch wenn die Wahrscheinlichkeit dafür äußerst gering ist.

Plakette. Schildje? Is there anybody out there:

Na 42 lichtjaren weer even kijken:

The target audience for a SETI message (SETI => Search for Extraterrestrial Intelligence)

Gelukt. Ook zij hebben hun uiterste best gedaan om voor de communicatie met ons ‘a common denominator’ met betrekking tot de beschikbare symbolen te hanteren!

Ontvangst van een interstellair telegram in ASCII:

 

Na al die tijd mogelijk toch nog onverwacht gasten en dan zal men zeker weer willen reply-en:

Daar moet één piemel in

JM, ja, wat weten wij hier in Nederland nou helemaal van ‘buitenwezens’ die ons willen bezoeken?

Ons gebaar tegenover deze onbekende levensvorm vooralsnog maar even overzetten in het Engels maar hoe hou je het netjes in het heelal? Proberen:

Requesting a single member

Want wat moet je die eindelijk tot wasdom gekomen Suske en Wiske anders laten zeggen? Eerder verworpen alternatieven:

Dick, look, in there! Go, go! Good boy!
In there is where they reckoned one's pecker had to go.  
Needs a willie in there!

En voor “E.T. - moet je een keukentrapje?” heb ik zeker de hulp van een ‘native speaker’ nodig.

Bij een ‘transmissie’ als deze blijft de vraag of we de kennis over onze culturele verworvenheden op deze wijze wel goed overgedragen krijgen? Bij Reddit wordt gezegd van wel.

Voortplanting van geluid in het luchtledige? Toch kan het, Murmurs Of Earth: Bonjour tout le monde!

Hallo groene mannetjes, het klinkt alsof ze in de keuken staat maar die kijkt uit op de Melkweg:

    
Plaat en platenhoes Voyager 1 en 2 (1977)

Nog een derde SETI-experiment, ‘The Discus Aureus’, een gouden plaat voor de alien die alles al heeft:

The Voyager Golden Record

The Voyager Golden Records are phonograph records that were included aboard both Voyager spacecraft launched in 1977. They contain sounds and images selected to portray the diversity of life and culture on Earth, and are intended for any intelligent extraterrestrial life form, or for future humans, who may find them. Neither Voyager spacecraft is heading toward any particular star, but Voyager 1 will pass within 1.6 light-years of the star Gliese 445, currently in the constellation Camelopardalis, in about 40,000 years.

Carl Sagan noted that "The spacecraft will be encountered and the record played only if there are advanced space-faring civilizations in interstellar space. But the launching of this ‘bottle’ into the cosmic ‘ocean’ says something very hopeful about life on this planet."2 Thus the record is best seen as a time capsule.

NASA’s playlist voor het universum, raden wat de muzikale voorkeuren van De Schepper eigenlijk zijn. Mijn gok:

215 Dark Was The Night -- Blind Willie Johnson.mp3

Gek genoeg heeft iets van Ennio Morricone het niet gehaald.

Tante Hannie of Mies Bouwman wel: Hartelijke groeten aan iedereen.


#195

Hoi Weerman,

Mooie post heb je gemaakt. Zelf heb ik niet met ponsband gewerkt. Ben van Commodore 64 tijd. Programma op cassette bandje. Vandaag zitten opruimen van oude technologie, nog zitten dubben wat ik met een cassette recorder zou moeten doen. Weggooien of toch voor later bewaren, om te laten zien wat we vroeger gebruikten.

Hierbij het huidige probleem van onze grote tech bedrijven (als Google en Facebook):

Wordt de ontwikkeling van adblockers voortgezet, dan denkt Facebook dat het bedrijf er financieel steeds meer onder zal lijden. Facebook maakt zich daarbij vooral zorgen om de ontwikkeling van mobiele adblockers.

Bottom line is denk ik hoeveel euro hebben we over (per maand) voor:

  • Facebook, Whatsapp, Instagram en Snapchat;
  • Google search;
  • Wikipedia;
  • etc,

Mogelijk krijg je straks “spotify” achtige abonnement om bovenstaande te mogen gebruiken.

Indien deze techbedrijven de bankfunctie gaan uitrollen, is het voor hen ook makkelijk om geld aan eindgebruikers te gaan vragen.

De hartelijke groet Jan Marco


#196

“Frankly, if you have an adblocker, you are a shoplifter” …


JM, wees gerustgesteld, ‘the industry’ gaat dit zeker evenwichtig en tot ieders tevredenheid oplossen ;o)

Wel jouw eventuele reclamevreter uitzetten want anders krijg je het niet te lezen:

We help websites survive the rise of adblock

Our goal at PageFair is to protect the future of the free internet by re-establishing a fair deal between web users and the content creators who they want to support.

Since our last report, the existential threat of ad blocking has become a pressing issue in the boardrooms of publishers across the world. A concerted response is required, founded upon a renewed focus on user experience, and enabled by secure ad serving technology like PageFair’s.

We hope this report will continue to help publishers, advertisers, consumer groups and technology vendors come together to define principles that support a sustainably free and open Web.

PageFair - Adblocking costs websites money

Een idee zou natuurlijk zijn dat deze bedrijven ook belasting gaan betalen:

Belastingontwijking - Neemt Rutte belastingaanslagen mee naar Silicon Valley?

Premier Rutte gaat op bezoek bij Apple, Google en Tesla. Allemaal bedrijven die veel investeren in Nederland, maar weinig belasting betalen.

Het is maar een vraag. Onze minister president is samen met Neelie Kroes, de speciale ambassadeur voor snel groeiende bedrijven (StartupDelta), op bezoek in het mekka van innovatie, vernieuwing en van hard groeiende bedrijven in Californië.

Silicon Valley is al decennia een kraamkamer van ondernemingen die succesvol nieuwe technologie over de wereld verspreiden en hun aandeelhouders en managers schatrijk maken. Apple. Google. Facebook. Uber. Tesla. Hun producten veranderen het leven van miljarden burgers.

Minder bekend bij consumenten is dat de technologiebedrijven niet alleen superieure producten ontwikkelen, maar ook superieure belastingadviseurs hebben. Adviseurs die graag gebruik maken van de rol van Nederland als schakel in het minimaliseren van de belastingen die de technologiebedrijven betalen over hun aanzienlijke winsten.

www.nrc.nl - Next - 1 februari 2016

En wij vervolgens van de naar rato verminderde belastingdruk inderdaad gewoon voor deze diensten betalen, net als voor gas, water, licht, telefoon en post?

Zover is het nog niet, nieuws van vanavond:

Google ziet omzet en winst sterker toenemen dan gedacht

Het nieuwe moederbedrijf zette vorig kwartaal bijna 20 procent meer om dan een jaar eerder.

De omzet van de zoekmachine steeg in de laatste maanden naar 21,2 miljard dollar (19,5 miljard euro), zo maakte moederbedrijf Alphabet maandag bekend. Dat is bijna eenvijfde meer dan een jaar eerder.

Gecombineerd met de omzet van bedrijfsonderdelen kwam Alphabet zelfs uit op een omzet van ruim 21,3 miljard euro. Dat was veel meer dan beleggers hadden verwacht: volgens een peiling van Reuters gingen zij uit van 20,8 miljard dollar. Het aandeel van Alphabet won in de handel na beurs dan ook 6,4 procent aan waarde.

www.nrc.nl - Nieuws - 1 februari 2016

NOS Teletekst pagina 125 zegt nu, kijk op Twitter, “Google nu meer waard dan Apple, het moederbedrijf van Google is nu het waardevolste bedrijf ter wereld.”

Teletekst? Ja, daar krijgen ze nooit van z’n leven reclame in. Elementary, my dear Watson.


#197

Hoi Weerman,

illustreert intense frustratie dat voor uiterst winstgevende multinationals kennelijk andere wetten gelden dan voor burgers en middelengrote en kleine bedrijven. Die hebben geen web van dochterbedrijven en brievenbusvennootschappen hebben om belastingen te verlagen.

Adviseurs die graag gebruik maken van de rol van Nederland als schakel in het minimaliseren van de belastingen die de (technologie)bedrijven betalen over hun aanzienlijke winsten.

Fenomeen ken ik al dertig jaar. Net zoals water stroomt naar beneden. In de middeleeuwen betaalde een rijk persoon een arm persoon om voor hem “te mogen zitten” in de gevangenis. N.B. `Te mogen zitten´ klinkt als tekst wel mooi. Misschien had hij toch geen werk en kon hij zo zijn gezin onderhouden, dan zou je het als een ´win/win´ deal kunnen zien.

M.i. zou disruptieve innovatie zijn als je ook de gewone burger ook gebruik zou kunnen maken van bovengenoemde kennis/methoden. Ik zie wel kansen om het in het “Internet of Me” concept in te gaan bouwen.

Ik denk dat jij het volgende fenomeen ook wel kent, dat je beste positie hebt (papieren) echter er later achter komt dat je de kans (jammer genoeg) niet hebt kunnen verzilveren of negatief geformuleerd ´uitbuiten´. Je denkt dan “Wat ben ik toch een ‘sukkel’”

Gebruikers op Facebook zijn gemiddeld 3,57 [stappen verwijderd][1] van alle andere gebruikers op het sociale netwerk. Hierdoor is nagenoeg iedereen op Facebook te vinden via een ‘vriend van een vriend van een vriend van een vriend’. Het betreft hierbij wel een gemiddelde. Sommige mensen zijn moeilijker te bereiken, waarbij het uiterste tegen de 4,7 stappen ligt.

Eigenlijk zeggen ze dat ze een totaal netwerk hebben, iedereen is met iedereen verbonden, ze hebben ‘goud in handen’.

Waarom Facebook de gouden kans (uiteindelijk) niet zal binnen halen is dat Facebook van Napster concept uitgaat. Je hebt een facebook server en de gebruiker zijn de clients. Doet Facebook hun servers uit dan kunnen de Facebook gebruiker niet meer ‘facebooken’.

Ze gebruiken het “Napster concept” om hun bedrijf te beschermen tegen concurrentie. Vanuit het verdienmodel komen vanaf de Facebook servers advertenties richting de Facebook clients, die probeert deze advertenties te ontwijken door een ad blocker te installeren.

In mijn visie zou elke Facebook gebruiker naast een client ook een facebook server in zich moeten hebben.

Wat ik leiderschap van Elon Musk vind, vindt mijn werkomgeving een domme actie van Elon.

Mensen die een Tesla willen kopen, lijken niet zomaar alles over het bedrijf te kunnen [schrijven][2]. Mocht directeur Elon Musk je opmerkingen te grof vinden, dan loop je het risico dat hij je order persoonlijk annuleert.
De Amerikaanse durfkapitalist Stewart Alsop zag zichzelf al helemaal achter het stuur van zijn Tesla Model X zitten, maar voorlopig blijft het bij dromen….

“…je hebt besloten dat ik geen auto van je mag bezitten en ik ben heel erg teleurgesteld”,

Musk heeft het verhaal op Twitter bevestigd door zich af te vragen waarom ‘het weigeren van dienstverlening aan een super onbeleefde klant’ zoveel media-aandacht krijgt.

Is het zo gek wat Elon doet, als ik een dier uit een dierenwinkel wil kopen en de verkoper heeft geen goed gevoel erbij (wat ik op internet het gezegd), verkopen ze het dier toch ook niet aan mij! Althans dat hoop ik.

De hartelijke groet Jan Marco
[1]: http://www.nu.nl/internet/4209542/facebook-gebruikers-in-357-stappen-allemaal-met-elkaar-verbonden.html
[2]: http://www.telegraaf.nl/digitaal/25134694/Tesla-order_geannuleerd_na_kritiek.html


#198

Jan Marco, niet bij een ‘level playing field’ toch? Als je de onderliggende wetgeving waterpas houdt komt het overal even hoog te staan en niet hier en daar een stuwmeer:

Hi again. Looks like you’re still using an ad blocker.
Please turn it off in order to continue into Forbes’ ad-light experience.

Google’s Very Clever Trick With Their Offshore $30 Billion Stash And Acquisitions

As we all know the guys over at Google are pretty smart. And their accountants are pretty savvy about how to hang on to the cash that the company has earned as well. They manage to irritate just about every government in Europe by managing to not pay much tax to any of them and then they also don’t pay it to Uncle Sam by not bringing it back into the US.

I tend to support all of this of course as I tend to think that the bright guys at Google will do more to make life better with such piles of cash than whatever loon has managed to get himself into office this electoral cycle would. And while that’s sometimes an unpopular view it becomes rather more popular when stated in that blunt manner.

Forbes - Economics & Finance - May 21, 2014

Inmiddels is de waterspiegel weer gestegen, van Google werd vorig jaar gezegd dat het gestalde bedrag is opgelopen tot 47 miljard dollar.

Verwijzing van een correspondent van De Correspondent, wat doen ze eigenlijk met al dat geld:

Cheap cab ride? You must have missed Uber’s true cost

A recent article in The Information, a tech news site, suggests that during the first three quarters of 2015 Uber lost $1.7bn while booking $1.2bn in revenue. The company has so much money that, in at least some North American locations, it has been offering rides at rates so low that they didn’t even cover the combined cost of fuel and vehicle depreciation.

Uber’s game plan is simple: it wants to drive the rates so low as to increase demand – by luring some of the customers who would otherwise have used their own car or public transport. And to do that, it is willing to burn a lot of cash, while rapidly expanding into adjacent industries, from food to package delivery.

An obvious but rarely asked question is: whose cash is Uber burning? With investors like Google, Amazon’s Jeff Bezos and Goldman Sachs behind it, Uber is a perfect example of a company whose global expansion has been facilitated by the inability of governments to tax profits made by hi-tech and financial giants.

To put it bluntly: the reason why Uber has so much cash is because, well, governments no longer do. Instead, this money is parked in the offshore accounts of Silicon Valley and Wall Street firms. Look at Apple, which has recently announced that it sits on $200bn of potentially taxable overseas cash, or Facebook, which has just posted record profits of $3.69bn for 2015.

The Guardian - Opinion - Evgeny Morozov - Sunday 31 January 2016

[quote=“alkema_jm, post:197, topic:354, full:true”]
Gebruikers op Facebook zijn gemiddeld 3,57 stappen verwijderd van alle andere gebruikers op het sociale netwerk. Hierdoor is nagenoeg iedereen op Facebook te vinden via een ‘vriend van een vriend van een vriend van een vriend’. Eigenlijk zeggen ze dat ze een totaal netwerk hebben, iedereen is met iedereen verbonden, ze hebben ‘goud in handen’.[/quote]

Facebook daarover:

Calculating degrees-of-separation at scale

More accurately, for each number of hops we estimate the number of distinct people you can reach from every source. This estimation can be done efficiently using the Flajolet-Martin algorithm [9].

How does it work? Imagine you have a set of people and you want to count how many are unique. First you assign each person a random integer; let’s call it hash. Approximately 1/2 of the people will have an even hash: the binary representation of the hash will end with 0. Approximately 1/4 of the people will have a hash divisible by 4; that is, the binary representation ends with 00. In general, 1/2n people will have the binary representation of their hash end with n zeros.

Now, we can reverse this and try to count how many different people we have by reading their hash values one by one. To do that, we track the biggest number of zeroes we’ve seen. Intuitively, if there were n zeroes, we can expect set to have c*2n unique numbers, where c is some constant. For better accuracy we can do this computation multiple times with different hash values.

Research at Facebook - Blog - 4-2-2016

Zoeken op ‘Flajolet-Martin’ verwijst onder andere naar dit handboek:

Chapter 8


Advertising on the Web

One of the big surprises of the 21st century has been the ability of all sorts of interesting Web applications to support themselves through advertising, rather than subscription. While radio and television have managed to use advertising as their primary revenue source, most media – newspapers and magazines, for example – have had to use a hybrid approach, combining revenue from advertising and subscriptions.

By far the most lucrative venue for on-line advertising has been search, and much of the effectiveness of search advertising comes from the “adwords” model of matching search queries to advertisements. We shall therefore devote much of this chapter to algorithms for optimizing the way this assignment is done.

The algorithms used are of an unusual type; they are greedy and they are “online” in a particular technical sense to be discussed. We shall therefore digress to discuss these two algorithmic issues – greediness and on-line algorithms – in general, before tackling the adwords problem.

A second interesting on-line advertising problem involves selecting items to advertise at an on-line store. This problem involves “collaborative filtering,” where we try to find customers with similar behavior in order to suggest they buy things that similar customers have bought.

www.mmds.org - Mining of Massive Datasets

Wetenschappers schrijven het nog een keer op:

Search ads are placed among the results of a search query. Advertisers bid for the right to have their ad shown in response to certain queries, but they pay only if the ad is clicked on. The particular ads to be shown are selected by a complex process, to be discussed in this chapter, involving the search terms that the advertiser has bid for, the amount of their bid, the observed probability that the ad will be clicked on, and the total budget that the advertiser has offered for the service.

Voor degene die nadien de kans krijgt om in dienst te treden bij Facebook:

However, the Web offers an opportunity to tailor display ads in a way that hardcopy media cannot: it is possible to use information about the user to determine which ad they should be shown, regardless of what page they are looking at. If it is known that Sally likes golf, then it makes sense to show her an ad for golf clubs, regardless of what page she is looking at. We could determine Sally’s love for golf in various ways:

  1. She may belong to a golf-related group on Facebook.
  2. She may mention “golf” frequently in emails posted on her gmail account.
  3. She may spend a lot of time on the Yahoo! golf page.
  4. She may issue search queries with golf-related terms frequently.
  5. She may bookmark the Web sites of one or more golf courses.

Each of these methods, and many others like these, raise enormous privacy issues. It is not the purpose of this book to try to resolve those issues, which in practice probably have no solution that will satisfy all concerns.

On the one hand, people like the free services that have recently become advertisingsupported, and these services depend on advertising being much more effective than conventional ads. There is a general agreement that, if there must be ads, it is better to see things you might actually use than to have what pages you view cluttered with irrelevancies.

On the other hand, there is great potential for misuse if the information leaves the realm of the machines that execute advertising algorithms and get into the hands of real people.


#199

Hoi Weerman,

Jan Marco, niet bij een ‘level playing field’ toch? Als je de onderliggende wetgeving waterpas houdt komt het overal even hoog te staan en niet hier en daar een stuwmeer:

Ik denk dat jij een naïeve gedachte hebt dat er een (common) ‘level playing field’ zou zijn/bestaan. Bijvoorbeeld: Arbeiders hebben zich in het verleden georganiseerd in vakbonden om tegenwicht te kunnen bieden tegen de werkgevers. Het enige wat ik aan FNV momenteel heb is dat ze mij helpen om hun contributie ‘af te kunnen trekken’ en dat ik in het collectieve FNV-Menzis ziektenkosten polis zit. N.B. Mijn broer is bij Menzis weggegaan omdat zijn zoon een behandeling (gebroken been o.i.d.) in ziekenhuis heeft gehad en Menzis de kosten daarbij wilde gaan verhalen op een ander kind die het had veroorzaakt (op school). Beetje doorgeslagen om steeds brieven te krijgen met verzoek om naam door te geven.

Weerman, als je m.i. een (common) ‘level playing field’ nastreeft zouden we een (internet of me) platform moeten beginnen. Waarbij je de gewone man die eigenlijk altijd “de klos is” zich laat verenigen.

Een snel internet verbinding heb ik al om een (internet of me) platform te beginnen :grinning:

Met de Ziggo internet verbinding kan ik de KPN internetverbinding vanaf de buitenkant testen op snelheid, poorten die openstaan, etc.

De hartelijke groet Jan Marco


#200

Hoi Weerman,

Even naar alternatief voor PayPal gekeken: Darkcoin lijkt mij wel leuk alternatief.

Darkcoin is an open source peer-to-peer cryptocurrency that uses a system called Darksend to add privacy to transactions. (whitepaper). It allows you keep your finances private as you make transactions, similar to cash.

PRIVATE: Keep your payments private so nobody can track you, your transactions and balances are nobody’s business. With Darkcoin’s ahead of time anonymization only you have access to your financial information.

FAST: Payments are received almost instantly by the other party thanks to faster block times. Ahead of time anonymization lets you send Darkcoins anonymously without waiting for processes or people.

SECURE: Advanced encryption and a trustless protocol for complete security in your payments and anonymization process.

GLOBAL: You can send money anywhere in the world and it will take the same time and cost to send.

LOW FEES: Much lower than banks or credit cards, usually even free. You don’t pay profits to anyone, just the network costs.

PEER TO PEER: No central authorities to trust because of full decentralization, even for the anonymization process. Everything stays between you and the other party in the transaction.

Hopelijk heb jij beter alternatief (die in het C++ habitat past),

De hartelijke groet Jan Marco