Ik heb XP cd al 20 keer met audiorip ingelezen. Het geeft steeds dezelfde hashcodes --)
Ik ga het aantal seconden dat het duurt om fasthash ook in mysql opstaan. Naast het aantal seconden dat de normale hash van een cd duurt ook in mysql opslaan, dus dat je de gehele cd gehasht hebt.
Sommige track hashes van de .wav file gaan nog fout. Dit komt m.i. dat de laatste blok net iets kleiner dan blokgrootte is en je hebt 44 bytes wav header. Je moet dan hashroutine nog een keer extra aanroepen.
De (totale) hash van cd’s met meerdere tracks (veelal audio cd’s) moet in nog inbouwen.
Planning:
Ik denk nu dat ik audiorip moet afmaken en dan kan ik de gehele keten gaan testen. Met audiorip heb je zeker geen Databanken/auteursrecht problemen. Je leent alleen de tracks info van cddb.
audiorip afmaken. Hashtijden er in zetten. Totale hash van audio cd gaan programmeren. Code opschonen. Warnings/errors naar log database zetten.
Aparte server op www.foonsearch.com zetten. Denk aan linux. Fs2005.php gaan poorten naar audiorip database.
Megafoon code op audiorip database zetten.
Foonsearchd Linux code op www.foonsearch.com aanzetten. Alleen audiorip database kunnen vullen/wijzigen.
Foonsearchd code op een window machine gaan aanzetten. Je gaat eerst locaal met audiorip je eigen audiorip database vullen, maar je kan dan door foonsearchd code gaan zoeken of een andere peer het ook al heeft.
Audiorip (hashes van cd’s) leent er wel voor om deze op centrale plek www.foonsearch.com beschikbaar te stellen net voor de cddb gegevens freedb.freedb.org.
Je gaat iets met zeer klein stuk de keten testen. Uit test resultaten vervolgstukken gaan programmeren,
Fasthast.dat = 7 Mb groot:
Fasthash tijden = 23 + 21 + 24 + 22 + 25 + 27 + 19 = 161/7 = 23 seconden, dus binnen 23 seconden weet je welke cd het is --)
Hash.dat = 698 Mb groot:
Hash tijden = 1704 + 1701 + 1622 + 1596 + 1574 + 1687 + 1604 = 11488/7=1641 seconden = 27 minuten. Het hashen van de gehele cd kost dus 27 minuten. Het gebruikt best veel cpu cycles.
Ben de afgelopen dagen druk bezig geweest om de hash fout uit de .wav files te halen. Daarnaast ook de hash van de totale cd er in gemaakt. Momenteel ben ik aan het testen of het goed werkt. Door alle cd’s die ik heb te gaan hashen. De cd’s waarvan de totale hash niet werkt doe ik op aparte stapel. 1 cd ligt al op de stapel, namelijk “The essential” van Leonard Cohen”.
Ik heb cd’s die beveiligd zijn bijvoorbeeld Anouk en Guus Meeuwis. De beveiliging houdt in dat de laatste track een datatrack is en in deze track zit een frame lees fout. In later instantie zal ik hier na gaan kijken. Je leest momenteel 26 frames per keer in. Gaat dit drie maal fout dan gaat hij nu naar het volgende track. Als “26 frames lezen” niet werkt dan per frame kijken of hij te lezen is. Een tabel maken met als beveiliging bedoelde “frame lees fouten”.
Morgen ga ik beginnen om Megafoon aan foondump2005 te koppelen. Daarna de code in een andere programma op audiorip tabellen zetten. Hierna de peer programma foonsearchd zo aanpassen dat hij op de audiorip tabellen gaat werken. Je gaat dan SQL berichtjes naar andere peers sturen.
Ik zie dat fasthash van de Cd-foongids 2005/2006 wel dezelfde is als op mijn broer’s langzame machine. Alleen total_hash is anders. Wel iedere keer hetzelfde getal, maar niet in overeenstemming met mijn snelle machine.
Dit komt omdat hij jitter-correctie gaat uitvoeren. Ik zal dan moeten kijken waaraan je kan zien wanneer hij met jitter-correctie begint en welke plaats op cd/dvd het is. Ik denk dan “vanaf dat punt” opnieuw in te gaan lezen. Je gaat dan met commit punten werken. Bepaalde punten ga je tussen hashes opslaan.
Met “sellingpoint” bedoel ik in welke winkel je het gekocht hebt. Misschien ook een SP_postalcode en SP_housenumber variant er in bouwen. In MFC-GUI is het natuurlijk makkelijker om de sellingpoint er bij te zoeken.
Van Megafoon krijg ik best veel ideeën. Ik denk aan een tussen tabel in MySQL waaruit de schermpresentatie plaatsvindt. In deze tabel geef je aan of een kolom al of niet zichtbaar is en hoe het zoekscherm er uit moet zien. Moet nog even uitzoeken wat je allemaal uit MySQL zelf kan halen. Denk aan database “mysql” en kopjes boven de output.
Wat ik van SAP wil gebruiken is een soort hoofdscherm maken. Zie appendix A voor een voorbeeld en een veld op het scherm maken waarin je direct naar een bepaalde zoekscherm kan toe gaan. In SAP bijvoorbeeld “IW21”. In SAP zoek je in hoofdscherm naar een scherm m.b.v. een “file zoekscherm”. Laatste kan ik uit Filezilla gaan halen. Mogelijk op laagste niveau een database icoon zetten. Omdat je met een tussen tabel gaat werken kan iedereen een andere hoofdscherm met onderliggende schermen (databases/tabel spaces) gaan maken.
Je kan uit info records het E-mail adres gaan halen en deze in het hoofdscherm van Megafoon gaan zetten. In de tussen tabel zou je het SQL statement op het E-Mail veld kunnen zetten om de informatie uit de White info records te gaan halen. Je haalt als het ware de SQL-statements uit de MFC GUI source code. Extra voordeel hierbij is dat je tabellen kan veranderen zonder dat je de code weer hoeft te compileren.
Van Fshwget heb ik nu vrij strakke source code van gemaakt. De twee DLL’s worden ingeladen om https files te downloaden. Tevens berekenen ik nu de hashcode in de tijd dat je een file download.
Het probleem wat ik had is dat je de cellen niet kan benaderen. In deze project krijg je een Excel achtige worksheet. Ik wil het gaan ‘poorten’ op mysql. Dus de kolommen worden de velden van het resultaat van een query. De outputrecords worden de rijen van de worksheet. Ik ga uitzoeken hoe gridctrl precies werkt. Doel hierbij is dat ik dynamisch de output van een SQL query op scherm kan toveren.
Resumee: Met fshwget haal je dus een pagina (KvK, www.detelefoongids.nl, Mijnpostbank.nl, etc) op en met de html parser ga je de info in MySQL zetten. Met gridctrl ga je resultaat weer op scherm toveren.
Bij CHTMLViewer - CodeProject worden indexen berekend van strings op een niet (voor mij) begrijpelijke manier. Zal wel uit een ander project “gehaald” zijn. Daarbij worden de indexen niet gebruikt, dus er maar uit gehaald.
Tidy geeft aan wat er mis is met de html code. Zie ook http://tidy.sourceforge.net . Programma compileert goed. Tidy gebruikt hash codes om snel te zoeken:
From tidy dated “11 November 2005”, hash lookup is used by default
Ik ben voorstander van database opzoek routines. Ga dus gelijktijdig naar Tidy kijken om beide programma’s te mergen.
Ik ga ook even weer naar audiorip kijken. De verbeterde hash routine inbouwen. Hierna de tracks/hashcode, etc in de database browser kunnen editen.
Gisteren ook weer met ntpd bezig geweest. Het gemis wat ik bij ntpd heb is dat hij de timeserver niet zelf gaat vinden. Je zet de time servers in een config file. Een idee wat in mijn hoofd zit is dat als je een peer gesynchroniseerd hebt met een time server, je met een SQL berichtje een andere peer kan synchroniseren op tijd.
RGJ, Ik “spring” van het ene project naar de andere. Ik leer hier wel een hoop van --)
De vriendelijke groet Jan Marco
Appendix A: Ntpd logging:
25 Dec 07:40:40 ntpd[1068]: synchronized to 128.196.132.177, stratum 2
25 Dec 07:53:39 ntpd[1068]: synchronized to 128.196.133.233, stratum 2
25 Dec 07:56:56 ntpd[1068]: synchronized to 128.196.132.177, stratum 2
25 Dec 08:12:56 ntpd[1068]: synchronized to 128.196.133.233, stratum 2
25 Dec 08:15:12 ntpd[1068]: synchronized to 128.196.120.37, stratum 2
25 Dec 08:19:22 ntpd[1068]: synchronized to 128.196.132.177, stratum 2
Ik heb momenteel een vaste SQL en kan meerdere windows openen. Omdat ik er een thread op elke windowopbouw heb gezet wordt het window gaande weg gevuld met MySQL records. Als ik een andere SQL query gebruik verandert het aantal rijen/kolommen automatisch.
Je kan ook deel van MySQL output tabel selecteren en met control-c, control-v kan je de records direct in Word plakken.
Het enige punt wat nog niet werkt is het sorteren op kolommen. Ik heb op de site van Chris Maunder gelezen dat het in gridctrl zou zitten. (“includes row and column reordering as well as sorting in virtual mode”)
Morgen ga ik kijken of ik threadpool kan inbouwen.
Eerst werkte ntpd niet in het Noorden. Ik ben er achter gekomen dat binnenkomende pakketen gefilterd werden d.m.v. van de firewall van XP.
Ik moet nog uitzoeken of bij Direct ADSL je ook vanuit Internet op de deur kan kloppen. Wordt er wel of niet binnenkomend verkeer gefilterd vanuit de provider.
Ik zie dat dit in het andere voorbeeld programma (GridCtrlDemo) wel werkt. Ook kan je in dat programma aangeven welk type veld het is URL, Data, etc. Eigenlijk ga je type definities uit MySQL halen en dat in de presentatie weer gaan gebruiken. Mogelijk heb je meer info nodig dan een tussen tabel gaan maken. Ik ga het huidige programma mergen met het andere programma.
Als je veel records hebt duurt het vullen wel lang:7137 records worden gevuld in 5184 seconden. M.i. kan dat wel sneller, alleen moet ik dan meer in de code gaan inzoomen.
Het scrollen van de 7137 (megafoon) records werkt wel erg snel.
RGJ, Gisteren thread programmering uit Megafoon gehaald. Hij crasht nog wel als je programma afsluit en hij is nog bezig om records op scherm te zetten. Vandaag proberen om een thread pool manager in te bouwen.
De vriendelijke groet Jan Marco
P.S. Ben erg blij met de door jou voorgestelde database Backend programmeren.
Even SQL verandert op de audiorip tabellen. Het browsen op de MySQL tabellen werkt erg mooi. Het is een stuk beter te zien als in de “dos mysql client”. De veldnamen van de tabel komt er automatisch boven. Als je naar rechts scrollt dan blijft eerste kolom vast staan. Ziet er erg mooi uit.
Ik ga de komende tijd stevig bezig om SQL dynamisch in het scherm in te kunnen toetsen.
Vandaag naar http://www.codeproject.com/useritems/SoundRecord.asp gekeken. In dit programma kan je een audiokaart kiezen om geluid op te nemen. Dat miste ik nog bij Videonet. Ik heb het kunnen testen met mijn VoIP telefoontoestel. Ik kan nu een Skype achtige tool gaan “afbouwen”.
De code om geluidskaart te kiezen zit ook wel in http://www.codeproject.com/internet/videonet.asp , echter het wordt nog niet aangeroepen. Tevens zag ik dat delen van geluidsmodule in Videonet ook op Linux zou kunnen werken.
Skype gebruikt wel poort 80 van je pc. Want een http server geeft een foutmelding bij mij als je hem op poort 80 installeert en je hebt Skype.exe in tasklist staan.
Met http://www.sysinternals.com/Files/NetstatpSource.zip kan je zien dat Skype een https verbinding realiseert met 1 andere Skype-peer op Internet. Als je pc nog een keer opstart maakt hij verbinding met een andere peer. De peer waarmee je connect zal wel bereikbaar zijn vanuit Internet. Dit zal wel worden gebruikt als je achter een firewall zit kan je wel een seintje krijgen van buiten dat iemand je probeert te bellen.
Het is mij gelukt om een (dynamische) menu onder de rechtermuis toets in gridcontrol te maken. Je gaat straks in het outputscherm staan en met rechtermuis doe je een insert/delete kolomn op je (MySQL) database. Eerst selecteer je met linker muistoets een rij/kolom en dan komt met rechtermuistoets een pulldown menu op het scherm om de uit te voeren operatie (delete/insert) te kiezen. Eigenlijk ga je generiek iets maken wat op je database gaat werken.
Het tweede programma van gridcontrol (GridCtrlDemo.exe) kan je cellen van outputscherm eigenschappen geven zoals URL,Datum,Numeric,Read Only, etc. M.i. zal je de eigenschappen van een tabel in een tussentabel moeten zetten.
In mijn gedachte ben ik voor het Skype gedeelte wel uit. Voor een 1-op-1 telefoontje krijg je twee wav files. Met http://www.codeproject.com/useritems/SoundRecord.asp kan je gemakkelijk opnemen. In een Skype tabel zet je de headers van de wav files. Als je er op klikt kan je ze weer gaan afspelen. Je kan natuurlijk ook een conferentie call gaan doen, maar dat ga ik pas uitzoeken als 1-op-1 goed werkt.
Mijn huidige gedachtegang bij “Skype”:
Met gridcontrol pak je de white subscriber tabel.
Je voegt een nieuwe kolom toe. (rechtermuistoets → operatie → insert column)
Je geeft deze nieuwe kolom de eigenschap URL. (linkermuis toets kolom selecteren, hierna met rechtermuistoets → eigenschappen → URL kiezen)
Je voert IP/URL van je vrienden (en je kennissen) in deze kolom in. (In gridcontrol op record gaan staan en dan in de nieuwe kolom ip of url intoetsen).
Je gaat op wite subscriber record staan wie je wilt bellen. Je klikt op rechtermuistoets en kiest optie “Bel deze gebruiker”.
Ik ben momenteel erg tevreden, want ik heb het gevoel dat ik alle source code wel bij elkaar gesprokkeld heb, om er iets moois van te gaan maken….
Gridcontrol is een erg mooi concept. Ik ga straks een mijnpostbank tabel maken. Je leest periodiek de server van mijnpostbank uit. Als je een betaling wilt doen dan een extra record toevoegen en dan wordt het automatisch betaald. Je krijgt wel een TAN nummer via SMS, alleen heb ik gezien dat je via KPN SMS-jes kan lezen via E-mail. Ik heb ook source voor het halen van mail, dus TAN-nummer kan er automatisch uitgehaald worden.
Tevens ga ik straks filesystemd weer laten lopen. Ik ga het zo maken dat je vanuit gridcontrol files kan weggooien. Eigenlijk wil ik zaken die ik nu via de Verkenner laat lopen via gridcontrol uitvoeren.
Er zullen ook wel sites zijn die de waarde van Aandelen/Opties bijhouden. Ik zal nog gaan uitzoeken bij wie je het gemakkelijkst deze gegevens kan binnenhalen in een tabel. Ik denk dat je wel iets kan maken dat je op een fonds gaat staan en dan direct een aantal aandelen kan gaan kopen.
Het komend weekend ga ik proberen om (video) “Skype” (Videonet) aan de praat te krijgen.
Het enige probleem met Videonet is dat je maar 1 bron kan zien op je pc:
Videonet bestaat uit video- en audio gedeelte. Het video gedeelte werkt nog met de oude “capXXX functies”. Pg Naughter heeft ook een versie gebaseerd op deze techniek. Zie ook CAVICapWnd v1.19. Naughter versie crasht wel bij mij. N.B. Zal wel komen dat threads er niet goed inzitten.
Met video is het m.i. gemakkelijk om een breedband verbinding vol te blazen. Mogelijk zou je naast compressie, reductie kunnen uitvoeren in het aantal frames wat je naar de andere peer gaat overzenden. Nadat je een videocall hebt gehad zou je ook het videogesprek (uncompressed) automatisch kunnen overhalen.
Het audiogedeelte van videonet crasht op mijn Windows 2000 pc. Ik ga audio en video gedeelte spitsen om deze audiofout er gemakkelijk uit te halen. Daarnaast heb ik over de beste videomethode nog te weinig kennis.
Ben momenteel naar verschillende source code aan het kijken om betere audioroutines te krijgen. http://www.codeproject.com/audio/CWaveBox.asp vond ik een mooie audio player project. Zit namelijk kritsch gebieden en threads in geprogrammeerd.
Protocol. Voordat je “connection” met andere peer gaat doen wil ik een “Invite” programmeren om de capaciteiten van audiokaarten over te zenden. Je krijgt ook terug of iemand er is. Analoog aan “auto antwoorden” van mail.
Indien je een gesprek met iemand hebt dan automatisch een andere verbinding (audiokanaal) kunnen kiezen. Dit geldt naast localhost ook voor remote host.
Ik ga het eerst als proof of concept standalone programma ontwikkelen. In later instantie mergen met Todolist/controlgrid,
Het probleem met “Skype achtige tools” is dat ze veel crashen. Dit komt m.i. doordat ze niet de juiste audioroutines gebruiken.
Ik heb vorige week naar het audio gedeelte van http://wxwidgets.org/ gekeken. Ik zag ook dat ze na 1 jaar weer een nieuwe audacity distributie hebben opgeleverd. Zie ook http://audacity.sourceforge.net/ N.B. Wxwidgets compileert goed, echter de nieuwe audacity compileert niet direct goed.
mutexen als belangrijk is om parameters te veranderen zonder dat andere threads ondertussen het weer op een andere waarde zetten.
Audio thread heeft hoger prioriteit.
De timer wordt gebruikt om de buffers te legen/vullen.
Direct- en wmme-audio oplossing zit er in.
Ik heb test_record en test_wire (wmme oplossing) getest en deze werken goed. Met de laatste zet je geluid van je microfoon simultaan op je luidspreker. Ik moet deze veranderen in input van andere peer gebruiken en geluid naar andere peer toesturen.
Ook zitten in portaudio verschillende testsituaties in.
Ik wil naar een (class) programma werken die ik in Videonet ga inbrengen om de proof of concept beter te kunnen testen.
De fout die m.i. in Videonet zit is dat het “ontkoppelpunt” niet goed zit. De geluidskaart wordt aangestuurd door portprogramming (geluid van een andere peer) en niet door de “geluidsthread”. Ontkoppelpunt is het punt waar je op klantvraag stuurt en waar je op voorraad produceert. Een geluidskaart is gelijksoortig aan het produceren van “tuinstoelen”. Om de productielijn goed te laten doorlopen ga je op voorraad produceren.
Om de aansturing om te draaien ga ik binnenkomende geluidspakketten in een circulaire buffer doen. De callback geluidsroutine van portaudio wordt standaard op gezette tijden aangestuurd. Is er data in de binnenkomende buffer dan kopiëren anders een buffer met nullen aanbieden. Staat er data in audio buffer (geluid van locale microfoon) dan deze data naar andere peer verzenden in timeslot als de callback geluidroutine wordt aangeroepen.
Ga nu kijken naar ciculaire buffers: http://www.codeproject.com/internet/bipbuffer.asp
In de volgende versie zit ook mutexen bij het updaten van de circulaire buffer. M.i. heb je dit wel nodig want je werkt met verschillende threads:
Ik kreeg geen geluid op mijn audiokaart als ik info uit ‘mijn’ circulaire buffer/file haalde. Ik ben er net achter dat dit ligt aan “SAMPLE out = (SAMPLE)outputBuffer;”. Sizeoff(SAMPLE)=4. Ik ging er vanuit dat het bytes waren. Oplossing “alles” met 4 vermenigvuldigen.
Number_bytes per seconde nodig voor een telefoonverbinding = Seconds * SampleRate * NumChannels * Sample_size = 32000 = 1* 8000 * 1 * 4
Het volgende project: SAFMQ Store and Forward Message Queue - CodeProject wil ik gaan testen op bruikbaarheid richting foonsearchd. N.B. MQ is belangrijk queue pakket van IBM, wordt veel in bedrijfsleven gebruikt.
“Mijn” Skype variant werkt nu erg stabiel op 8000 samples per seconden. 1 sample bestaat uit vier bytes, dus 32k-byte per seconden bandbreedte is nodig om een mono telefoonkanaal over te zenden naar een andere peer.
De circulaire buffer werkt m.i. goed. Ik heb twee verbindingen naar internet. Het werkt wel een beetje met vertraging. Lijkt op satelliet telefonie, echter het heeft minder netwerkvertraging. Moet nog veel zaken aankoppelen en uitwerken. Denk aan kiezen van geluidskaart en kunnen instellen op andere samplerate.
Volgende week wil ik weer verder gaan met de todolist GUI programming. Het mergen met controlgrid en het “Skype proof of concept” inbouwen. Ik denk om control info van de Skype proof of concept via SAFMQ te laten ombuigen.