yes, apparently Afvalwijzer has stopped providing the json service. we might be forced to ditch this integration completely…
I have hopes we could revert to the scrape sensor we used before, but fear the worst. A dialogue has been initiated to see if Afvalwijzer could connect to HA.
I just received the message below from mijnafvalwijzer.nl. I don’t want to have discussions about this with mijnafvalwijzer.nl so I decided to remove the api and url information from the component. I asked them whether is possible to come up with a solution so everyone is happy. I`ll inform you when I received a reply.
Ik heb begrepen dat jij de ontwikkelaar bent achter een aantal projecten die op Github staan t.a.v. home-automation en data-fetching vanuit ons product ‘Mijn Afvalwijzer’.
Voorheen was deze API publiekelijk beschikbaar via ‘JSON.mijnafvalwijzer.nl’. Dit is inmiddels niet meer het geval en de API is publiekelijk niet meer beschikbaar. Om onze Apps te laten communiceren met de backend (de API.mijnafvalwijzer.nl) wordt gebruik gemaakt van een API-key. Deze key is klaarblijkelijk via reverse-engineering, of data-sniffing uit de app gehaald en wordt nu misbruikt om toegang tot de API te krijgen. De key is specifiek bedoelt om oneigenlijk toegang tot de dienst tegen te gaan.
Dit is niet de bedoeling. We willen je dan ook vriendelijk vragen de betreffende code (waar deze key gebruikt wordt) offline te halen. We zullen na een korte periode deze API-key sowieso gaan aanpassen en daarmee stopt de werking van de plugin. We begrijpen dat dit vervelend kan zijn voor diegene die home-automation gebruiken. Wellicht biedt de betreffende gemeente zelf een oplossing om deze data (publiekelijk) te benaderen.
Ik heb onderstaande mail gestuurd naar mijn gemeente. Ze reageerden positief en gingen het aankaarten. Misschien nog anderen die hun gemeente willen aanschrijven?
"Beste gemeente,
Deze vraag is bestemd voor de medewerker die afspraken maakt rondom het beschikbaar stellen van de afvalkalender via MijnAfvalwijzer.nl.
Tot voor kort stelde MijnAfvalwijzer.nl haar gegevens zodanig beschikbaar, dat ik die kon integreren in mijn huisautomatisering. Mijn slimme speaker kon mij zo 's ochtends vertellen dat ik afval langs de straat moest zetten. Perfect! Ik mis nooit meer een ophaaldag.
Echter is MijnAfvalwijzer gestopt met deze service. Binnenkort wordt hun API (het technische component waar deze gegevens vandaan komen) dichtgezet en werkt dan alleen nog voor hun eigen app. Geen automatische waarschuwingen meer voor mij
Mijn vraag is: ik zou graag weer deze informatie via een API op willen kunnen halen. Ik weet natuurlijk niet wie precies achter die dienst zitten. Maar misschien zijn er kanalen om deze wens op de juiste plek neer te leggen?"
In de tussentijd ben ik een alternatief aan het bouwen. Persoonlijk hou ik niet van de oplossing erachter (data schrapen van de website, oftwel een scaprer). Maar goed, voor diegenen die voor nu geen API key weten te achterhalen is dit wellicht een tijdelijke oplossing.
Ik heb overigen .gitignore ook aangepast omdat dat echt een keer nodig was
Ik heb jouw voorbeeld gebruikt om een soortgelijke vraag via het vraag/idee formulier van Gemeente Utrecht te stellen. Bedankt voor het delen van jouw voorbeeld.
Ik heb vandaag de nieuwste versie geïnstalleerd. Ondertussen ondervind ik dit probleem dat ik niet de eerstvolgende ophaal dag zie die op 24 september plaats vindt, maar pas de ophaaldag die na de eerstvolgende komt.
heb net de nieuwe versie scraper laten opstarten, maar zie verschillende soorten afval die hier helemaal niet worden opgehaald. Worden die dan toch ‘gescraped’?
Klopt, textiel bijvoorbeeld. Die zal dus altijd geen waarde hebben wanneer die niet beschikbaar is op jouw adres. Ik ga dat nog verbeteren zodat je zelf kan kiezen voor welke afvaltypen je sensoren wilt.
Hoe dan ook verklaart het niet dat de first_* sensoren niet correct zijn. Ik heb het gestest met een aantal adressen die ik nog had vanuit de community uit het verleden, en daar zie ik geen issues.
@Deriise: Kan je jouw postcode en een willekeurig huisnummer aan mij sturen (pb), dan kijk ik even.
Thanks! Blijft vreemd dat ik het issue niet kan simmuleren, maar desondanks ga ik jouw data in een json zetten en dan parse ik dat… kijken wat er gebeurd
terwijl die in de api variant gewoon PBD wordt genoemd, en ook zo op de Phone App van Saver staat vermeld. Daar staat overigens ook GFT+E terwijl in de scraper gft wordt vermeld… Vandaar dat mijn template sensors _next nog niet correct zijn.
Hoi Marius, dat klopt! Lang verhaal, maar daar kan ik helaas niets aan veranderen bij de scraper, dan wordt de code erachter te onoverzichtelijk en mogelijk onstabiel. Laten we hopen dat de api alsnog binnenkort wordt opengesteld.
Wel was er nog een bug in de first_next sensors, vandaag werd default nog meegerekend. Dat is opgelost in 4.4.9