LLM Crawlers por jm_araujo
[Hoje às 21:57] Emulador NES em ESP32 por dropes [30 de Abril de 2024, 15:09] Circuito Microfone que funcione por almamater [27 de Abril de 2024, 17:14] Arame de Estendal por almamater [18 de Abril de 2024, 16:16] O que é isto ? por SerraCabo [12 de Abril de 2024, 14:20] Amplificador - Rockboard HA 1 In-Ear por almamater [11 de Abril de 2024, 20:46] Meu novo robô por josecarlos [29 de Março de 2024, 18:30] Bateria - Portátil por almamater [25 de Março de 2024, 22:14] Escolher Osciloscópio por jm_araujo [06 de Fevereiro de 2024, 23:07] TP4056 - Dúvida por dropes [31 de Janeiro de 2024, 14:13] |
1
Acerca do LusoRobótica / Re: LLM Crawlers« Última mensagem por jm_araujo em Hoje às 21:57 »Administro um forum popular, está quase todo aberto sem registo(só umas partes fechadas para incentivar ao registo.para partilharem), e não me importo com bots.
Não me faz impressão que os bots corram a NET toda para sacar informação, sou a favor de uma NET 100% aberta, no pouco software que criei (e divulguei), apesar de.irrelevante depois de muito pensar meti licença unlicence. E detesto paywallls. Não sei se já foi visitado por esses bots, estou na PTISP com alojamento SSD e sempre foi muito rápido, mesmo com mais de 100 utilizadores simultâneos. Acho que no robots.txt tens opções para limitar o comportamento dos bots, falta saber é se são todos cumpridores. O meu robots.txt: Código: [Seleccione] User-agent: * 2
Acerca do LusoRobótica / Re: LLM Crawlers« Última mensagem por TigPT em Hoje às 19:58 »Aqui está uma snippet das logs, mais logs no ficheiro txt em anexo.
Código: [Seleccione] lusorobotica.com 23.22.35.162 - - [02/May/2024:18:55:45 +0000] "GET /index.php?PHPSESSID=912890638cccf119fdbf5cdd4885859c&topic=875.0 HTTP/2.0" 200 9884 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)" "172.18.0.17:80" 3
Acerca do LusoRobótica / LLM Crawlers« Última mensagem por TigPT em Hoje às 19:38 »Hoje recebi uma série de emails, utilização de CPU do servidor acima do normal.
Primeiro pensei que fosse alguma tentativa de bruteforce mas quando comecei a analisar as logs apercebi-me que dois bots (Claude from Anthropic e o Amazonbot), estão a fazer crawling do LR todo página a página, possivelmente para treinar estes LLMs em Português. Primeiro, qual a vossa opinião sobre o assunto? deveríamos bloquear estes bot ou deixa-los indexar todo o histórico, em prol de mais e melhores LLMs ? De forma geral, acho que a informação aqui é pública e como tal, não me oponho ao crawling da mesma, por outro, gostava que fossem mais simpáticos e fizessem esse crawling ao longo de várias semanas em vez de quererem sugar todo o website em poucas horas / dias. Alguém sabe de um mecanismo de pushback a estes bots para que não sejam tão agressivos no crawling? ex, já considerei forçar uma pausa na resposta quando o header é de um bot, para que o bot assuma que está a meter o site lento por respostas mais demoradas e reduza o numero de requests por segundo que faz. 4
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em 30 de Abril de 2024, 15:09 »É um projecto interessante, que merece o tempo dispendido, já que a despesa é mínima (12 no meu caso, lcd + esp32)
Improvisei nos botões para os switchs, todos os 12 levaram espaçadores, sem folgas. Careço de uma impressora 3D, a caixa foi realizada com 2 placas de acrílico 2mm, dobradas termicamente em forma de U. O Esp32 deve ser de 16MB flash e 8MB PSRAM, a versão original do Odroid-go tem o micro ESP32-WROVER-B, que se encontra obsoleto, estando presente a versão -E. - 90% dos jogos correm bem em emulação, o som é por simulação dos chips, e é fantastico. - Além das consolas de 8bits, não fica atrás nas de 16bits, "Megadrive / Genesis" e "Super Nintendo". - Infelizmente fica complicado emular multiplos chips de SOM em 16bits, e arrasta um bocado (é opcional no menu). - Todos os jogos permitem a gravação do estado actual deles (grava ficheiros em SD), muito bom para continuar sem ser do inicio. - Correr Doom num micro de 5€ é fantástico, com todos os sons e movimentos fluidos. Existem duas versões de firmware para o "hardware odroid-go", o próprio "odroid-go" e o "retro-go", que abrange as emulações da anterior e mais algumas, incluindo as de 16bits. Se alguém estiver interessado, posso gerar um tutorial ao pormenor; as informações estão um bocado dispersas e não são nada intuitivas. 5
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por jm_araujo em 29 de Abril de 2024, 18:12 »Boa dica, dá-me vontade de fazer uma coisa dessas, como assim acho que tenho o hardware todo em stock...
6
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em 29 de Abril de 2024, 15:50 »Obrigado
Nova descoberta https://forum.odroid.com/viewtopic.php?t=37599 Retro-Go: suporta Genesis e TurboGrafx-16 (PC-Engine), agora sim, está completo 7
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por almamater em 28 de Abril de 2024, 17:34 » uau ficou muito bom! Parabéns pelo projecto!!
8
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em 28 de Abril de 2024, 15:36 »Gostei dos emuladores, funcionam perfeitamente e os botões são responsivos. Permite também ajustar o brilho, volume de som, e entrar em modo sleep, sabe-se lá porquê. A velocidade corresponde, sem perdas de frames. Testei com sucesso, NES, GB, GBC, SMS e GG Quase todos os jogos rolam bem, poucos bloqueiam ao iniciar. Sim, Doom também funcionou aqui. Parece que Duke Nukem 3D também, mas esse não testei. Tyrian e Wolfenstein 3D, não consegui correr, devo estar a fazer algo mal... Bem... funciona 9
Electrónica Geral / Circuito Microfone que funcione« Última mensagem por almamater em 27 de Abril de 2024, 17:14 » Tenho andado hoje (novamente) de volta de um circuito que faça o reconhecimento do som ambiente e me ligue\desligue uns led´s (uma pequena fita de leds de ~50-60cm) e a +5V.
Já experimentei N combinações usando um microfone (condensador) daqueles pequenos, com ou sem LM386, e com milhares de combinações de resistências e condensadores. Uns circuitos até que funcionam mas é preciso a música estar mesmo em cima do microfone e queria algo mais sensível. Os chineses têm coisas que reconhecem bem o som ambiente e são muito sensíveis, exemplo: LedBar Sound reative Isto usa um microcontrolador e funciona muito bem, era mesmo algo assim que precisava. Já pensei também nisto: microfone-funtastic-karaoke Mas não sei até que ponto o circuito é semelhante para conseguir 'copiar' ou adaptar. De qualquer forma, alguém já fez ou tem um esquema que seja sensível e que funcione como o exemplo da ledbar acima (mas sem microcontrolador)? Preciso de algo simples mas sensível, já testei com transistores BC547 etc e até funciona mas não tem a sensibilidade que pretendo.. (mas o erro será certamente meu). O esquema que usei e até funcionou +/- foi este: Mas mesmo assim pouco sensível, devo de precisar de amplificar o sinal.. 10
Outros Sistemas / Re: Emulador NES em ESP32« Última mensagem por dropes em 22 de Abril de 2024, 14:14 »Desde já, peço desculpa pela qualidade das fotos, colocar as pontas enquanto seguro no telemóvel e tirar uma fotografia, é muito malabarismo.
Configuração osciloscópio para 200uS: Sinal após amplificado: Sinal com filtro passa baixo de 1ª ordem: Circuito em causa (entrada e saída em paralelo): Para consola, não exige som muito alto, este amplificador toma conta do recado, e o som tem uma qualidade aceitável. Nas medições, observei uma frequência residual de 50kHZ, é incomodativo, e o filtro ajudou um pouco. Este é composto por C30-R31-C31. No inicio coloquei 100nF em C31, resultado na foto acima. Entretanto abafava demasiado e acabei por trocar por um de 47nF. Atenuação ficou em 23db para 50kHz aproximadamente. Poderia ir para outro tipo de amplificador e desenhar um filtro Estar tudo a funcionar, é gratificante |